这一版改了什么
IndexTTS-2 已经证明了「音色-情感解耦」这条路走得通——用一段参考音频克隆音色、另一段音频指定情绪。但它的多语言覆盖少、推理慢,落地时很尴尬。2.5 是一次纯工程向的升级:不动核心范式,把语义编码器帧率砍半、把 S2M 的 U-DiT 换成 Zipformer、扩展到五语、再用 GRPO 打磨一遍发音。
最有意思的细节:情感训练数据只有 135 小时且全是中英文(ESD 29h + 商业录音 106h),但日、西、阿三语的情感迁移照样有效——跨语言情感表达似乎是「学一次就会」的能力。
一图看懂:声音是怎么造出来的
整体还是 2 的三段式:语言模型把文字变成「语义 token」(管发音和韵律),流匹配模块把 token 还原成梅尔谱(管音色),声码器出声。
50→25Hz
四大改进
语义编解码器压缩
帧率 50Hz→25Hz,语义 token 序列长度减半。信息保真度几乎无损(WER 与 2 持平),但训练和推理的内存、算力都显著下降——这是所有加速里性价比最高的一刀。
T2S RTF 0.232 → 0.119S2M 换用 Zipformer
流匹配模块的 U-DiT 骨干换成更紧凑的 Zipformer:参数更少、生成更快。主观盲听 56% vs 40% 更喜欢 Zipformer 版本——更简单的架构反而更自然、音色更稳。
S2M RTF 0.078 → 0.017多语言:三种策略组合
支持中英日西阿五语。针对跨语言同形字混淆(比如日语里的汉字),提出三种建模策略:语言边界标记、逐 token 语言嵌入、自然语言指令前缀——评测后发现各有胜负,最后组合使用。
中 / 英 / 日 / 西 / 阿GRPO 后训练
用 DeepSeek 那套 GRPO 微调 T2S 模块:每个文本采样 4 个候选,用冻结 ASR 的 WER + 说话人验证模型的相似度打分排序训练。发音更准、韵律更自然。
平均 WER 6.75 → 6.00效果:0.8B 打全场
0.8B 参数,零样本五语平均 WER 与音色相似度(SS)都是对比模型里最好的——比 2B 的 VoxCPM2、8B 的 Moss-TTS 都强。RL 版本(2.5-RL)进一步拉开差距。
| 模型 | 参数量 | 平均 WER ↓ | 平均 SS ↑ |
|---|---|---|---|
| Moss-TTS 1.5 | 8B | 9.40 | 68.56 |
| VoxCPM2 | 2B | 7.22 | 72.02 |
| OmniVoice | 0.8B | 6.76 | 70.39 |
| Fish Audio S2 Pro | 4B | 5.94 | 64.49 |
| IndexTTS 2.5 | 0.8B | 6.75 | 73.18 |
| IndexTTS 2.5-RL | 0.8B | 6.00 | 73.63 |
零样本五语(中/英/日/西/阿)平均,CV3-Eval 基准,阿语用自建测试集。CosyVoice3 缺日阿数据未列入平均。
开源,但有边界
bilibili Model Use License Agreement
- 代码 + 权重全公开:GitHub 仓库与 HF / ModelScope 均可下载,个人使用、微调、商用(小规模)都免费
- 大厂门槛:月活超 1 亿 或 年营收超 10 亿 RMB 的公司,必须向 B 站申请书面授权
- 不能用于改进其他 AI 模型:只允许改进 IndexTTS 系列本身或非商用模型——想拿它当 base 训别的 TTS 不行
- 分发义务:再分发必须保留版权声明和协议原文,并约束下游同样遵守