← 返回 Tony's Lab

技术报告解读 · arXiv 2601.03888 · 2026-08-10 发布

IndexTTS 2.5

B 站 Index Speech Team 的多语言零样本情感 TTS。12 页报告,四个关键改进:编解码压缩、架构换血、五语覆盖、RL 打磨——把「效果天花板」变成了「能跑起来的工业模型」。

CONTINUOUS · 50 Hz ───── SAMPLING ───── DISCRETE · 25 Hz
连续语音 → 离散语义 token(序列长度减半,训练/推理成本双减) SCROLL ↓
2.28×
推理加速(RTF)
0.8B
模型参数
5
语言:中英日西阿
~100K h
训练数据
INTRO

这一版改了什么

IndexTTS-2 已经证明了「音色-情感解耦」这条路走得通——用一段参考音频克隆音色、另一段音频指定情绪。但它的多语言覆盖少、推理慢,落地时很尴尬。2.5 是一次纯工程向的升级:不动核心范式,把语义编码器帧率砍半、把 S2M 的 U-DiT 换成 Zipformer、扩展到五语、再用 GRPO 打磨一遍发音。

最有意思的细节:情感训练数据只有 135 小时且全是中英文(ESD 29h + 商业录音 106h),但日、西、阿三语的情感迁移照样有效——跨语言情感表达似乎是「学一次就会」的能力。

PIPELINE

一图看懂:声音是怎么造出来的

整体还是 2 的三段式:语言模型把文字变成「语义 token」(管发音和韵律),流匹配模块把 token 还原成梅尔谱(管音色),声码器出声。

T2S · LM
文本 → 语义 token
自回归生成,GRPO 后训练
→
50→25Hz
S2M · Zipformer
语义 → 梅尔谱
原 U-DiT,换架构后 RTF 0.078→0.017
→
VOCODER
梅尔谱 → 波形
神经声码器还原声学细节
核心改动在中间:语义 token 帧率 50Hz → 25Hz,序列长度直接减半——T2S 的 RTF 从 0.232 降到 0.119,这是 2.28× 加速里最大的一块。
IMPROVEMENTS

四大改进

01 / CODEC

语义编解码器压缩

帧率 50Hz→25Hz,语义 token 序列长度减半。信息保真度几乎无损(WER 与 2 持平),但训练和推理的内存、算力都显著下降——这是所有加速里性价比最高的一刀。

T2S RTF 0.232 → 0.119
02 / ARCH

S2M 换用 Zipformer

流匹配模块的 U-DiT 骨干换成更紧凑的 Zipformer:参数更少、生成更快。主观盲听 56% vs 40% 更喜欢 Zipformer 版本——更简单的架构反而更自然、音色更稳。

S2M RTF 0.078 → 0.017
03 / MULTILINGUAL

多语言:三种策略组合

支持中英日西阿五语。针对跨语言同形字混淆(比如日语里的汉字),提出三种建模策略:语言边界标记、逐 token 语言嵌入、自然语言指令前缀——评测后发现各有胜负,最后组合使用。

中 / 英 / 日 / 西 / 阿
04 / RL

GRPO 后训练

用 DeepSeek 那套 GRPO 微调 T2S 模块:每个文本采样 4 个候选,用冻结 ASR 的 WER + 说话人验证模型的相似度打分排序训练。发音更准、韵律更自然。

平均 WER 6.75 → 6.00
BOUNDARY-AWARE
给整句文本包上语言边界标记(<ZH>…</ZH>),实现最简单;长句上自回归容易「跑偏」读错。
中英够用,日西偏弱
TOKEN-LEVEL CONCAT
每个 token 都融合一个语言 embedding,逐字标注语种,同形字误读抑制最彻底。音色相似度全面最高,中英西 WER 最低。
综合最优,代价是要前端逐字判语种
INSTRUCTION-GUIDED
文本前拼一条自然语言指令(「请用英文朗读接下来的文字」),零外部依赖、推理最灵活;日语 WER 最低,但效果敏感于指令措辞。
日语场景首选
EVALUATION

效果:0.8B 打全场

0.8B 参数,零样本五语平均 WER 与音色相似度(SS)都是对比模型里最好的——比 2B 的 VoxCPM2、8B 的 Moss-TTS 都强。RL 版本(2.5-RL)进一步拉开差距。

模型参数量平均 WER ↓平均 SS ↑
Moss-TTS 1.58B9.4068.56
VoxCPM22B7.2272.02
OmniVoice0.8B6.7670.39
Fish Audio S2 Pro4B5.9464.49
IndexTTS 2.50.8B6.7573.18
IndexTTS 2.5-RL0.8B6.0073.63

零样本五语(中/英/日/西/阿)平均,CV3-Eval 基准,阿语用自建测试集。CosyVoice3 缺日阿数据未列入平均。

6.22
跨语言平均 WER(中文 prompt → 目标语)
RL 版进一步降到 6.17,SS 70.20 —— 全场最强
0.467→0.713
情感感知准确率(中文,CV3-Eval)
对比 CosyVoice 3 翻倍领先;英文 0.567→0.673
4.18
阿语情感合成 MOS(日语 prompt 跨语)
没用阿语情感数据训练,照样传情绪
评测细节:WER 用 FunASR(中文)/ Whisper-large-v3(其他)计算;音色相似度用 FunASR 说话人验证模型提取 embedding 算余弦;情感相似度用 emotion2vec。训练数据组成:中文 30K h(Emilia 为主)+ 英文 25K h + 日语 42K h + 西语 22.9K h(公开数据集拼装)+ 阿语 20K h(全商业授权)。
LICENSE

开源,但有边界

bilibili Model Use License Agreement

  • 代码 + 权重全公开:GitHub 仓库与 HF / ModelScope 均可下载,个人使用、微调、商用(小规模)都免费
  • 大厂门槛:月活超 1 亿 或 年营收超 10 亿 RMB 的公司,必须向 B 站申请书面授权
  • 不能用于改进其他 AI 模型:只允许改进 IndexTTS 系列本身或非商用模型——想拿它当 base 训别的 TTS 不行
  • 分发义务:再分发必须保留版权声明和协议原文,并约束下游同样遵守
部署提示:官方支持 BF16 半精度推理(显存更低)与 vLLM 生产部署;仓库历史已重置,老用户需删掉本地副本重新 clone。
LINKS

资源