开源语音与克隆：CosyVoice、IndexTTS、RVC、fish-speech 怎么选
先说结论矩阵，再展开细节：
| 方案 | 中文自然度 | 克隆 | 显存 | 商用 |
|---|---|---|---|---|
| CosyVoice | 高 | 3 秒参考音 | 8 GB | 可（Apache-2.0） |
| IndexTTS | 最高 | 强 | 8–12 GB | 不可（非商用） |
| RVC | —（变声，不是 TTS） | 10 分钟训练 | 4–8 GB | 可（MIT） |
| fish-speech | 中高 | 强 | 8 GB+ | 不可（权重 NC） |
一、CosyVoice：商用场景的默认答案
阿里出品，Apache-2.0。它的三个特性正好覆盖生产需求：
- 零样本克隆：给 3 秒参考音频就能复刻音色；
- 流式合成：首包延迟在百毫秒级，可以接实时对话；
- 指令控制：情绪、语速、方言都能用自然语言指定。
缺点是极高情感强度时会有机械尾音，做夸张表演类内容不如 IndexTTS。
二、IndexTTS：中文情感的天花板，但不能商用
B 站出品，做了一件别人没做好的事：情感与音色解耦。你可以用 A 的音色说 B 的情绪，而不是「用 A 的音色说 A 式的激动」。
中文韵律和停顿处理是开源里最像真人的一档。如果做的是内部内容、课程、或者不涉及商业分发的东西，它是首选。协议明确禁止商用，这条没有模糊空间。
三、RVC：它根本不是 TTS
很多人把 RVC 和 TTS 混为一谈。区别在于输入：
- TTS：输入文字，输出语音；
- RVC：输入一段你说的话，输出同一段内容的另一个音色。
所以 RVC 的真实用途是：你自己的录音 → 换成目标音色。它保留了你的语气、节奏、情感，只换音色。10 分钟素材就能训出可用模型，MIT 协议，商用无碍。
做数字人时有个组合很好用：用 CosyVoice 生成基础语音，再用 RVC 换成更贴脸的音色。两步走比单靠 TTS 更像真人。
四、fish-speech：多语言可用，但要看协议
代码是 Apache-2.0，但模型权重是 CC-BY-NC。这是两套东西，很多人只看代码协议就以为能商用。13 种语言、延迟低是它的优势，商用需要单独买授权。
五、配音工程的四条硬要求
- 参考音干净：10–30 秒、单人、无底噪无混响。带背景音乐的参考音会把人声和音乐一起克隆进去，这是最常见的翻车点。
- 分段合成：按标点切 1–2 句一次，句间留 120–200 ms。整段一次合成，句尾必变调。
- 统一响度：成片 -16 LUFS。TTS 和真人素材音量差很多，不统一就会出现忽大忽小。
- 固定音色：一条视频只用一份参考音频。换参考等于换人，观众立刻听出来。
六、和画面的配合
配音和口型的顺序是：先定音，再做唇形。音频一旦改动（删句子、调节奏），唇形就必须重做。所以流程上要把配音锁死，再进对口型环节。
另外，音频先做响度归一和静音裁剪再喂唇形模型，唇形抖动会少一半——这个问题看起来像模型问题，九成案例其实是音频没处理。
相关阅读
版权声明：如无特殊标注，文章均为本站原创，转载时请以链接形式注明文章出处。
