# 05 · 语音与配音（视频的另一半）

视频的"AI 感"有一半来自声音。这一层负责 TTS、声音克隆、多语言配音。

---

## 1. CosyVoice —— 阿里，商用友好的首选

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `FunAudioLLM/CosyVoice` | 24,257 | Apache-2.0 | 2026-05-25 |

**能力**
- 零样本声音克隆：3 秒参考音频即可复刻音色（CosyVoice 2 支持跨语种）。
- 流式合成，延迟低（首包 ~150ms 量级），可以接实时对话。
- 中文、英文、日文、韩文，以及中文方言/口音的细粒度控制（情感、语速、方言指令）。

**门槛**：CosyVoice2-0.5B 在 8GB 显存可跑，CPU 也能推理（慢）。
**优点**：Apache-2.0 真商用；中文自然度在开源里第一梯队；生态好（ComfyUI 节点、API 封装都有）。
**短板**：极高情感强度时会有机械尾音；克隆音色的"个人特征"保留度不如 IndexTTS 系。

---

## 2. IndexTTS —— B 站出品，中文情感最好

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `index-tts/index-tts` | 24,899 | 自定义（**非商用**） | 2026-09-29 |

**能力**：IndexTTS2 主打**情感解耦**——音色和情绪分开控制，可以"用 A 的音色说 B 的情绪"，中文韵律和停顿处理在开源里最像真人。
**门槛**：约 8–12GB 显存。
**短板**：**协议禁止商用**，只能自用/研究；生态比 CosyVoice 小。

---

## 3. fish-speech —— 多语言、生态大

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `fishaudio/fish-speech` | 33,551 | 权重 CC-BY-NC-SA-4.0（代码 Apache-2.0） | 2026-11-02 |

**能力**：多语言 TTS + 声音克隆，延迟低（有 4B 级的实时版本），支持 13 种语言。
**短板**：权重是非商用协议（NC），商用需购买授权；社区版和商业版能力有差距。

---

## 对比

| 项目 | 中文自然度 | 克隆质量 | 显存 | 商用 |
|---|---|---|---|---|
| CosyVoice | 高 | 中高 | 8 GB | ✅ Apache-2.0 |
| IndexTTS | 最高 | 高 | 8–12 GB | ❌ 非商用 |
| fish-speech | 中高 | 高 | 8 GB+ | ❌ 权重 NC |

**结论**：要上线商用 → CosyVoice。要极致中文情感、内部使用 → IndexTTS。要多语言 → fish-speech（注意授权）。

---

## 配音工程的几个硬要求

1. **统一响度**：成片音轨统一到 -16 LUFS（短视频平台）/ -23 LUFS（电视），否则平台会二次压限，TTS 的齿音会被放大。
2. **分段合成再拼接**：长句一次合成容易在句尾变调；按标点切成 1–2 句合成，中间留 120–200ms 静音，再统一处理。
3. **降噪与去齿音**：TTS 输出干净，但克隆参考音必须降噪（参考音里的底噪会被一起克隆）。
4. **对口型前先对齐**：数字人管线里，音频先做音量归一和静音裁剪，再喂给唇形模型，唇形抖动会少一半。
5. **音色一致性**：一条视频里只用一份参考音频；换参考 = 换人。

---

## 完整音频链（配短视频流水线）

```
文案（LLM 分句，标注情绪）
   ↓
CosyVoice 分段合成（固定参考音色）
   ↓
响度归一（-16 LUFS）+ 去齿音
   ↓
BGM 闪避（侧链压缩，人声起时 BGM 降 6–10 dB）
   ↓
输出 48kHz WAV → 交给成片/对口型环节
```