# 08 · 音频、音乐与音效

视频的一半是声音。这一篇覆盖四块：**语音合成/克隆**、**声音转换（变声/翻唱）**、**音乐生成**、**音效拟音与分离**。

---

## 一、语音合成与克隆

### 1. RVC —— 声音转换的事实标准

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `RVC-Project/Retrieval-based-Voice-Conversion-WebUI` | 39,036 | MIT | 2026-08-04 |

**做什么**：不是 TTS，是**声音转换**——输入一段你说的话，输出成目标音色（保留你的语气、节奏、情感）。
**门槛**：10 分钟素材就能训出可用音色；推理 4–8 GB 显存，实时级（有实时变声模式）。
**优点**：MIT、生态最大、有 GUI、中文教程最多；音色保真度高。
**短板**：需要先有"人声输入"；训练要自己准备干净素材；跨语种效果一般。

### 2. so-vits-svc —— 唱歌专用，已停更

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `svc-develop-team/so-vits-svc` | 28,067 | AGPL-3.0 | 2023-10-03（停更） |

**做什么**：歌声转换（翻唱），把 A 的歌声变成 B 的音色，保留唱腔细节。曾经是 AI 翻唱的主力。
**现状**：2023 年后停更，AGPL 协议，新项目建议用 RVC 或更新的方案替代。列在这里是因为大量现成模型和教程仍基于它。

### 3. OpenVoice —— 即时克隆 + 音色控制

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `myshell-ai/OpenVoice` | 38,134 | MIT | 2025-04-19 |

**做什么**：几秒参考音频克隆音色，且可以**解耦控制**音色、情感、口音、节奏。V2 支持多语言。
**优点**：MIT、轻量（1–4 GB 显存可跑）、控制粒度细。
**短板**：中文自然度不及 CosyVoice / IndexTTS；情感控制偏"标签化"，细粒度不够。

### 4. ChatTTS —— 对话式 TTS，中文口语感强

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `2noise/ChatTTS` | 39,975 | AGPL-3.0 | 2026-04-10 |

**做什么**：专为对话场景训练的 TTS，会自己加停顿、语气词、笑声，中文口语自然度高。
**短板**：**音色不可控**（随机说话人），不能克隆指定音色；AGPL；长文本稳定性一般。

### 5. F5-TTS / Spark-TTS / StyleTTS2 / Bert-VITS2 / VALL-E-X

| 项目 | ★ | 协议 | 定位 |
|---|---|---|---|
| `SWivid/F5-TTS` | 15,507 | MIT | 流匹配 TTS，零样本克隆，中英双语，MIT 协议里质量最好的一档。 |
| `SparkAudio/Spark-TTS` | 10,993 | Apache-2.0 | 基于 LLM 的 TTS，可控音色属性（性别/音高/语速），Apache 商用友好。 |
| `yl4579/StyleTTS2` | 6,382 | MIT | 音质天花板（英文尤强），风格迁移好，但工程化配置麻烦、中文支持弱。 |
| `fishaudio/Bert-VITS2` | 8,806 | AGPL-3.0 | 中文二次元/拟人音色训推一体，社区音色模型极多，需要自己训练。 |
| `Plachtaa/VALL-E-X` | 7,907 | MIT | 微软 VALL-E 的开源复现，多语言零样本克隆，2023 年后停更。 |

---

## 二、音乐生成

| 项目 | ★ | 协议 | 定位 |
|---|---|---|---|
| `multimodal-art-projection/YuE` | 13,054 | Apache-2.0 | 开源音乐生成最强档之一，支持人声+伴奏、中英文歌词、整首歌（分钟级）。显存要求高（24 GB+）。 |
| `facebookresearch/audiocraft` | 23,816 | MIT | Meta MusicGen/AudioGen 官方库，纯器乐生成稳定，MIT 协议商用友好，但只出 30 秒级片段。 |
| `ace-step/ACE-Step` | 5,024 | Apache-2.0 | 快速音乐生成（秒级出 4 分钟），支持歌词与风格控制，2026 年活跃度不错。 |
| `ASLP-lab/DiffRhythm` | 2,358 | Apache-2.0 | 极快的全曲生成，结构简单易部署，适合批量做 BGM。 |
| `haoheliu/AudioLDM2` | 2,644 | 自定义 | 文生音频/音乐，音效类表现好，2024 年后更新少。 |

**做视频 BGM 的实用路线**：DiffRhythm / ACE-Step 批量出无版权 BGM → Demucs 分离需求不高的直接铺 → 按 -18 dB 垫在人声下。

---

## 三、音效与拟音

| 项目 | ★ | 协议 | 定位 |
|---|---|---|---|
| `hkchengrex/MMAudio` | 2,303 | MIT | **视频转音效**：给一段无声视频，自动生成匹配的脚步、风声、碰撞声。CVPR 2025，MIT 可商用。做 AI 视频的"环境音"极实用。 |
| `Tencent-Hunyuan/HunyuanVideo-Foley` | 1,087 | 自定义 | 腾讯的视频拟音模型，音画同步质量高，协议需确认。 |

**为什么重要**：AI 生成的视频默认是静音的，没有环境音就"假"。MMAudio 这类工具是低成本补上这一环的关键。

---

## 四、分离与后期

| 项目 | ★ | 协议 | 定位 |
|---|---|---|---|
| `Anjok07/ultimatevocalremovergui` | 26,941 | MIT | UVR，人声/伴奏/鼓/贝斯分离的 GUI 工具，内置多种模型，做翻唱、做卡拉OK、提取干净人声的标配。 |
| `adefossez/demucs` | 3,496 | MIT | Demucs 官方实现，命令行批处理友好，比 UVR 更适合脚本化流水线。 |

---

## 五、选型速查

| 需求 | 首选 | 备选 | 商用 |
|---|---|---|---|
| 商用 TTS + 克隆（中文） | **CosyVoice**（Apache-2.0） | Spark-TTS（Apache-2.0） | ✅ |
| 中文情感最强（内部用） | IndexTTS | — | ❌ |
| 变声 / 配音换音色 | **RVC**（MIT） | OpenVoice | ✅ |
| 翻唱 / 歌声转换 | RVC（歌声模型） | so-vits-svc（停更） | ✅ / ⚠️ |
| 对话式自然口语 | ChatTTS | CosyVoice 对话模式 | ❌ AGPL |
| 零样本克隆（轻量） | F5-TTS（MIT） | OpenVoice | ✅ |
| 生成 BGM | ACE-Step / DiffRhythm | MusicGen | ✅ |
| 整首歌带人声 | YuE | ACE-Step | ✅ |
| 视频自动配音效 | **MMAudio**（MIT） | HunyuanVideo-Foley | ✅ |
| 人声分离 | Demucs（脚本）/ UVR（GUI） | — | ✅ |

---

## 六、音频工程的六条硬要求

1. **参考音频决定克隆上限**：10–30 秒、单人、无底噪、无混响、语速平稳。带背景音乐的参考音会把人声和音乐一起克隆进去。
2. **统一响度**：成片 -16 LUFS（短视频）/ -23 LUFS（长视频平台），配音和 BGM 分开归一化后再混。
3. **分段合成**：按标点切 1–2 句一次合成，句间 120–200 ms，避免长句尾音变调。
4. **对口型前先对齐**：先做静音裁剪和响度归一，再喂唇形模型，抖动会少一半。
5. **BGM 侧链闪避**：人声起时 BGM 压低 6–10 dB，比手动调关键帧省事且不突兀。
6. **音效要"贴画面"**：脚步声、开门声必须和画面动作对齐在同一帧附近（±50 ms），否则观众会觉得"假"但说不出哪里假。