# 02 · 数字人与对口型（Talking Head / Lipsync）

这一类解决"让一张脸说话"：给音频 + 一张图或一段视频，输出唇形、表情、头部动作同步的成片。是口播号、课程、电商讲解、虚拟主播的主力工具。

---

## 1. InfiniteTalk —— 目前无限长度口播最强的开源方案

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `MeiGen-AI/InfiniteTalk` | 8,285 | Apache-2.0 | 2026-05-22 |

**定位**：基于 Wan2.1-I2V-14B 改造的音频驱动模型，主打**不限时长**（不再受 5 秒/10 秒片段限制）和精准音画同步。

**能力**
- 支持 image-to-video（单图驱动）和 video-to-video（拿真人视频做底，只改口型和表情，保留原始动作）。
- 长视频靠稀疏帧参考（sparse-frame reference）维持身份与背景一致性，几十分钟的口播不会"变脸"。
- 14B 底座，质量与 Wan 系一致。

**门槛**：fp8/量化后约 24GB 显存可跑，原生要 48GB 级。
**优点**：Apache-2.0、时长无限制、支持 v2v 保留原视频动作——这三点组合目前只有它做到。
**短板**：14B 推理慢，1 分钟成片在 4090 上要按十分钟计；对手部/大幅度动作不做建模。

---

## 2. MultiTalk —— 多人对话场景

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `MeiGen-AI/MultiTalk` | 3,027 | Apache-2.0 | 2026-05-22 |

**定位**：NeurIPS 2025 工作，同一画面里**多个人轮流说话**，各自音轨各自对口型。

**用途**：双人访谈、播客可视化、群聊场景。音轨按人分离后注入，模型负责分配口型。
**门槛**：同 InfiniteTalk 量级（14B 底座）。
**注意**：多人同框时人物交互（转头对视、手势）需要额外镜头控制，不是开箱即用。

---

## 3. LatentSync —— 字节的唇形同步，走"只改嘴"的路线

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `bytedance/LatentSync` | 6,237 | Apache-2.0 | 2025-06-20 |

**定位**：音频条件 latent diffusion，直接在潜空间做唇形重绘。1.5/1.6 版本是社区里公认"嘴型最贴合"的一档。

**能力**
- 输入一段视频 + 一条音轨 → 只重绘嘴部区域，画面其余部分几乎不动。
- 比 Wav2Lip 清晰得多（不是把嘴糊成一团），比 InfiniteTalk 便宜得多（不吃 14B）。

**门槛**：约 18–20GB 显存（1.6 有低显存优化）。
**优点**：Apache-2.0、速度快、不改画面整体，适合给已有素材换配音（外语剧、口播纠错）。
**短板**：只治嘴，不治表情和头部动作；原始视频头部运动过大时容易露馅。

---

## 4. Wav2Lip / SadTalker —— 老两样，仍然可用但要认清代价

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `Rudrabha/Wav2Lip` | 13,263 | **无 LICENSE 文件** | 2025-06-22 |
| `OpenTalker/SadTalker` | 14,174 | 自定义（非商用为主） | 2024-06-26（已停更） |

**Wav2Lip**：4GB 显存就能跑，速度极快，是"批量、低配、只要嘴动"的经典解。缺点是嘴部区域分辨率低（96×96 的判别器），1080P 素材上会明显发糊。
**SadTalker**：单图生成头部整体动画（头动 + 眨眼 + 嘴），比 Wav2Lip 自然，但画面偏"塑料感"，2024 年后未更新。

**协议注意**：Wav2Lip 仓库**没有 LICENSE 文件**，法律上等于保留所有权利，商用风险高；SadTalker 也不是标准开源许可。真要商用，选 LatentSync / InfiniteTalk 这类 Apache-2.0 的。

---

## 5. EchoMimicV2 —— 半身 + 手势

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `antgroup/echomimic_v2` | 4,675 | Apache-2.0 | 2026-02-23 |

**定位**：蚂蚁的音频驱动半身数字人，除了口型还生成**手势和身体姿态**，不只是一颗头。

**门槛**：约 24GB 显存。
**优点**：讲解类视频比"只有头在动"的观感好很多；Apache-2.0。
**短板**：手势是生成的，长时间看会有重复节律；半身构图对原图要求高（最好正面、无遮挡）。

---

## 6. Duix-Avatar —— 唯一给了端侧/离线落地方案的

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `duixcom/Duix-Avatar` | 16,199 | 自定义（商用需授权） | 2026-04-21 |

**定位**：数字人克隆 + 离线视频生成工具链，含 Docker 服务、Android/iOS SDK、实时对话版（Duix-HeyGem 系）。

**价值**：它不是又一个研究仓库，而是**能打包进 App / 工控机 / 私有服务器**的工程方案，中文文档较全。
**短板**：开源协议限制商用（需联系授权）；克隆质量取决于素材采集流程（官方给了拍摄规范）。

---

## 7. LivePortrait —— 表情迁移 / 肖像驱动（严格说不是数字人，但常用在一起）

| 项目 | ★ | 协议 | 最近提交 |
|---|---|---|---|
| `KwaiVGI/LivePortrait` | 19,379 | 快手自定义（研究/非商用） | 2026-06-01 |

**定位**：一张源图 + 一段驱动视频 → 把驱动视频的表情、眼球、头部姿态迁移到源图上，**实时级**（8GB 显存够）。

**用途**：让照片"活"起来、表情包、虚拟主播低成本方案、给 AI 生成的人像加真实微表情。
**短板**：只迁移表情/姿态，不做音频驱动；商用需授权。

---

## 其它值得知道的

| 项目 | ★ | 协议 | 一句话 |
|---|---|---|---|
| `fudan-generative-vision/hallo3` | 1,420 | MIT | 复旦 Hallo3，肖像动画画质好，MIT 很友好，显存要求偏高。 |
| `OpenTalker/video-retalking` | 7,299 | Apache-2.0 | 给已有视频**换配音并对口型**，外语译制流程里的标准件，已停更但稳定。 |
| `deepbrainai-research/float` | 497 | 自定义 | 说话人头像，主打时间一致性与自然表情，生态小。 |

---

## 选型速查

| 需求 | 选它 | 显存 |
|---|---|---|
| 长口播（几分钟以上）、要商用 | **InfiniteTalk** | 24 GB（量化） |
| 给成片换配音/译制，不想改画面 | **LatentSync** | 18–20 GB |
| 半身讲解 + 手势 | **EchoMimicV2** | 24 GB |
| 多人对话 | **MultiTalk** | 24 GB（量化） |
| 4–8 GB 低配批量跑 | Wav2Lip（注意协议） | 4 GB |
| 打包进 App / 私有部署 | Duix-Avatar（商用需授权） | 中 |
| 照片表情驱动 | LivePortrait | 8 GB |

**通用坑**
1. 数字人画质上限由**素材**决定：正面、均匀光、无遮挡、嘴角清晰，比换模型有效得多。
2. 音轨要做降噪和统一响度（-16 LUFS 左右），否则唇形会跟着噪声抖。
3. 长视频一致性靠参考帧策略，不要指望"生成完再拼"能一致。