LivePortrait:表情迁移比对口型更有意思的地方

admin AI 视频 2026-11-03 3 0

数字人做出来「假」,最常见的原因不是嘴型不对,是脸上没有戏:眼睛不眨、眉毛不动、笑的时候只有嘴在笑。这类问题对口型模型无解,得靠表情迁移。

一、它做的事

给两张输入:一张源图(要动的那张脸)、一段驱动视频(表演)。输出是源图的脸,做出驱动视频里的表情、眼球方向和头部姿态。

注意驱动源不是音频,是视频。这意味着:

  • 你可以自己演一遍,把表演迁移到角色脸上;
  • 也可以找参考表演(授权素材),迁移到数字人身上;
  • 表情的丰富度完全取决于驱动视频,不是模型凭空生成。

二、为什么它对观感的影响比口型大

人的视觉对「面部微动」极其敏感。一张完全静止的脸,即使嘴型完全正确,也会被立刻识别为「假的」;反过来,一张嘴型略有偏差但有眨眼、有眉毛微动的脸,可信度高得多。

这也是为什么很多数字人产品在口型模型之外,还要单独跑一层表情驱动。

三、技术上的两个关键点

1. 解耦

要把「身份」(这是谁)和「表情/姿态」(他现在什么状态)分开表示。分不开的话,迁移表情时会把驱动者的长相也带过来,变成「换脸」而不是「表情迁移」。

2. 实时性

这类方案的推理速度通常能做到接近实时,8 GB 显存就能跑。这意味着它可以接摄像头做直播,而不是只能离线渲染。

四、和口型模型怎么配合

音频 → 口型模型(LatentSync 这类)→ 嘴型对上
        ↓
表情迁移(LivePortrait 这类)→ 眨眼、眉毛、微表情
        ↓
超分与调色 → 成片

顺序很重要:先口型,后表情。反过来的话,表情迁移会把嘴部的形状改掉,前面的口型工作白做。

五、实用的三个技巧

  • 驱动视频自己拍:对着摄像头读一遍台词,表情自然,比找素材快;
  • 幅度收一点:迁移强度调到 80% 左右,满强度容易夸张,像在演舞台剧;
  • 眨眼要留:有些人脸素材本身眼睛很小,迁移后眨眼不明显,可以在驱动视频里刻意多眨几次。

六、边界

技术上是「表情迁移」,法律上仍然是肖像使用。用别人的表演驱动自己的脸,或者用自己的表演驱动别人的脸,都需要授权。工具协议本身也常见「非商用」限制,商用前要单独确认。

和换脸相比,这类方案的风险低一档(不改身份),但也不是「无风险」——它依然在生成一个真人形象的动态内容。

相关阅读

访问统计