让照片里的人跳起舞:动作驱动类 AI 视频的四条路线和翻车点

admin AI 视频 2026-11-15 13 0

把一张照片里的人「动起来」,听着是 AI 视频里最简单的一件事:给一张图、给一段动作,出片。真做过的人都知道它比文生视频难——文生视频只要好看,这条线还得像。像不像由三件事决定:动作从哪来、身份怎么保住、时序怎么不抖。

这篇把四类做法拆开讲。文中的星数、协议、最后提交时间都是 2026 年 11 月在项目主页核过的,不吹效果,重点说它们在什么情况下会翻车。

一、先把「让它动」拆成三个变量

变量要解决的问题做不好时的画面
驱动信号动作从哪来动作对不上、节奏乱、幅度被削平
身份保持还是不是同一个人脸漂、发型变、衣服换色
时序稳定帧与帧之间不打架闪烁、纹理蠕动、边缘抖动

四类路线,本质是拿不同的东西当驱动信号,其余两项靠工程去补。

动作驱动类 AI 视频的四种做法
图 1:一张照片到一段动作,中间隔着的三件事

二、路线一:骨架驱动,把动作抽成火柴人

最常见也最好理解的一类。流程固定三步:

  1. 用姿态估计(DWPose 这一类)把驱动视频逐帧抽成骨架图,每帧十几个到一百多个关键点;
  2. 把骨架图序列当条件,连同参考图一起喂给扩散模型;
  3. 模型逐帧生成,靠时序层把相邻帧锁在一起。

这条路线上的几个代表项目,基本就是它的发展史:

  • AnimateAnyone(14,783 星,Apache-2.0,最后一次提交在 2025 年 9 月,还有 80 多个未处理 issue):后面绝大多数同类项目都在它的框架上改。「参考图注入 + 骨架条件 + 时序层」这套组合,到 2026 年还是标准答案。
  • MimicMotion(2,694 星,腾讯,自定义协议,2025 年 11 月还有提交):把姿态点的置信度也当成输入,被遮挡的部位权重自动降低,模型不用硬猜。
  • UniAnimate(1,191 星,仓库里没有 LICENSE 文件,2025 年 4 月后没再更新):技术上把长视频拆成片段接力,重点是跨片段的身份对齐。没协议不代表可以随便用,默认是保留所有权利。
  • Animate-X(389 星,Apache-2.0):把「角色类型」也做成条件,卡通、兽人、比例夸张的角色也能被驱动。

骨架路线最大的优点是可控:动作想改,改骨架就行,不用重训。缺点是信息丢得狠——骨架里没有衣服褶皱、没有手指细节、也没有体积感,生成的时候全靠模型自己补。

三、路线二:用 3D 人体当中间层

骨架是 2D 的,所以它分不清「手在身前还是身后」。第二类路线补的就是这个:先把动作估计成 3D 人体参数(SMPL-X 这一类),再渲染成深度图、法线图、骨架图三张引导图,一起喂给模型。

Champ(4,263 星,MIT 协议,2024 年 7 月之后基本停更)是这条线里最容易复现的一个。价值在于前后关系是显式给出的:手臂挡住身体时,深度图会明确告诉模型这只手在前景。

代价同样清楚:3D 估计一旦失败(宽松衣服、快速旋转、严重遮挡),整条链就崩,而且崩得比骨架路线更彻底。另外参数化人体只描述身体,服装、发型、配饰这些非参数化的部分还是得靠参考图补。

四、路线三:不重画,把原片里的人换掉

前两条路线有个共同的毛病:它们从驱动视频里抽走信号,然后重新造一遍画面。背景是新的、光影是新的、运镜往往也丢了。2025 年下半年开始,第三种做法变成主流——保留驱动视频的一切,只把主体换掉。

Wan2.2(18,655 星,Apache-2.0,2026 年 9 月还在更新)的 Animate 分支是这条路线的代表,它同时给两种模式:

  • 动画模式:给参考图和驱动视频,生成同一个人做相同动作的新视频,幅度可以按需放大或收敛;
  • 替换模式:保留驱动视频的镜头、光线、背景、节奏,把里面的人换成参考图里的人。

替换模式好用在哪:背景不漂、镜头不动、转场不用重做,成本比从零生成低一个量级,成片也更像拍出来的。限制也明显——驱动视频里那位的角度和体型不能差太远,动作幅度大、边缘复杂的地方(头发、手指、纱质衣服)容易撕裂,得靠遮罩和后期补。

五、路线四:只动头和脸

严格说这是另一条产品线:音频驱动,解决「说话」而不是「做动作」。它成熟得多,因为有音频这个强对齐信号,头部运动幅度也小。

代表项目有 SadTalker(14,201 星,2024 年 6 月后停更,六百多个未处理的 issue 和 PR)、MuseTalk(6,950 星)、LatentSync(6,281 星)、InfiniteTalk(8,391 星,主打不限长度)、HunyuanVideo-Avatar(2,221 星,自定义协议)。这条路线的取舍单独写过两篇:数字人对口型横评和LivePortrait 的表情迁移,这里不重复。

六、四条路线对照

路线驱动信号身份怎么保适合主要失效
骨架驱动2D 关键点序列参考图注入舞蹈、动作复刻手部、遮挡、转身
3D 人体先验SMPL-X 参数深度法线引导复杂姿态、自遮挡3D 估计失败即全崩
视频替换原片本身参考图条件成片交付、商用边缘撕裂、体型差异
音频驱动音频单图加口型口播、数字人身体不动、手部僵硬

七、五个一定会遇到的翻车点

  1. 手:全身动作里手最先烂。关键点再密也描述不了手指的弯曲和交叠,握拳、比心、拿东西基本都要重画。
  2. 脚和地面:骨架不带接触约束,所以常见滑步和悬空。要么在关键帧上手工钉住脚的位置,要么选原地动作的驱动视频。
  3. 遮挡与转身:手臂扫过身体、背后转身 180 度,是这类模型的照妖镜。3D 先验路线能救一部分,骨架路线基本无解。
  4. 长视频漂移:15 秒之后开始掉色、脸变形。分段生成时必须固定种子,相邻片段留 8 到 16 帧重叠,具体做法见种子与可复现。
  5. 多人或移动镜头:骨架提取会把两个人串成一个人,替换模式则可能换错对象。素材阶段就该守死「单人、固定机位」。

八、参数和显存:先守住 480P

  • 一次生成 49 到 81 帧是常见设置,想要更长就分段接力,别指望一口气出一分钟;
  • 分辨率翻倍,潜空间里的 token 数变成四倍,显存占用通常也接近四倍,所以 480P 能不能跑顺,比 720P 好不好看更重要;
  • 24G 显存:720P 短片段加量化可以跑,边界在哪见一张 24G 显卡能跑到什么程度;
  • 16G 以下:老实 480P、更短片段,或者直接上端侧方案;出片后一定要重新编码,否则平台二次压缩会把细节吃干净。

九、素材比模型重要

同一套模型,换素材能差出一个档次的成功率。参考图的要求很具体:

  • 全身,正面或四分之三侧面,别仰拍俯拍;
  • 背景干净,光线均匀,别有强逆光;
  • 衣服选纯色、轮廓清晰,避开大花纹、镂空、纱质和长飘带;
  • 手自然下垂或放身侧,不要交叉、不要插兜。

驱动视频的要求更硬:单人、固定机位、动作完整、不要快速旋转、不要切镜。还有一条经验——参考图和驱动视频的服装轮廓越接近,成功率越高,因为模型不用同时猜「这个人长什么样」和「这身衣服怎么动」。

十、合规:这是 AI 视频里风险最高的一类

  • 肖像权:真人照片必须有本人授权,公众人物一律不做,这不是技术问题;
  • 标识:国内的《人工智能生成合成内容标识办法》自 2025 年 9 月起施行,要求显式标识(画面里的提示)加隐式标识(文件元数据),缺一个都算不合规;
  • 平台规则:多数平台对换脸换身类内容限流或要求主动标注,账号一旦被判违规,之前的内容也会一起受影响;
  • 数字人克隆:像 Duix-Avatar(16,342 星,自定义协议,426 个未处理 issue)这类完全本地跑的离线克隆工具,输入素材必须是本人授权的。它适合企业内部培训、私域口播;拿来做明星替身就是另一回事了。

完整的自查清单在AI 生成内容的合规自查,出片前建议过一遍。

十一、三种人该怎么选

  1. 只想玩一下:ComfyUI(146,859 星,GPL-3.0)加一个现成的替换工作流,一张照片一段视频就能出效果,节点别自己从零连;
  2. 做账号、要批量:走替换模式,把驱动视频模板和参考图都做成素材库,出片就变成填空。真正卡产能的不是模型,是素材管理,思路可参考短剧的资产管理;
  3. 商用交付:只用 Apache-2.0、MIT 这类明确许可的项目,自建一台渲染机,把授权、标识、成片归档都做成流程。别碰没有 LICENSE 文件的仓库。

十二、一句话总结

让照片动起来这件事,模型已经够用了,卡住人的是素材质量和合规边界。这也是为什么同一个工作流,有人出片像广告,有人出片像事故——差别在参考图和驱动视频,不在参数。

相关阅读

← 上一篇 抖音同城流量:门店怎么被附近三公里的人刷到

评论

https://zzgzs.com/?id=392
访问统计