VACE:把「改视频」变成一件正经事

admin AI 视频 2026-11-01 2 0

真实的生产场景里,「重新生成一条」往往是最后手段:客户要的是「把这条里那件衣服换掉」「把背景换成办公室」「把桌上的杯子去掉」。这些都属于视频编辑,不是视频生成。

VACE 这类模型解决的就是这个问题:输入一段视频加一张参考图(或一段掩膜),输出「只有那块变了」的视频。

一、它能做哪几件事

  • 换装:给人换上参考图里的衣服,保留动作与光影;
  • 换背景:抠出主体,重新生成长背景;
  • 局部重绘:框选区域重新生成(去物体、修瑕疵);
  • 参考生视频:给一张图当风格/主体参考,生成对应视频;
  • 可控生成:深度图、姿态图、掩膜作为结构约束。

把这些放进一个模型里,价值在于不用在多个工具之间倒素材。换背景用 A、去物体用 B、控姿态用 C,光是格式转换和一致性对齐就能把人耗死。

二、版本与显存

档位显存适用
13 亿参数单卡可跑(12–16 GB)快速试、局部小改
140 亿参数24 GB(量化)成片级质量

小档位的存在很关键:编辑是「试错密集型」工作,改十次才满意是常态,能用小模型快速试的体验完全不同。

三、使用上的三个纪律

1. 掩膜要准

编辑质量的上限由掩膜决定。掩膜边缘多框进两像素,重建结果就会把那两像素当成「要重画的内容」,出现色块或鬼影。做法是掩膜略微内缩,边缘做羽化。

2. 参考图要和原片对得上

换装时参考图的衣服角度、光照方向要和原片接近,否则模型会强行贴合,出来像贴纸。拍参考图时按原片的光位来。

3. 一次只改一件事

同时换装 + 换背景 + 加特效,失败率极高,而且失败后不知道是哪一步出的问题。改成串行:先换背景,检查;再换装,检查。

四、和传统后期的分工

任务用 AI 编辑用传统后期
换衣服颜色过度了调色即可
换整套服装合适几乎做不到
去掉画面里的电线合适要逐帧跟踪,很慢
加字幕、贴 logo不合适剪辑软件更快

判断标准:「这块内容在现实里存在过吗」。需要生成新内容才用 AI,只是调整就用传统工具。

相关阅读

访问统计