2025 年 5 月 14 日,浙江 —— 通义万相宣布开源 VACE 模型,为视频编辑领域带来高效解决方案。此次开源的 Wan2.1-VACE-1.3B 支持 480P 分辨率,Wan2.1-VACE-14B 支持 480P 和 720P 分辨率,用户可一站式完成文生视频、图像参考生成、局部编辑与视频扩展等任务,无需频繁切换模型或工具。
传统视频生成流程中,调整人物姿态、动作轨迹或场景布局较为困难。VACE 凭借强大的可控重绘能力,支持基于人体姿态、运动光流、结构保持、空间运动、着色等控制生成,同时支持基于主体和背景参考的视频生成。其核心技术在于多模态输入机制,构建了集文本、图像、视频、Mask 和控制信号于一体的统一输入系统。
VACE 支持对视频中指定区域进行内容替换、增加或删除等操作,也可根据任意片段或首尾帧补全整个视频时长,还能对画面边缘或背景区域进行扩展生成。它打破了传统专家模型各自为战的协作瓶颈,能自然融合文生视频、姿态控制、背景替换、局部编辑等原子能力,无需为单一功能单独训练新模型。
本次开源版本采用上下文适配器微调方案进行训练,具有更快的收敛速度,且避免了基础能力丢失的风险。VACE 系列模型在多个关键指标上相比 1.3B preview 版本均有明显提升。
目前,VACE 的相关资源已在 GitHub、魔搭、Hugging Face 等平台发布,用户可前往下载使用,具体链接如下:
GitHub:https://github.com/Wan-Video/Wan2.1
魔搭:https://modelscope.cn/organization/Wan-AI
Hugging Face:https://huggingface.co/Wan-AI
国内站:https://tongyi.aliyun.com/wanxiang/
国际站:https://wan.video
|
声明:
本站所有内容来源于用户上传,用来分享交流。如有资料或者图片不小心侵权,请发邮件(41835170@qq.com)告知!