MOFA-Video 开源可控制图转视频 v1.0 免费版

MOFA-Video是一种能够将单张图片通过各种控制信号动画化的方法。它采用了稀疏到密集(S2D)运动生成和基于流的运动适应技术，可以有效地使用轨迹、关键点序列及其组合等不同类型的控制信号来动画化单张图片。在训练阶段，通过稀疏运动采样生成稀疏控制信号，然后训练不同的MOFA-Adapters来通过预训练的SVD生成视频。在推理阶段，不同的MOFA-Adapters可以组合起来共同控制冻结的SVD。

需求人群：

"MOFA-Video主要面向需要将静态图像转化为动态视频的专业人士和研究人员，如动画制作者、游戏开发者、视觉效果设计师等。它能够提供高度的控制性和灵活性，使得用户可以根据需要生成各种动态效果。"

MOFA-Video 它支持运动轨迹、人脸关键点并支持将其混合控制图像转换为视频。

混合控制: 结合图像、控制信号和关键点生成动画。

运动画笔: 结合图像、轨迹和画笔生成动画。

控制比例: 调整动画的控制比例，从纯 SVD 到完全控制。

通过光流直接控制: 利用图像和光流直接生成动画。

使用场景示例：

动画制作者使用MOFA-Video将角色设计图转化为动态动画。

游戏开发者利用MOFA-Video为游戏角色添加动态表情和动作。

视觉效果设计师使用MOFA-Video生成具有特定运动轨迹的视频效果。

产品特色：

轨迹基础图像动画：使用轨迹控制信号生成动画。

关键点基础面部图像动画：从驱动视频或音频中提取关键点进行动画。

零样本功能：包括混合控制、运动画笔、控制规模和直接通过光流控制。

架构分析：MOFA-Adapter的架构分析，包括有无变形、调整和S2D技术的效果对比。

领域特定调整：展示领域特定调整前后的效果对比。

技术特点

MOFA-Video的核心功能是它的多功能性和高度的用户交互性。用户可以像使用画笔一样，在视频上指引运动的方向和路径。更为先进的是，这项技术还可以实现面部表情的转移，即将一个视频中的表情迁移到另一个全新生成的视频中，从而创造出具有不同情绪表达的新角色。

此外，MOFA-Video通过其多域感知运动适配器，可以精确控制视频中的每一个细节动作，无论是简单的表情变化还是复杂的动作场景。它的技术实现基于稳定的视频扩散模型，这种模型能够通过接收稀疏的运动提示来生成密集的运动场，实现从静态图像到动态视频的转换。

应用潜力

MOFA-Video技术在多个领域都展示了广泛的应用潜力。在电影制作、游戏开发、虚拟现实和增强现实等行业，这种技术不仅能提高生产效率，还能为创意表达提供更多可能性。例如，电影导演可以使用这项技术来实现复杂的动作场景，而游戏开发者可以创造出更为逼真的角色动作。

用户体验与实时表现

MOFA-Video还特别强调了用户体验和实时性能。它提供了一个基于Gradio的简单易用的用户界面，即使是没有编程技能的用户也能轻松地生成动画。这一点在需要快速动画生成的应用场景，如实时游戏动画和虚拟现实交互中，显得尤为重要。

未来展望

随着MOFA-Video技术的不断进化，我们有理由相信它将推动动画和创意产业的新发展，为未来的视频生产和动画制作开辟新的可能性。它的零样本学习能力和多模态控制功能，将使动画制作更加灵活和多样化，满足未来市场对于高质量动画内容的需求。

综上所述，腾讯的MOFA-Video不仅是技术的一次重大突破，也是对创意和媒体产业未来发展的一次重要贡献。我们期待这项技术在未来能够带来更多创新和突破，为用户和产业带来更多价值。

效果

基于轨迹的动画

基于关键点的面部图像动画

· 来自驱动视频的关键点

· 驱动音频的关键点

零样本功能

· 混合控制

· 运

动画笔

· 通过光流

消融研究

更新日志：

我们发布了基于关键点的脸部图像动画推理脚本