🔍 Meta 的 Fairy 是一个快速的视频到视频综合模型，展示了 AI 如何为视频编辑带来更多创作自由。
🔍 Fairy 利用交叉帧关注机制，确保韶光上的同等性和高保真度合成。
🔍 Fairy 比之前的模型快44倍，但在处理动态环境效果方面仍存在一些问题。
站长之家（ChinaZ.com）1月8日 :Meta 的 GenAI 团队推出了名为 Fairy 的视频到视频综合模型，该模型比现有模型更快，韶光上更同等。研究团队展示了 Fairy 在几个运用中的表现，包括角色 / 物体更换，风格化和长形式视频天生。
比如，只需大略的文本提示，如 “仿梵高着风”，就足以编辑源视频。例如，文本命令 “变成雪人” 将视频中的宇航员变成了雪人。
Fairy 的视觉连贯性是一个特殊具有寻衅性的问题，由于基于相同提示有无数种方法可以修正给定的图像。Fairy 利用交叉帧关注机制，这是一种隐式传播扩散特色的机制，确保了优胜的韶光连贯性和高保真度的合成。
该模型可以在仅14秒内天生大小为512x384像素、120帧（30fps 下的4秒）的视频，比以前的模型至少快44倍。与 Meta 的 Emu 视频模型一样，Fairy 是基于用于图像处理的扩散模型，经由了视频编辑的增强。
Fairy 在处理源视频的所有帧时不进行韶光降采样或帧插值，并保持了512的水平输出视频的纵横比。在利用六个 A100GPU 进行测试时，Fairy 能够在71.89秒内渲染一个27秒的视频，并保持高度的视觉同等性。
Fairy 的性能在一个包含1000个天生样本的广泛用户研究中进行了测试。无论是人类判断还是定量指标都证明，Fairy 的表现优于 Rerender、TokenFlow 和 Gen-1这三个模型。
然而，该模型目前在处理如雨、失火或闪电等动态环境效果方面存在问题，这些效果要么无法很好地融入全体场景，要么会产生视觉缺点。
只管存在这些问题，研究团队认为他们的事情在 AI 视频编辑领域代表了一次重大进展，具有对韶光同等性和高质量视频合成的变革性方法。
Fairy项目体验网址：https://top.aibase.com/tool/fairy