上周，Meta宣告推出了Movie Gen的预览版，这是一套新的人工智能模型，旨在创建和操纵视频、音频和图像，包括从一个人的单张照片创建逼真的视频。
该公司声称在人类评估时，这些模型优于其他视频合成模型，将我们拉近了一个未来，任何人都可以根据须要合成任何主题的完全视频。
公司目前尚未操持何时以及如何向"大众年夜众发布这些功能，但Meta表示，Movie Gen是一个可以让人们“增强他们与生俱来的创造力”的工具，而不是取代人类艺术家和动画师。
公司设想未来的运用，例如轻松创建和编辑社交媒体平台上的“生活中的一天”视频，或天生个性化的动画生日祝福。
Movie Gen是基于Meta先前在视频合成方面的事情发展而来，继续了2022年的Make-A-Scene视频天生器和Emu图像合成模型。
利用文本提示进行勾引，这一最新系统首次可以天生带有声音的自定义视频，编辑和插入现有视频的变革，并将人物的图像转换为逼真的个性化视频。
利用Meta Movie Gen创建的一段婴儿河马游动的AI天生视频。
在AI视频合成领域，Meta并非唯一的竞争者。
谷歌在五月展示了一个名为“Veo”的新模型，Meta表示在人类偏好测试中，其Movie Gen的输出超过了OpenAI的Sora、Runway Gen-3和视频模型Kling。Movie Gen的视频天生模型可以根据文本描述或图像输入创建1080p的高清视频，每秒16帧，长达16秒。
Meta声称该模型可以处理像物体运动、主客体互动和摄像机运动等繁芜观点。
通过Meta Movie Gen天生的AI视频，文本提示为：“一个穿着白床单的幽灵面对着镜子。镜子中可以看到幽灵的倒影。幽灵在一间灰尘飞扬的阁楼上，到处是古老的横梁和布满布料的家具。阁楼在镜子中有所映射。灯光明亮而自然。幽灵在镜子前舞蹈。”
然而，正如我们之前看到的AI视频天生器一样，Movie Gen天生特定主题的连贯场景的能力很可能取决于Meta用于演习视频合成模型的示例视频中创造的观点。
值得把稳的是，从视频天生器中精选的结果每每与范例结果有很大的不同，获取连贯的结果可能须要大量的考试测验和缺点。
说到演习数据，Meta表示他们对这些模型进行了“容许和公开可用数据集”的组合演习，这很可能包括多年来Facebook和Instagram用户上传的视频，只管这只是基于Meta当前政策和以往行为的推测。视频深度假造的新先锋 Meta称Movie Gen的关键特性之一是“个性化视频创作”，但自2017年以来，已经有另一个名字：深度假造。
深度假造技能引起了一些专家的当心，由于它可以用来仿照真实的相机镜头画面，使人们看起来做了他们实际上并没有做的事情。利用Movie Gen制作的深度假造视频，文本提示为：“一个女人坐在南瓜地的草地上。她戴着围巾，手里拿着一杯。背景是一排排的南瓜。”源照片位于右上角。
在这种情形下，利用Movie Gen制作深度假造视频彷佛非常大略，只需供应一个人的单张输入图像，以及描述您希望他们在天生的视频中做什么或身处何处的文本提示。系统会天生一段以该个体为特色的视频，旨在保留他们的身份和动作，同时结合提示中的细节。
利用Movie Gen制作的深度假造视频，文本提示为：“制作一个可爱的自拍视频，有一个男人和他的狗。男人穿着一件玄色衬衫。狗是一只小猎犬小狗。背景是一个充满树木的后院庭院。男人满脸笑颜，试图和他的狗拍摄完美的自拍。光芒温暖。”源照片位于右上角。
这项技能可以以多种办法被滥用，包括制作羞辱视频，让人陷入尴尬的虚假情境，捏造历史背景，或天生深度假造的色情视频。这使我们更靠近一个文化奇点，个中媒体中的真实和虚构在没有更深层背景的情形下是无法分辨的，这是由于AI媒体合成的流动性和终极的实时性。
今年四月，微软展示了一款名为VASA-1的模型，它可以根据单张照片和单声道音轨创建一个逼真的人物视频，但是Movie Gen通过在视频场景中放置一个深度假造的人物进一步扩展了这一技能。
然而，Movie Gen彷佛尚未天生或同步语音。编辑和声音合成 Meta还展示了Movie Gen的视频编辑组件，它可以根据文本指令对现有视频进行精确修正。它可以实行像添加或移除元素这样的局部编辑，以及进行全局的修正，比如改变背景或整体风格。
Movie Gen视频到视频编辑功能的示例，可以在现有视频中插入或删除工具。此外，到目前为止，我们利用的每个视频合成模型都创建了无声视频。
Meta正在通过一个单独的音频天生模型为AI视频带来声音合成，该模型能够根据文本提示为视频内容天生环境声音、音效和背景音乐，保持整体的连贯音频。该公司声称该模型可以为任何长度的视频天生音频。
利用AI天生的视频，搭配由AI天生的配乐，文本提示为：“飒飒的树叶和噼啪作响的树枝，伴有管弦乐配乐。” 只管有了这些进展，Meta承认当前的模型存在局限性。
公司操持通过进一步扩展模型来加快视频天生速率并提高整体质量。您可以通过Meta本日发布的研究论文理解有关Movie Gen模型如何事情的更多信息。
Meta还操持与电影制作人和创作者互助，将他们的反馈整合到模型的未来版本中。
然而，去年SAG-AFTRA演员工会的警告以及一些行业专业人士对视频合成产生不合的反应之后，我们可以想象到，并非所有的反馈都会是积极的。关注【黑客同盟】带你走进神秘的黑客天下