量子位 | "大众年夜众号 QbitAI
内容天生AI进入视频时期！
Meta发布「用嘴做视频」仅一周，谷歌CEO劈柴哥接连派出两名选手上场竞争。
第一位Imagen Video与Meta的Make-A-Video比较突出一个高清，能天生1280768分辨率、每秒24帧的视频片段。
另一位选手Phenaki，则能根据200个词旁边的提示语天生2分钟以上的长镜头，讲述一个完全的故事。
网友看过后表示，这统统进展实在太快了。
也有网友认为，这种技能一旦成熟，会冲击短视频行业。
那么，两个AI详细有什么能力和特点，我们分别来看。
Imagen Video：理解艺术风格与3D构造Imagen Video同样基于最近大火的扩散模型，直接继续自5月份的图像天生SOTA模型Imagen。
除了分辨率高以外，还展示出三种特殊能力。
首先它能理解并天生不同艺术风格的作品，如“水彩画”或者“像素画”，或者直接“梵高着风”。
它还能理解物体的3D构造，在旋转展示中不会变形。
末了它还继续了Imagen准确描述笔墨的能力，在此根本上仅靠大略描述产生各种创意动画，
这效果，直接当成一个视频的片头不过分吧？
除了运用效果出色以外，研究职员表示个顶用到的一些优化技巧不只对视频天生有效，可以泛化至一样平常扩散模型。
详细来说，Imagen Video是一系列模型的凑集。
措辞模型部分是谷歌自家的T5-XXL，演习好后冻结住文本编码器部分。
与卖力从文本特色映射到图像特色的CLIP比较，有一个关键不同：
措辞模型只卖力编码文本特色，把文本到图像转换的事情丢给了后面的视频扩散模型。
根本模型，在天生图像的根本上以自回归办法不断预测下一帧，首先天生一个4824、每秒3帧的视频。
接下来，一系列空间超分辨率（Spatial Super-Resolution）与韶光超分辨率（Temporal Super-Resolution）模型接连对视频做扩展处理。
所有7种扩散模型都利用了v-prediction parameterization方法，与传统方法比较在视频场景中可以避免颜色偏移。
这种方法扩展到一样平常扩散模型，还使样实质量指标的收敛速率更快。
此外还有渐进式蒸馏（Progressive Distillation），将每次迭代所需的采样步骤减半，大大节省显存花费。
这些优化技巧加起来，终于使天生高清视频成为可能。
Phenaki：大家都能是“导演”Phenaki的论文投了ICLR 2023会议，在一周前Meta发布Make-a-video的时候还是匿名双盲评审状态。
如今信息公开，原来研究团队同样来自谷歌。
在公开的信息中，Phenaki展示了它交互天生视频的能力，可以任意切换视频的整体风格：高清视频/卡通，还能够切换任意场景。
还可以向Phenaki输入一个初始帧以及一个提示，便能天生一段视频。
这都还是开胃小菜，Phenaki真正的大招是：讲故事，它能够天生2分钟以上的长视频，通过输入长达200多个字符的系列提示来得到。
（那有了这个模型，岂不是大家都能当导演了？手动狗头）
从文本提示到视频，打算本钱高、高质量文本视频数据数量有限以及视频长度可变一贯以来都是此类模型发展的难题。
以往的大多数AI模型都是通过单一的提示来天生视频，但若要天生一个永劫光并且连贯的视频这远远不足。
而Phenaki则能天生2分钟以上的视频，并且还具备故事情节，这紧张归功于它能够根据一系列的提示来天生视频的能力。
详细来说，研究职员引入了一个新的因果模型来学习表示视频：将视频视作图像的一个韶光序列。
这个模型基于transformer，可以将视频分解成离散的小表示，而分解视频则是按照韶光的因果顺序来进行的。
再讲普通一点，便是通过空间transformer将单个提示进行编码，随后再用因果transformer将多个编码好的提示串联起来。
一个提示天生一段视频，这样一来，视频序列便可以沿着提示中描述的韶光序列将全体“故事”串在一起。
由于将视频压缩为离散的图像序列，这样也大大减少了AI处理标记视频的数量，在一定程度上降落了模型的演习本钱。
提到模型演习，和大型图像系统一样，Phenaki也紧张利用文本-图像数据进行演习，此外，研究职员还用1.4秒，帧率8FPS的短视频文本对Phenaki进行演习。
仅仅通过对大量图像文本对以及少量视频文本例子进行联合演习，便能达到打破视频数据集的效果。
Imagen Video和Phenaki，谷歌接连放出大招，从文本到视频的AI发展势头迅猛。
值得一提的是，Imagen Video一作表示，两个团队将互助进行下一步研究。
嗯，有的网友已经等不及了。
One More Thing
出于安全和伦理的考虑，谷歌暂时不会发布两个视频天生模型的代码或Demo。
不过既然发了论文，涌现开源复刻版本也只是韶光问题。
毕竟当初Imagen论文出来没几个月，GitHub上就涌现了Pytorch版本。
其余Stable Diffusion背后的StabilityAI创始人兼CEO也说过，将发布比Meta的Make-A-Video更好的模型，而且是大家都能用上的那种。
当然，每次AI有了新进展后都会不可避免地碰到那个话题——AI会不会取代人类。
目前来说，一位影视行业的事情者表示还不到时候：
诚笃说，作为一个在电影行业事情了十年的人，这个话题令人沮丧。
在他看来，当前的视频天生AI在生手看起来已经足够惊艳，不过业内人士会认为AI还缺少对每一个镜头的风雅掌握。
对付这个话题，StabilityAI新任首席信息官Daniel Jeffries此前撰文表示，AI终极会带来更多的事情岗位。
如相机的发明虽然取代了大部分肖像画家，但也创造了拍照师，还开辟了电影和电视这样的全新家当。
5年后再回看的话，反对AI就像现在反对Photoshop一样奇怪，AI只不过是另一个工具。
Jeffries称未来是环境人工智能（Ambient AI）的时期，各个行业、各个领域都会在人工智能的加持下进行发展。
不过现在我们须要的是一个更开放的人工智能环境，也便是说：开源！
末了，如果你现在就想玩一下AI天生视频的话，可以先到HuggingFace上试试清华与智源实验室的Cogvideo。
Imagen：https://imagen.research.google/video/
Phenaki：https://phenaki.github.io
Cogvideo试玩：https://huggingface.co/spaces/THUDM/CogVideo
参考链接：[1]https://twitter.com/sundarpichai/status/1578162216335179778[2]https://twitter.com/hojonathanho/status/1577713864812236817[3]https://news.ycombinator.com/item?id=33098704[4]https://danieljeffries.substack.com/p/the-turning-point-for-truly-open
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态