这个AI只须要一秒,而且效果逼真,看不出一点马脚。
最近,一则马斯克的恶搞视频在YouTube上火了。
一位油管博主用AI【P】出了多个版本的马斯克,重点是效果惊人。比如,这个中年秃顶版。
恐怕连马斯克本人见了都会相信吧?
还有长发飘飘的马斯克。不得不说,女版马斯克也散发着一股女强人的气质。
这个AI是来自Adobe Research和阿卜杜拉国王科技大学(KAUST)的一项最新研发成果—StyleFlow算法。
它非常更善于在合成图像或真实图像的根本上重新编辑面部属性。除了上述马斯克的面部毛发、年事、性别处理外,它还可以改变拍照角度、光照、人物表情等等。
值得一提的是,StyleFlow不仅可以用于人像处理,也可以修正汽车等其他图像属性。
比如这款【特斯拉】图像可以一秒切换车身颜色。
接下来,我们来看看这个硬核AI是如何做到的?
比StyleGAN还溜的AI
提到Style系列不免让人想到StyleGAN,常常关注雷锋网的小伙伴可能会理解,StyleGAN是GAN的变种,它通过天生器和鉴别器的相互battle,也可以达到令人惊叹的面部合成效果。
而StyleFlow可以说是StyleGAN图像合成的进阶版。
研究职员在论文中称,GANs(如StyleGAN)在担保高质量输出的条件下,利用(语义)属性掌握天生过程的选项有限。同时,由于GAN潜在空间的纠缠性子,沿着一个属性实行编辑很随意马虎导致沿着其他属性的改变。
因此,他们提出了基于属性条件采样(Attribute-Conditioned Sampling)和属性掌握编辑(Attribute-Controlled editing)的StyleFlow。
个中,属性条件采样,是对具有目标属性的高质量真实图像进行采样;属性掌握编辑,是指编辑给定图像,并使其具有目标属性,同时最好地保留源图像的特性。
以下为StyleFlow实现两种任务的完全框架:
z表示先验分布变量,w表示StyleGAN的中间权重向量。
从源图像开始,通过利用反向推理和一系列CNF(Continuous Normalizing Flow)功能模块的正向推理来支持属性条件编辑。
其余,须要把稳的是,反向推理和正向推理是由ODE解算器通过打算韶光变量上的CNF函数来办理的。
CNF(连续归一流)功能块可以作为神经网络块来实现。个中,以属性向量at为条件的学习函数,既可以可用于正向推理,也可以用于反向推理。
实验结果
基于以上事理,研究职员通过利用StyleFlow对给定图像进行了属性条件采样。论文中展示了固定目标姿势下戴眼镜女性的图像(上);面部有毛发的50岁男性图像(中);固定姿势下5岁男孩的微笑图像(下)三类属性的抽样结果。
可以把稳到采样的质量非常高,未编辑的属性在很大程度上保持不变,它验证了网络能够学习底层的语义表示,并进一步用于对图像进行语义编辑。
接下来,研究职员利用StyleGAN天生的人脸和汽车的潜在空间对StyleFlow进行了评估,并展示了对各种属性进行细粒度分离编辑的结果。
他们采取了两个评估数据集FFHQ和LSUN Car。前者是1024×1024高分辨率人脸图像数据集,由70000张图像组成,这些图像在种族、年事和配件方面都是不同的。LSUN-Car是一个512×384分辨率的汽车图像数据集,由16185幅图像组成,这些图像在汽车姿态、颜色和类型方面有很大的差别。
在定性比较上,StyleFlow对人像角度、光照、表情、性别和年事的处理,与现有Image2StyleGAN 、 InterfaceGAN 、 GANSpace 方法比较均表现出了一定的优胜性。
在定量比较上也同样如此。下图展示了StyleFlow与其他方法在人脸分类器(Geitgey 2020)评估下得出的SOTA结果。StyleFlow在灯光、姿势、表情等属性上基本达到了最高值。
以下是在循环编辑同等性方面,StyleFlow的编辑方法在不同排列下基本保持同等(各个属性中利用了均匀偏差)。
更多详细内容可拜会论文:https://arxiv.org/pdf/2008.02401.pdf
引用链接:
https://rameenabdal.github.io/StyleFlow/
https://github.com/RameenAbdal/StyleFlow
https://www.youtube.com/watch?v=LRAUJUn3EqQ&feature=youtu.be
雷锋网雷锋网雷锋网