现在一个名为“Toonify yourself”的AI工具就可以办到,而且效果非常逼真。

最近,热映的真人版《花木兰》,在国外又掀起了一股动漫风!
各种名人漫画形象频频刷屏,比如这张宫崎骏老爷爷,可可爱爱的形象完备可以出演动漫电影了。

还有这张演员杨紫琼的动漫形象,大眼、瘦脸完备具备了动漫角色的范例特色。

更主要的是险些复刻了真人的原始状态,包括头发、面部表情、神态,妥妥地定制化动漫形象。

秒变迪士尼在逃公主这款一键切换漫画脸AI因效果太过逼真彻底火了

这些动漫形象全部出自一个名为“Toonify yourself”的AI工具。
它不仅呈现出效果逼真,操作起来还非常大略,只需在模型中上传一张照片即可!

据理解,这款工具刚刚发布就完成了25万次做事,非常受用户欢迎,还有网友评论称:研发者可以考虑考虑商业化的问题了。

那么,这款工具是如何实现的呢?

天生漫画脸的技能事理

据它的创建者之一Doron Adler先容称,该工具紧张利用了稠浊网络(Blended Network),这是一个繁芜的网络机制,紧张由于两部分模型来完成:StyleGAN Model和Blended Model。

个中,StyleGAN Model卖力对初始照片进行预演习,其目的是节省演习的韶光和本钱,由于对付个人而言,并不是每个人都有足够的CPU或者数周的韶光进行数据演习,这个过程也被成为“转移学习(Transfer learning)“。

主要的是,通过预演习模型,可以得到更高质量的图像

Doron先容称,为了达到更好的动漫效果,他们网络了迪士尼/皮克斯/梦工厂等大约300张动漫图像作为数据集。

通过对数据集进行演习来学习动漫角色的范例特色。
从以下输出结果来看,效果还是非常不错的。

只管对数据集进行了少量的演习,但大眼、瘦脸等范例特色都能很好的捕捉到。
个中部分图像比较模糊,是由于原始图像的分辨率比较低,而且有些是手绘图像造成的。

接下来,经由人脸微调的图像会进入Blend Model的处理阶段。

在这里,由于StyleGAN 的构造,模型中的不同层以不同的办法影响天生人物的外不雅观。
低分辨率层决定头部姿态和人脸形状,高分辨率层则掌握光芒和纹理等细节。

Doron 利用的 Layer Swapping 脚本从原始模型中提取了高分辨率层,从StyleGAN Model微调模型中提取低分辨率层,因此,终极得到了具有卡通人脸构造且具备照片级逼真渲染效果的稠浊模型。

可以看到,利用原始的面孔模型和稠浊卡通模型天生图像,两者之间存在着明显的联系,保持了人物的原始面貌,同时也实现了动漫化。
(须要强调的是,如何须要高分辨率的卡通形象,则须要输入高像素的原始图像,一样平常不得低于1024x1024像素)。

效果逼真,操作大略,但因太火而下线

StyleGAN模型可以产生大量人脸图像,在个中可以找到任何一张人脸的图像。
比如通过该模型输入一张须要处理的图像示例,模型会通过“代码”(也称为潜在向量),输出一个与示例完备匹配的人脸图像,如下图左边为原图在左边,右边边为天生图。

然后将具有特定“代码”的人脸图像输入稠浊模型,结果就可以得到一个卡通化人脸。

这一过程,输入示例大致经历了三步处理过程:

提取面步特色,并自动对齐图像。

找到潜在代码,复制图像。

利用卡通模型的潜在代码,对图像进行处理。

基于这一事理,用户只须要在系统中上传照片即可。
不过可惜的是,由于用户访问量过大,考虑到做事器的运行本钱,Doron暂时关闭了这一系统的利用入口,并表示重新方案本钱效益后,会再次对外开放。

关于作者

Justin Pinkney是该工具另一创建者。
与Doron一样,Justin对天生艺术和机器学习非常感兴趣。

从他的个人主页上理解到,Justin曾是一名物理学家,现在英国MathWorks担当软件顾问,卖力算法开拓、模型演习以及组织软件开拓实践。

Justin利用StyleGAN模型做过多项研究。
比如他通过StyleGAN Network Blend让壁画上的浮雕秒变人脸图像。

该项研究同样是基于“图层交流(Layer Swapping)”的观点,将根本模型与利用转移学习的模型(即微调模型)领悟在一起达到终极的效果。

此外,还有利用神经网络天生各种虚假蛋糕等。

此类研究的详细技能过程,Justin在其博客中给出了详细解释,感兴趣的朋友可以参加:(https://www.justinpinkney.com/stylegan-network-blending/)。

引用链接:雷锋网雷锋网雷锋网

https://www.justinpinkney.com/toonify-yourself/

https://www.reddit.com/r/MachineLearning/comments/ivualz/d_layer_swapping_on_ai_models_to_generate/

https://colab.research.google.com/drive/1s2XPNMwf6HDhrJ1FMwlW1jl-eQ2-_tlk?usp=sharing#scrollTo=3IppG8Z8O19R