量子位 宣布 | 公众年夜众号 QbitAI
你一定以为,AI这种前沿科技,紧张活在硅谷西二旗的科技公司、大学和研究院的论文、还有成本的热捧里。
这些地方有算力、有人才、有资金。
但实际上,纵然是那些中国最朴实的农人,也已经用上AI了。
比如说,快手平台上的1.9亿短视频创作者,他们也在用AI技能丰富自己创作的短视频作者。
那么,详细怎么用呢?
量子位采访到了快手的技能团队,为大家先容几个快手平台上AI运用,还有背后的事理。
低配手机也能用的Animoji最有趣的功能当属“萌面Kmoji”,将视频中人物的头像变成虚拟卡通形象,一方面可以给视频增长乐趣,另一方面也可以帮助到那些不想露脸的用户。
类似苹果2017年推的Animoji功能,通过面部识别将用户脸上的细微表情,天生对应的卡通形象。
△ Kmoji版的快手网红手工耿
量子位也体验了一下“萌面Kmoji”的效果:
至于如何天生这类效果,快手技能团队先容,须要用到基于物理的真实感渲染算法,让Kmoji上的金属、皮革等模型看起来更拟真。
全体仿照人脸的过程借助了3D构造规复与3D信息领悟,用3D重修技能规复出3D构造,领悟2D信息后,剖析人脸特色,进而天生虚拟形象。
在这里,3D人脸重修须要借助快手内部的上万级3D人脸数据集,包含每个人的年事段、人种、脸型和表情,通过人脸关键点识别技能,帮助3D人脸重修,不管你是哭着还是笑着都可以重现出来。
此外,天生虚拟形象还要剖析用户的人脸属性,借助分类/回归/分割等方法,区分出性别、年事、肤色、脸型等信息。
之后,由于天生的3D卡通图像是会随着人的表情而变革的,须要剖析人脸表情,才能在卡通形象上展示出千篇一律的表情。
这里须要通过2D的RGB视觉信息对问题进行建模求解,得到人脸关键点和实时重修的3D模型,把各种模态信息做建模、做对齐,求解出人脸的表情,驱动虚拟卡通形象做各种逼真的动作。
其余的一个问题是,如何让模型在手机端(乃至低端手机上)跑起来?
快手技能团队先容,为了让模型在手机端流畅运行,须要进行图像预处理,合并多种预处理操作,对预处理的图像内存进行统一分配和回收,利用NEON加速和苹果自带的accelerate加速,让运行库只占2M的空间。
末了,在担保预测精度的条件下,快手技能团队对AI模型进行局部的INT8量化,使得运行速率可提高1倍以上,同时AI预测模型的占用空间也压缩到将近原来的四分之一。
天下上的另一个你天下上的另一个你是快手在去年乌镇的天下互联网大会上亮相的一个线下运用,这个玩法是根据体验者的面孔,匹配亿万快手用户上传在平台上的公开视频,找到那个跟你长相相似的人。
这个运用本身是靠人脸检测。
据快手技能团队先容,在提取人脸特色后,系统在快手后台数据库中进行检索,找到相似度最高的三个人脸图像。
之后,再对这三个人脸图像进行更细粒度的属性剖析,得出对应的年事、性别、表情等属性,基于属性对检索结果进行重排,从三张人脸里挑出和体验者长得最像的那个。
人像3D打光快手上的其余一个AI运用则是人像3D打光,就像是短视频版的“逆光也清晰”,在光芒不好的情形下,自动“打”一束光到用户脸上,让天生的图像效果有非常自然、符合面部形状的光芒。
人像3D打光紧张利用了实时人脸三维重修技能,利用了人脸参数化先验模型,根据输入图,自动匹配人脸几何信息,得到人脸3D模型参数,得到人脸3D网格模型。
其余,还可以根据不同的场景设置不同的光源,利用实时渲染技能对虚拟人脸进行渲染,得到面部光影图;对输入人像进行前景分割,得到前景分割蒙版,也可以根据原图得到其他蒙版信息;这些蒙版分别作为不同的图层按照场景需求特定的办法叠加到原图上,就可以得到打光结果。
OMT除了打算机视觉、打算机图形学方面的运用,据快手算法科学家张国鑫先容,快手在2019年也会将语音识别融入到产品中,开拓更多运用。
— 完 —
诚挚招聘
量子位正在招募编辑/,事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们!
干系细节,请在量子位"大众年夜众号(QbitAI)对话界面,回答“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态