在这个天下，你能抓到被全网催交舞蹈作业的宁静，
也能看到充满清新气质的PDD，
从路人到顶流明星，人均get一双水汪汪的大眼睛。除了，“连殊效都拯救不了”的李荣浩——
一夜亿万曝光，道具上线3天得到了1000w+的视频投稿，贡献大量干系热门话题。
全网都爱的变身漫画殊效是如何出身的？背后又有哪些行业领先的“黑科技”？
字节君与抖音殊效的幕后团队一起聊了聊，持续打造爆款殊效的秘密。
爆款不是有时
“作为行业首发的人脸实时动态漫画效果，我们早就以为「变身漫画」会火。”来自影像团队，有多款抖音爆款殊效项目经历的大彭说，近年来，真人照片处理、拼贴成某种绘制造风常玩常新，关键便是要给用户带来惊喜和共鸣。
2014年，脸萌凭借卡通五官、衣饰匹配，登顶App Store
2018年，字节跳动专门成立影像团队，支持抖音火山轻颜等全系产品的打磨，个中包括长期探索真人风格化玩法，力争持续打造击中用户的殊效。
在大彭看来，团队不设边界的灵感创意机制，让爆款的涌现绝非有时。“无论什么岗位，都不会只站在自己的视角积累爆款思路的弹药。每天影像团队都会抽一个小时搜集灵感，每周定期与其它互助的设计&研发团队开脑暴会，不雅观察学习行业趋势和时下流行的时尚元素，理解最新技能进展。”
艺术遇上技能，很快碰撞出了新的火花。
2019年，轻颜出了本可爱风的手绘日历，项目同学创造，许多人都想把自己的照片一键变成类似画风。
此时研发同学在脑爆会提起，冲破次元壁、让真实人脸变漫画的关键技能GAN (天生式对抗网络，Generative Adversarial Networks )刚实现，但还不敷以精确地把真人变成人类绘画水平，让真人实时变成动画片，行业里更是没见过。
要不干脆出一款殊效，让真人可以秒变漫画脸？
想法一出，立马引发了不同岗位同学的愉快点。2019年9月，从影像团队的效果和产品同学，到协作支持的研发、设计，一个跨北上深及北美四地的专项小组迅速拉了起来。做实时漫画殊效，定位便是爆款。
既“像”又“美”，千人千面漫画脸
“别看变身只要一秒，从创意提出到技能落地，背后我们琢磨了好久。” 参与漫画殊效打造的产品同学玉辰说。
“教AI画画”，做出大家喜好、技能上又可实现的设计风格很难，做到实时可预览级别更难。
刚开始，研发同学对能否做到“实时”没多大把握：“毕竟如此高质量且千人千面的实时效果，在学界和工业界都未有过先例，技能上还有浩瀚难点须冲要破。”
项目组商量决定，暂缓“实时”操持，先打磨极致图片效果。“我们定义了精细美和极致像两大特点。既要全面保留用户特色、像本人，又要天生出漫画独占的艺术美感。”玉辰说。
为了找到更能引起用户共鸣的绘画风格，从日漫、国漫到韩漫，团队险些将主流的漫画和番剧看了个遍。
灵感网络时的参考风格
经由效果同学广泛的风格设计、调研和修正，团队终于锁定了一款高萌可爱的漫画脸。“我们的设计师都是公司主美级别的，履历丰富。”
早期（上）与终版（下）风格比拟
引入算法后，团队进入了更加追求细致的打磨期。
“有一两个月吧，我们便是在一直演习新模型，每次可能跑出几百个普通人看不出啥差别的模型，然后让设计去挑最优效果。”研发同学感慨，如此高效和规模化的模型演习，背后得亏了公司强大算力根本的支持。“最多的时候，要用几百张显卡跑。”
大家调侃说，经此一役，团队各个练就了火眼，同学们的效果敏感度和审美都有了很大提升。
大彭印象深刻，有次选好一款很萌的模型准备放体验版，研发同学第二天做好后，有个效果同学盯着新版本看来看去，总以为哪里变不好看了。“一问才创造研发放错了模型，眼睛稍小了几个百分点。”
图片版效果达标后，团队决定小试牛刀，阶段性在抖音、TikTok的影集模块上线「漫画奥义」道具，在中国、日本、巴西、印尼等多国取得了不错的反响。
环球首次实现手机端实时动态漫画处理
“实时”再次成为了摆在团队面前的关键寻衅。
此前，变漫画功能基本都基于人脸表情跟踪，学界和工业界都没有千人千面的实时漫画天生方法。这次抖音推出的漫画殊效是在视频中实时实现，该技能可谓环球首发。
“我们都明白，一旦实现，这将是一大爆款子弹。”
走入漫画的“贵妃”李玉刚
第一个吃螃蟹不随意马虎。参与殊效研发的陈西回顾，最开始的模型版本惨不忍睹，考试测验了好多次都弗成，大家乃至对实时漫画的可行性产生了疑惑。然而纵然在最困难的时候，团队也希望再试一次。
在陈西所在的研发团队，拥有打算机视觉、打算机图形学和数值剖析等多德配景的技能人才，每个人都有自己的专长和履历。“我们又扒了一遍所有可能干系领域的已有研究和文献，有同学提出可以考试测验各种轻量化模型的嫁接稠浊，效果确实得到改进，大量实验后终于选出了现在的主干模型。”
看起来是放手一博的改造，实在背后是公司跨团队、跨领域共同协作才能迎刃而解的结果。
实时漫画的处理对手机性能哀求极高，打算非常繁芜；此外，抖音用户浩瀚，机型性能差距大，须要专门研发繁芜、定制化的模型下发策略。
公司全平台的技能成果和资源帮了大忙。拿漫画殊效启用的字节跳动自研的推理引擎ByteNN来说，端侧性能和功耗均处于业界领先水平，担保了实时漫画能够稳定支持抖音海量的用户群体。
用户需求多广，玩法脑洞就有多大
如何让用户真正玩起来？殊效项目组的同学没少费脑洞。
在变身漫画推出前，团队已成功参与打造并引爆了宝宝殊效、变身情侣等诸多抖音殊效，在道具结合定制化音乐bgm的创意玩法上颇有履历。
变身情侣殊效
拍摄大略、配乐有趣的宝宝殊效
“脑暴小组”里，集结了来自北上深+北美4地、脑洞大、产出过无数爆款的产品、设计、交互工程、运营和市场同学。终极，在为期20天产出的100+方案内，大家选取了6个道具创意，承接不同年事、层级和喜好的用户需求。
适宜全民、低门槛拍摄的“变漫画”玩法：
二次元新奇玩法：
“结合抖音用户喜好、历年爆款道具特色和3轮nps调研结果，我们终极把「变身漫画」当作了‘漫画系列’的主推道具。”产品团队玉辰说。
在玩法开拓的过程中，“手控滑杆”是首次利用的新交互形式。然而，在初期版本中，80%的用户都无法“拖动滑杆”变身，交互考试测验屡次碰钉子。
但产品和交互工程同学仍旧坚持在这个方向做最极致的道具效果。“由于我们走进阛阓、地铁、小区采访了近百名用户的体验感想熏染，创造一旦能滑动成功，他们明显更惊喜，玩性大增。”
视频加载中...
随着漫画殊效在抖音大火，产品同学联动剪映、轻颜等多款产品上线了同款变漫画图片功能，进一步推热二次元狂潮。
“殊效发酵的过程中，我们创造大家喜好把婚纱照、百口福等合影变成漫画，而实时动态方面我们还没有实现多人同时需求，这意味着还有很多可挖掘的空间，而随着技能的探索和积累，往后肯定还可以玩出更多花样。”
大家很有信心，下一个爆款殊效，正在路上。