作者 | 李水青编辑 | 心缘
智东西2月24日宣布,根据央视频官网,首部中国原创的文生视频AI系列动画片《千秋诗颂》,将于2月26日起在总台综合频道(CCTV-1)播出。
▲《千秋诗颂》片段
《千秋诗颂》讲述了讲述了李白、杜甫、孟浩然等墨客的诗词及人生故事,共26集,每集约7分钟。影片从美术设计到动效天生,再到后期成片,均为天生式AI赞助制作。
随着OpenAI推出的Sora掀起新的热潮,AI文生视频及图片被认为将首先变革影视行业,但国内外主流电视台一贯未有AI天生的大型系列影片播出。
《千秋诗颂》由中心广播电视总台联合上海AI实验室等伙伴,基于央视听媒体大模型打造,率先开启天生式AI创作影片在主流电视台播出的先河。
根据上海AI实验室公众号,创作者通过大略的“风格参考图片+提示词”,就能完成《千秋诗颂》的人物、场景、动效等浩瀚元素的天生。
《千秋诗颂》导演透露,AI使得团队创作从一个月1集加速到一个月3集,速率提升两倍。这部AI赞助天生式动画的体验效果如何?背后有什么样的技能事理?让我们来提前一探究竟。
▲《千秋诗颂》官方宣扬片视频
一、AI创作182分钟大片登央视,演绎李杜长安盛世首先来看看《千秋诗颂》中的场景镜头,如下图所示,一只雄鹰飞向灯火通明的夜都城,类似《长安三万里》的大片即视感立马有了。
镜头一转来到雪天的山区,远处馆中的几个小人在弹奏乐器,阁下人拍手夸奖,雪花从天上逐步地落下。
动画片的一大主角诗仙李白长这样,一袭白衣,俊朗外表,豪放言辞。
杜甫吟诵着千古名句“好雨知时节,当春乃发生”,与夫人垂垂走来。
画面一转,“剑外忽传收蓟北,初闻涕泪满衣裳”的名场面,也在片中涌现。
中年的高适与李白二人举杯对饮,风雪变慢,李白要为这位知音弹奏一曲,雪中送别。
看完剧情镜头,再看看快镜头,李白策马而来,背后的场景斗转星移,也是酷炫感十足。
从这些宣扬片里的画面来看,这些动画镜头在整体上实现了人物、场景、构图、动效、色彩及运镜方面的靠近人类的创作水平。
与此同时,影片也能看到一些人物边缘不清晰等AI天生留下的痕迹。
二、基于央视听媒体大模型,四大环节解读背后技能
2023年7月,央视总台和上海AI实验室在联合推出了央视听媒体大模型。《千秋诗颂》从美术设计到动效天生,再到后期成片,正是基于这一大模型完成。
这一影片背后的制作过程是什么样的?有什么技能事理?通过央视频直播及上海AI实验室公众号,我们得以一探究竟。
1、人物天生:参考风格图片+提示词,三步天生人物
在人物天生方面,创作者上传参考风格图片,并添加一些笔墨描述,点击“天生观点”,便可以一键天生人物。
基于这样的办法,多个人物可以通过一些提示词快速天生。
一些人物的衣饰及容貌也可由真人装扮后,通过AI进行动画转化完成。
而针对五官特点等更为风雅的内容,根据上海AI实验室公众号,则由后期团队“精雕细琢”完成。
2、场景天生:图片迁徙改变画,主题同等性模块实现多机位
类似地,开篇提到的场景也是由“参考风格图片+提示词”组合天生。
根据上海AI实验室公众年夜众号宣布,在央视视听大模型中,输入多段视频或图片素材,即可自动天生转场动画,实现不同场景和视频之间的“丝滑”连接。
基于独创的主题同等性模块,央视听大模型天生的动画还可实现“多机位”效果,保持故事情节的连贯和起伏。
3、赞助动效天生:一句话,让图中的主角笑起来
在动态效果方面,创作者选取主角工具,然后输入动态效果提示词,便能得到动画效果。
比如选取一个官员的任务形象,输入“唐朝,一个官员,哈哈大笑”,就能天生对应的动画。
4、文物天生:文物拍照,AI复原
为了更真实地呈现古诗词中的人物和故事,导演团队在创作中坚持以史实为根本,片中的建筑、酒具器皿、摆件等道具的创作依据源自博物馆现存文物及图片。
利用AI干系技能,研究团队对这些文物进行动画复原,让文物“活”了过来。比如孟浩然桌上的茶具,由AI技能动画复原唐代独占的“七星盘”。
虽然创作者利用AI工具的流程是大略的,但背后的技能并不大略。
根据上海AI实验室官方公众号,该片运用了实验室的视频天生大模型诗人·筑梦、文生视频框架AnimateDiff及多项可控图像天生、图像驱动等技能。而央视听媒体大模型用到了上海AI实验室诗人通用大模型体系的措辞能力、知识体系以及内容理解和天生能力。
同时,为了让央视听媒体大模型具备理解古诗词的能力,节目导演与科研职员对大模型“投喂”了大量精准数据并进行演习,使其可精确天生符合历史依据的人物、建筑、场景等美术图,美术风格符合中华传统文化的水墨、工笔等风格化传统审美。
三、AI动画创作速率增两倍,产研共同体成新模式今年2月,OpenAI推出了文生视比年夜模型Sora,该模型能根据提示词天生长达1分钟的视频,比较Runway、Pika等主攻AI视频创企实现跨代升级效果,在影视行业引起了轩然大波,一些担心AI彻底砸掉影视人饭碗的声音开始涌现。
对此,《千秋诗颂》导演认为,“AI不是要替代人类,而是帮助人类提升了效率。比如,传统的纯人工制作,我们团队一个月只能做一集,现在一个月可以做三集。”
2月19日,国务院国资委召开“AI赋能 家当焕新”中心企业AI专题推进会。会议强调,中心企业要把发展AI放在全局事情中统筹谋划,深入推进家当焕新,加快布局和发展AI家当。
中心广播电视总台于2023年7月联合上海AI实验室发布了 “史视听媒体大模型 ”,并首次运用于总台综合频道系列诗词动画片《干秋诗领》的创作。
影视行业变革的大潮已经滚滚而来。本次,央视总台联合上海AI实验室、上海交通大学、清华大学、北京大学、华为、科大讯飞及智谱华章公司,联合创立了央视听媒体大模型研发共同体。
根据《“央视听媒体大模型”研发共同体倡议书》,该共同体将通过开放平台与海内有实力的科研机构和企业互助,本共同体将秉持开放共享、积极创新、协作共赢的原则,在科研攻关、需求运用、安全发展、家当生态等方面开展互助。
结语:AI动画片开播,打造天生式AI落地新范本
通过推出AI天生动画片,央视总台作为影视领域的龙头企业,率先了局首创AI天生影片在主流电视台开播的先河。只管画面也有一些AI天生的痕迹,但影片的整体效果已经向人工创作看齐,并且效率大大提升。
央视与上海AI实验室的互助首创了天生式AI落地的新范本,“通用模型+行业数据”的垂直模型打法让我国AI在特定领域,有望更快走在世界的前列。虽然Sora创造的技能高峰仍有待家当攀登,但通过串联多种技能工具,结合实际场景,实现更好运用效果,不失落为一种可取的技能创新路径。