采写: 杨 雪

策划:刘 恕 李 坤

电影《A操持》中有段经典桥段——

只见卓一飞(洪金宝饰)呼啸一声,七步上前,一刀砍断狄威的长剑。
失落去了武器的罗三炮(狄威饰)再无招架之力,被逼退至角落倒地。

AI复生老片子 催生文化新业态

然而,一秒之内,场合排场逆风翻盘。

就在洪金宝大刀即将砍下之际,狄威双手着地,向后倒立,两脚一蹬,大刀瞬间掉落,狄威紧接着一个回旋踢,击中洪金宝的右下颚。

狄威是怎么一瞬间站起来并踢掉大刀的?自1983年电影上映以来,困扰了很多不雅观众。

由于从动作连贯性来看,这关键的“一秒”不符合常理。

在日前举办的第十四届北京国际电影节“致敬·修复”单元,首映的全新4K版《A操持》揭开“一秒谜团”——狄威腰部发力,用双脚绞住洪金宝的手,洪金宝失落去力气,大刀掉落,发出清脆声响。

2023年8月,中国电影资料馆、抖音、火山引擎启动“经典喷鼻香港电影修复操持”,运用天生式人工智能(AIGC)技能,使电影在清晰度、流畅度、色彩等方面实现质的提升。
全新4K版《A操持》是该操持修复的百部影片之一。
上述“一秒”谜团的破解,便是利用智能插帧技能天生了“关键帧”,还原了电影画面的完全性。

近年来,越来越多经典电影的数字高清修复版重登院线,国内外主流电影节纷纭开设“修复经典”单元。
5月23日,修复完成的《飞鹰操持》在第77届戛纳电影节的“戛纳经典”沙滩放映单元首次亮相,令环球影迷线人一新。

“电影修复是保护电影遗产的主要举措。
”中国电影资料馆副馆长张小光说,修复不仅是对经典作品的致敬,更是科技与艺术交融,助力电影文化家当新发展。

AIGC技能如何让老电影“复活”?视觉大模型如何拓展视频运用处景?科技与文化的领悟又会催生哪些新业态?科技日报就此进行了深入采访。

增效提“质”,大模型“修旧如旧”

张小光说,入选“经典喷鼻香港电影修复操持”的百部电影制作韶光紧张集中在1970年至1990年间。
这些影片见证了喷鼻香港电影应对国际市场与文化潮流进行的多种类型化探索。
“对这批电影进行修复,初衷是为了抢救濒危影片。
我们希望通过技能修复,让这些经典影像抖擞新光彩,延续经典作品的活力和生命力。

然而,传统的电影修复流程繁杂,韶光漫长。
以往4K修复过程,一样平常要经由对胶片本身的物理修复、数字修复和优化效果进行的艺术修复3个步骤。
个中,数字修复环节最繁芜,要将胶片转为4K分辨率的数据图像文件,并逐帧抠掉画面中被毁坏的部分。
一位履历丰富的修复师须要1个月韶光,才能修复完成一部电影。

现在,这项事情可以交给工程师。
他们利用电脑屏幕上一行行跳动的代码,让修复效率成倍提升。

火山引擎视频云技能架构总监王悦先容,“经典喷鼻香港电影修复操持”中,火山引擎首次将AIGC技能运用于老电影修复,借助视觉大模型强大的天生能力和丰富的先验知识,实现修复效果在清晰度、色彩、流畅度和瑕疵肃清等方面的全方位提升。

参与4K修复项目的火山引擎多媒体实验室,日常事情是在短视频供需两端做画质上的提升:一方面,在创作者上传视频至做事器时,只管即便减少画质的损耗;另一方面,当用户打开抖音不雅观看时,无论其手机终端是多掉队的硬件,也能担保不雅观看的最佳效果。
这一过程,须要工程师针对不同的手机性能设定不同的算法。

“大模型具有强大的信息构造化能力,在学习了海量数据对后,可以从中提炼出大量的知识并‘存储’在模型参数中,其天生空间更丰富,能够应对更多的修复场景。
”王悦说。

于是,这类算法找到一类新的运用处景——电影修复。

根据影片须要修复的问题,工程师常日会先参考前沿的论文,然后跑代码、调方案,终极找到最优方案。

例如,《飞鹰操持》是动作片,镜头多且转换快,修复难度大,原有技能方案并不能完备办理这些问题。
几经周折,当工程师拿出修复的初版,从技能上已逐一达标。
但中国电影资料馆专业职员给出的反馈却是:这样的修复失落去了电影本身的质感。

针对这一问题,技能团队专门研发出一款全新算法,利用AI仿照出胶片噪点,在提升画质的同时,遵照“修旧如旧,尊重原创”的修复原则,保持老电影的复古风格和质感。

调试过程中,网民也参与了方案的选择。
当时,火山引擎发起影迷在线测评,用户扫码进入抖音上的测评界面,便能看到两个不同版本的修复方案。
终极,他们选择了多数用户投票的方案。

精益求精,老电影焕新如新

由于拍摄条件、存储办法等诸多成分,老电影每每带有严重的胶片噪点,且分辨率较低,画面质量也参差不齐,很多画面模糊不清。
传统的修复方法紧张关注光影、色彩、美学等成分,AI修复则善于从清晰度、流畅度等方面提升画面质量。

火山引擎多媒体实验室工程师张英杰见告,在提升流畅度方面,可以利用智能插帧算法,通过对前后帧的内容进行光流估计,并根据光流信息天生中间帧,提升视频帧率。

修复《A操持》便是范例的例子。
“特殊是武打片段,比如用AI预测出一个90度转头动作的中间值,插入一个虚幻的45度角画面,就能让转头动作更顺滑流畅。
”张英杰阐明。

提升影片的清晰度,则须要修复模糊的画面。
但模糊成因繁芜,在拍摄、储存、拷贝翻印、胶片数字化以及压制导出的过程中,都可能对清晰度造成影响。
过去,修复职员常日很难得到精准的“模糊核”。

火山引擎多媒体实验室研究员赵世杰先容,AI可以从低质数据中抽取不同程度的模糊视频,利用干系统计方法进行真实的退化和丢失估计,并通过主不雅观验证进一步筛选视频。
同时,在自建的高清影视数据集中,天生“模糊—清晰”匹配数据对,来演习机器学习从低质到高清的潜在映射关系。
这样就能快速分辨出不同影片、不同画面模糊的缘故原由,提升修复效率。

在老电影修复中,人像是须要重点关注和优化的。
这次修复百部经典港片,AI供应了老旧人像修复和人像超清化平分歧的办理方案。
利用基于AIGC的人像修复模块,可在保持人像真实特色的条件下,进行高清五官重修。

“对付画质低的人像,我们优化了人像模型在时域上的清晰度和稳定性,对远中近景不同大小、不同姿态角度、不同遮挡程度的人脸都有较好的修复增强效果。
对付一些中高质量的人像,我们利用人像超清模块,优化五官清晰度,最大限度还原睫毛、眉毛、发丝和肤质等脸部细节,使修复后画面更有质感。
”赵世杰说。

实际上,AI不仅在数字修复环节大显技艺,在看重审美代价提升的艺术修复环节也担当起“强助攻”。
艺术修复实际上是一个“二次创作”的过程,能很大程度上填补因当年电影技能各类局限留下的遗憾。

比如,《武状元苏乞儿》中苏灿(周星驰饰)和如霜(张敏饰)面对面瞩目的那个瞬间,还能有更好的呈现吗?

工程师将画面中张敏的人像部分与背景的环境分离,用两套不同的方案进行处理,增强人像的同时,保留环境细节。
利用AIGC视觉大模型,把原来的算法推理步骤拆成上百步,通过利用增强的数据规模、模型参数和算力,自然还原了画面的纹理细节。
经由多种方案比拟,工程师与修复师们共同谈论,确定了张敏终极的“盛世美颜”。

在中国电影资料馆,一些电影虽然修复完成,但对付其胶片,依然会像文物一样被存心地保存起来。

“我们不愿定多少年后,是否还会有技能层面更进一步的创新和变革。
”中国电影资料馆馆长孙向辉期待着未来,在新技能加持下,修复师们还能修复出更好的版本,让更多宝贵影像走出“铁盒子”,重回大众视野。

落地生根,让用户触手可及

随着“经典喷鼻香港电影修复操持”事情的深入,视觉大模型也在不断自我发展。

“导演给出的一些艺术辅导见地,可以用于勾引大模型学习符合人类美学标准的画质修复和增强能力。
”火山引擎多媒体实验室算法工程师张珂新说。

“未来,不仅一些老电影中音画不同步的问题将借助AIGC得到更有效的办理,乃至有望让AI对修复效果进行自动评判。
”喷鼻香港城市大学打算机系助理教授马柯德说。

AI进化是一个越用越好用的双向匆匆进过程。
张珂新说,他们在修复过程中,把算法落地场景从电影修复拓展到抖音平台的视频,促进了算法研发水平的不断提高。
“经典喷鼻香港电影修复操持”的技能成果也运用到抖音,让用户触手可及。

比如,在视频处理方面,用算法仿照电影胶片颗粒天生来提升影片质感等。
在直播场景下,抖音在主播推流端、平台做事器端、不雅观众看播端都支配了干系画质增强算法,对直播全链路的画质进行优化,给主播和不雅观众最好的收看体验。

AI正在加速渗透影视行业,大模型的运用处景不断丰富。
除了老电影修复,一些创作性任务如电影角色天生、电影文本天生、剧本自动天生视频等都可以利用大模型进行处理。
在国外,只管禁止将AI作品视为原创素材,但好莱坞编剧工会拟许可编剧在AI帮忙下创作剧本。
在我国,芒果、腾讯视频等也纷纭布局AIGC的利用和发展,影视工具做事商一览科技发布了业界首个“文本+图片+虚拟人”视频AIGC全域事情流,试图从根本上提升全体影视生产链的制作效率。

电视剧《三体》制片人白一骢曾说:“《三体》前期预备须要八九千张观点设计图,与设计师沟通、改稿一次就要耗费几个月。
但AI制图,或许一个下午就能完成。

在北京光芒传媒株式会社董事长王长田看来,总体而言,AI将成为行业可利用的一大工具。
首先,AI可以提升电影制作效率,尤其是动画电影;其次,它可能降落本钱,这对付亏损率较高的电影行业来说无疑将是一个巨大的推动;末了,AI作为一种技能,可以提升电影制作质量,避免低质量产品的涌现。

当前,AI+影视领悟,催生全新业态。
在湖南长沙马栏山文化创意家当园,落户了芒果超媒、抖音、爱奇艺、腾讯、华为、中影年年等一批行业领军企业,视频超算中央、5G高新视频多场景运用国家广电总局重点实验室等十几个科技底座赋能内容生产。
2023年园区累计实现企业营收超1700亿元,税收超95亿元。

影视业面临全体行业的洗牌,一些布局、运用AI较好的公司可能会迎来新的爆发点。

来源: 科技日报