机器之心编辑部
一段 AI 修复的视频，让我们体验了一把 100 年前的老北京。
小贩叫卖、马车过街，修复后的视频可以清楚地展现熙熙攘攘的市井生活。
作揖问候的场景也清晰可见。
你能想象，这些生动展现百年前国民生活的彩色影像，是利用人工智能技能修复的吗？
近日，这段利用人工智能修复老北京影像的视频在 B 站和微博上火了，引起了极大的关注。仅在 B 站上，阿婆主「大谷的游戏创作小屋」上传的这个旧影像修复视频已经得到 61.9 万的播放量、4.9 万点赞。
网友们纷纭感叹「厉害」，视频「清晰连贯」，「让我们看到了 100 年前的 vlog」。
视频中，阿婆主利用人工智能技能，对民国初年的一段影像进行了上色、修复帧率和扩大分辨率的改动，从而彻底改变了这段 100 年前老旧影片，让我们能够更为细致地不雅观看 100 年古人们的生活。
与旧影像比拟之后，我们能够对修复效果有更为直不雅观的感想熏染。
视频修复前后在色彩、清晰度方面都有了很大的提升，修复前灰蒙蒙，修复后色彩鲜艳。
那么从技能层面上看，究竟是如何做到这么惊艳的效果的呢？阿婆主表示，他也是参考了外洋 YouTube 博主 Denis Shiryae 的影像修复教程。
影像修复三大步骤
今年年初，Denis 修复 1896 年经典电影的视频也在外洋火了一把。
电影界最著名的短片之一是 1896 年的一部无声电影《L’Arrivée d’un train en gare de La Ciotat》，画面很大略，只有 50 秒，描述的是一列火车驶入车站的场景。Denis 正式对这个经典的短片进行了 AI 修复，效果非常不错。下图可以看出修复前后画面的强烈比拟：
链接：https://www.youtube.com/watch?v=3RYNThid23g
从 Denis 的网页先容，我们可以看到全体修复过程紧张针对三个核心点：4K 分辨率以及 60fps 的帧数，除此之外还增加了背景颜色和声音的效果。
DAIN 插帧技能
在增加 FPS 方面，Denis 表示他紧张运用了由上海交大 Bao Wenbo 等人提出的 DAIN 插帧技能（拜会论文《Depth-Aware Video Frame Interpolation》）。
项目地址：https://sites.google.com/view/wenbobao/dain
这项研究提出通过探索插帧中的 depth cue，来显式地检测遮挡。
研究者开拓了一个深度感知的光流投影层来合成中间流（中间流方向于对间隔较近的工具进行采样），并学习层级特色作为语境信息。然后，该模型基于光流和局部插值 kernel 将输入帧、深度图和语境特色进行变形处理，末了合成输出帧。
DAIN 模型的架构如下图所示：
DAIN 架构图。给出两个输入帧，DAIN 首先估计其光流和深度图，并利用深度感知光流投影层来天生中间流；然后采取自适应变形层（adaptive warping layer），基于光流和空间变革的插值 kernel 对输入帧、深度图和语境特色进行变形处理；末了，利用帧合成网络天生输出帧。
4K 分辨率
自从 1998 年第一台高清电视投入市场以来，“高清”一贯是技能追逐的方向之一。大略罗列几个数字，老式标清电视的分辨率仅为 720x480，也便是说一次可显示的内容为 345,600 像素。高清电视的分辨率为 1920x1080，总像素为 2,073,600，是标清的 6 倍，而 4K 的 3840×2160 分辨率则须要 8294,400 像素。
大略而言，视频修复过程至少须要额外添补 600 万像向来适应 4K 高清分辨率，而这种 “插值” 过程正是 AI 技能的用武之地，所补充显示的内容皆是基于相邻周边像素所呈现的内容。“插值”过程实质上是一种猜谜游戏，如果让卷积神经网络这类 AI 技能去发号施令的话会有更优质的反馈效果。
在此展示中，Denis 通过 Gigapixel AI 软件将分辨率提升至 4K，该产品由 Topaz Labs 开拓，目前已进入到成熟的商业阶段。研发之初是为了帮助拍照师在不丢失任何细节的情形下将照片质量提升 6 倍，将该技能产品化的过程中创造将其运用至视频是完备可行的。不过值得一提是，渲染几秒钟的视频可能须要几个小时的处理韶光，感兴趣的朋友可以一试。
DeOldify 着色模型
而在着色上，相信社区的大部分读者都知道一个基于 GAN 的图像着色模型 DeOldify。通过下面的比拟图，我们可以看到该模型的效果。
DeOldify 基于天生对抗网络，由深度学习研究员 Jason Antic 开拓并掩护。自从 2018 年项目开启以来，DeOldify 已经进行了多次迭代。
如果读者们想要考试测验，通过以下链接可直接安装利用。
项目地址：https://github.com/jantic/DeOldify
Colab：https://colab.research.google.com/github/jantic/DeOldify/blob/master/ImageColorizerColab.ipynb
数字修复中的 AI 技能运用要比想像的多
上述图像分辨率补充、FPS 提升、色彩添补是数字修复大方向下的三个子环节，而全体影像修复技能处处可见人工智能的身影。
以图像修复为例，一样平常步骤为：输入图像，检测画面信息及得到画面所有像素并识别受损区域，打算受损区域的像素点优先项，确定优先项最高的为待修复像素块，打算源区域中的匹配块与待修复区域的偏差，确定偏差值最小的为最佳匹配，进行添补和修复，检测损伤区域是否全部修复，若已修复则输出图像。
来自机器之心 pro
而对视频修复而言，它是基于图像修复演化而来的，也同样是逐帧修复，以是其流程与图像修复类似。
至于图像分辨率提升环节，Denis 通过 Gigapixel AI 软件进行处理。而实际情形中图像分辨率提升以及图像超分辨率的办理涉及到许多技能细节，如图像配准、图像分割、图像压缩、图像特色提取、图像质量评估等等。而这些子方向的研究在各大 AI 学术顶会上频频可见。类似地，通过机器学习方法从演习样本集中提取视频中的高频信息模型，从而对添补所需信息进行合理预测，达到提升视频图像分辨率的目的，这样相似的思路层出不穷。
从运用方面来看，高清设备的遍及使得对早期的游戏及电影进行重制成为一大需求，图像修复，图像超分辨率等浩瀚修复技能的发展也为该市场供应了一个可持续的办理思路。
末了，在理解完修复旧影像背后的技能后，感兴趣的读者也可以考试测验下。说不定，你也能在 B 站、抖音上火一把。
