右边的画面，是不是比左边的画面看上去稳定许多？
这样的效果，大家可能并不陌生。现在，不少手机厂商都为自家手机配备了类似的防抖算法，为你拍养生涯Vlog供应便利。
不过，目前的智好手机在面对繁芜的抖动时，紧张是通过电子防抖（EIS）的办法来实现画面的稳定。
也便是说，须要对画面的边界进行裁剪，通过“后期处理”，实现画面的稳定：
△图片来自TDK
而现在，一项来自台湾大学、谷歌、弗吉尼亚理工大学和加州大学默塞德分校等研究机构的论文，提出了一种无需裁剪的全帧视频稳定算法。
纵然是奔跑中拍摄的画面，也能稳定不少。
那么，这只AI详细是如何做到防抖的？
方法事理该方法的核心思想，是领悟视频中多个相邻帧的信息，来呈现无需裁剪的完全稳定视频。
详细而言，对付输入视频，首先对每一帧图像特色进行编码，并在目标韶光戳处将相邻帧翘曲至虚拟相机空间。
这里面紧张用到了目标帧到关键帧的翘曲场，以及从关键帧到相邻帧的估计光流两个信息，这样，就可以通过链接流向量，打算目标帧到相邻帧的翘曲场。
然后，领悟这些特色。
传统的全景图像拼接算法常日是在图像级别进行领悟。这样做的缺陷在于，如果估计光流不可靠，就会产生伪影。
而将图像编码为CNN特色，再在特色空间中进行领悟的方法更具鲁棒性，但又每每会产生过于模糊的图像（如下图b）。
于是，研究职员提出结合两种策略的优点：首先将图像编码为CNN特色，然后从多个帧中领悟翘曲特色。
对付每个源帧，研究职员将领悟特色图和各个翘曲特色一起，解码成输出帧和干系的置信度图。
末了，通过利用天生图像的加权均匀，来产生终极的输出帧。
实验结果
研究职员在NUS数据集和自拍视频数据集上验证了该方法。
△标红的为最佳结果
在上表中，DIFRINT方法同样是无需裁剪的方法。虽然该方法在失落真值（distortion value）上略优于本文方法，但如下图所示，DIFRINT的结果中有明显的局部失落真。
总体而言，本文提出的方法优于此前的SOTA方法。
不过，论文也谈到了该方法的局限性，比如对卷帘式快门无效；如果视频帧间亮度变革很大，会导致明显的接缝；预处理阶段的平滑方法可能会导致失落真等。
传送门
根据作者先容，该项目即将开源，如果感兴趣，不妨先mark一下~
论文地址：https://arxiv.org/abs/2102.06205
项目地址：https://alex04072000.github.io/NeRViS/
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态