量子位 出品 | "大众年夜众号 QbitAI
手机慢动作视频拍摄已经越来越遍及,但网上大多数视频仍然是低帧率。如果我们自己能够自己动手,把球赛精彩瞬间转换成慢动作回放,那该有多好啊!
今年6月,英伟达公布了一种算法Super SloMo,可以将普通30fps视频转化成240fps慢动作:
它衔接动作自然,谢绝涌现慢放“PPT”,切实其实便是视频领域的“脑补大师”。就在大家都期盼公布代码的时候,英伟达却没有下文了。
虽然官方不做,却抵挡不住民间高手的聪慧。时隔半年后,一名来自德克萨斯A&M大学的研究生用PyTorch实现了它,很快成为了reddit机器学习板块的热门。
脑补慢动作的算法这套算法可以在两帧图像之间插入任意数量的图片,不仅能实现从30fps到240fps,乃至最高可以达到1000fps。
实际效果如何?请看它如何将汽车行驶的视频慢放8倍:
看到上面的比拟,是不是也想试试?首先,你须要做以下一些准备:
由于模型演习和测试是在PyTorch 0.4.1和CUDA 9.2上完成的,以是安装这两个软件必不可少,其余你还须要有一张NVIDIA的显卡。
模型无法直策应用视频演习,还须要安装ffmpeg从视频中提取帧。
统统准备事情完成后,就可以下载adobe240fps数据集进行演习了。
如果你是一个“伸手党”,还可以直接下载用adobe240fps演习好的模型。
网友望眼欲穿在官方代码迟迟没有放出的情形下,有第三办法式员实现了它,这让网友们感到十分激动。大家彷佛更关心模型的实际性能,不要渲染1秒钟,却用时1小时啊。
既然是英伟达的研究成果,已经有游戏玩家开始抱负未来的运用处景:我的王者光彩岂不是直接从30fps跳到60fps?
欲望虽好,但关于Super SloMo的落地问题还有待进一步解答。
作者表示,未来将连续完善项目的细节信息,视频转换的程序脚本也在加紧制作中,让我们拭目以待吧。
传送门项目地址:
https://github.com/avinashpaliwal/Super-SloMo/
演习数据集下载:
http://www.cs.ubc.ca/labs/imager/tr/2017/DeepVideoDeblurring/DeepVideoDeblurring_Dataset_Original_High_FPS_Videos.zip
演习完成模型下载:
https://drive.google.com/open?id=1IvobLDbRiBgZr3ryCRrWL8xDbMZ-KnpF
论文地址:
https://arxiv.org/pdf/1712.00080.pdf
— 完 —
诚挚招聘
量子位正在招募编辑/,事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们!
干系细节,请在量子位"大众号(QbitAI)对话界面,回答“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态