在发布于《PLOS One》期刊的论文中,由 Pierre Baldi 教授和 Andrew Browne 博士领导的加州大学欧文分校研究小组描述了他们如何利用红皮毛机重修人脸照片的彩色图像。
研究利用人类无法察觉的近红外照明采集光芒,推动了红皮毛机图像预测和重修技能的发展。
该研究的作者阐明说,人类能够看到的“可见光谱”是波长在 400 至 700 纳米之间的光。
普通的夜视系统依赖相机来采集光谱外人们看不见的红外光。
研究职员表示,相机所采集的图像会被转换到显示器上,显示器单色显示红皮毛机所拍摄的内容。
加州大学欧文分校的团队开拓了成像算法,该算法依赖深度学习来预测人类在红皮毛机捕获的光芒中将看到什么。
加州大学欧文分校的研究职员希望利用深度学习来预测红外光照明下的可见光谱图像
换言之,他们能够利用相机在人类完备看不见的环境中进行拍摄,并数字化渲染拍摄的图像。
为此,研究职员利用了对可见光和近红外光敏感的单色相机来获取面部打印图像的图像数据集。
这些图像是在覆盖标准可见红光、绿光、蓝光以及红外波长的多光谱照明下采集的。
研究职员优化了具有类 U-Net 架构的卷积神经网络,根据近红外图像来预测可见光谱图像。该神经网络是弗莱堡大学大学打算机科学系最初为生物医学图像分割所开拓的专用卷积神经网络。
左边是由红、绿、蓝三色输入图像组成的可见光谱基准原形图像。右边是UNet-GAN、UNet和线性回归根据三幅红外输入图像预测重修的图像。
该系统利用 NVIDIA GPU 和 140 张人脸图像进行演习,个中 40 张用于验证,20 张用于测试。
终极,该团队成功重现了红皮毛机在阴郁房间中拍摄的彩色人像。换言之,他们创造了能够在全彩夜视系统。
可以肯定的是,这些系统目前还无法实现通用。它们须要经由演习后才能预测不同种类物体的颜色,比如花或人脸。
只管如此,该研究未来可能真的会完备实现全彩夜视系统,就像我们在白天所能看到的一样。有朝一日,或许它使科学家也能够研究对可见光敏感的生物样本。