当我们拿起手机拍照时,手机里的“美颜师”ISP(图像旗子暗记处理器)进行着弘大的打算,以让图像呈现效果靠近于人眼实际看到的景象。ISP经由十多年迭代,人类对图像质量的追求却不会停滞,画质“天花板”再进一步打破还有没有新方法?
在近期得到A+轮数亿元融资后,AI视觉芯片初创企业爱芯元智(原“爱芯科技”)创始人兼CEO仇肖莘日前对包括澎湃新闻(www.thepaper.cn)在内的媒体表示,ISP已发展了近20年,经由十几年迭代达到了现在的图片处理水平,但传统降噪办法已到了相对极限的地步。而以AI模型替代ISP中的降噪等关键模块,可以通过不断演习AI模型提升ISP性能,增强画质,让图像更清晰。仇肖莘表示,这打破了图片质量提升的“天花板”,“一年迭代的程度可媲美传统办法十几年的迭代效果。”
爱芯元智成立于2019年5月,两年完成三轮融资,总融资金额超10亿元公民币,并在近期宣告完成品牌升级。与目前业内着眼于云端AI演习和推理的火热的GPGPU赛道不同,爱芯元智面向边缘侧和端侧研发AI视觉推理芯片,并自主研发面向推理加速的神经网络处理器。
ISP紧张是用来对前端图像传感器输出旗子暗记处理的单元。爱芯元智将AI技能引入ISP,其第一颗AI ISP芯片AX630A去年5月流片,去年12月正式量产。第二颗AI ISP芯片AX620A今年5月流片,7月下旬回片并顺利点亮。这两颗SoC(系统级芯片)均采取12nm制程,个中AX630A在INT4情形下等效算力28.8T,功耗约3瓦。
仇肖莘对澎湃新闻表示,与手机成像后再用抠图、美颜、虚化不同,将AI技能引入ISP是从前端处理图片,这种办法过去研发较少,缘故原由在于其所须要的算力更大。NPU(嵌入式神经网络处理器)善于处理视频、图像类的海量多媒体数据,爱芯元智利用分外的NPU设计,利用稠浊精度,能在单位面积内供应数倍于传统NPU的等效算力,同时保持低功耗。
仇肖莘表示,AI视觉芯片运用处景非常广泛,包括智能穿着、智能家居、聪慧城市、自动驾驶等都。“比如翻译笔上的摄像头一扫就能连续拍摄多张图片,把这些图片拼成一行,再用AI处理。”
她举例说,手机短视频放在4K电视上播放就会显得画质差,但如果用AI技能将1080P或720P的视频源超分成4K或8K,就可以展现出较完美的效果。她说,目前爱芯元智正在研发下一代AI技能,“让芯片达到更高算力,支持比如8K30帧的图像处理。”
“视频一秒钟30帧,每一帧图像的处理韶光只有33毫秒。怎么在33毫秒内把降噪、高动态的处理都做完,实在这是最有寻衅性的事情。”
任务编辑:李跃群
校正:栾梦