Semiconductor Engineering 揭橥了一篇关于处理图像传感器中的噪声的文章：
随着图像传感器在汽车和医疗设备等安全关键型运用中的运用和主要性不断扩大，噪声已经从一个令人烦恼的问题变成了一个危及生命的问题，须要实时办理方案。
在消费类相机中，噪声常日会导致图像涌现颗粒感，这常日与光芒不敷、图像捕获速率或传感器故障有关。常日，事后可以对图像进行清理，例如减少自拍时的眩光。但在汽车中，ADAS 图像系统中的眩光会影响刹车速率。在车辆或医疗设备中，系统非常繁芜，外部效应会影响图像，包括热、电磁滋扰和振动。这在支持人工智能的打算机视觉系统中是更明显的问题，由于该系统须要以极高的速率处理大量数据此外，由于介电击穿或电迁移引起的旗子暗记路径变革而导致电路老化也会对上述问题产生影响。
噪声容限阈值因运用而异。 Keysight 高等运用工程师 Brad Jolly 表示，与用于拯救生命的医疗环境中利用的 CT 扫描仪或 MRI 系统比较，动物园里的大略运动激活安全摄像头或动物运动检测系统可以承受更多的噪音，并且以低得多的分辨率运行，“[噪声]可以指在获取任何形式图像的组件或系统中造成偏差的任何事物，包括可见光、热、X 射线、射频 (RF) 和微波。”
OmniVision 首席技能官办公室新型图像传感器系统高等经理 Andreas Suess 阐明道，容差也由人类感知决定。 “当信噪比 (SNR) >20dB，空想情形下 >40dB 时，人类会认为图像令人愉悦。但是，常日在 1dB 或更低的低 SNR 水平下就可以看到物体。对付打算成像来讲，为了推断可以接管的噪声水平，须要理解其运用程序级质量指标，并仔细研究这些指标对噪声的敏感性。”
成像传感器的噪声根本知识
没有噪声是空想状态，是一个不切实际的目标。西门子数字工业软件公司高等营销总监 Isadore Katz 表示，对付图像传感器来说，噪声是不可避免的，“当像素值超出预期范围时，就会产生噪点，无法将其从传感器中设计分开出来，这只是图像传感器事情办法的一部分。唯一能做的便是对其进行后处理。你会对自己说，‘这不是预期的值。该当是什么？’”
西门子数字工业软件公司高等营销总监 Isadore Katz 说道：“对付图像传感器来说，噪点是不可避免的。当像素值超出预期范围时，就会产生噪点，你不可能通过设计使其分开传感器。这只是图像传感器事情办法的一部分，你唯一能做的便是对其进行后期处理，你会对自己说：‘这不是预期值，该当是什么？’”。
噪声紧张分为固定模式噪声和韶光噪声，两者都阐明了为什么工程师必须应对其不可避免性。Suess说：“韶光噪声是基于光（光子）和电荷（电子）量化的基本过程，当在给定曝光下捕获一定量的光时，人们会不雅观察到不同数量的光子，这被称为光子散粒噪声，是所有成像设备中存在的基本噪声过程。”事实上，纵然没有光存在，暗旗子暗记（也称为暗电流）也会表现出散粒噪声。
更糟糕的是，纵然只是热量也会产生噪音，这可能会给极度条件下的 ADAS 传感器带来困难。Flex Logix 营销和业务开拓副总裁 Jayson Bethurem 表示：“图像传感器必须在最亮和最暗的条件下事情，还必须在 -20℃和高达 120 ℃的温度下事情。当景象变热时，所有 CMOS 传感器的运行速率都会变慢并且噪音也会更大；当景象寒冷时，它们运行得更快、更干净，但仅限于一定程度，当景象变得太冷时，就会开始产生其他负面影响。大多数 IC 在运行时会自热，因此也会产生噪声，摆脱这种情形的唯一方法便是通过数字办法将其过滤掉。”
固定模式噪声源于工艺不屈均性以及设计选择，可能导致偏移、增益或稳定伪影。固定模式噪声可以表现为量子效率、偏移或增益以及读取噪声的变革。减轻固定模式噪声须要在工艺、设备、电路设计和旗子暗记处理等层面做出努力。
图 1：噪音问题和解决方案。来源：Flex Logix
此外，噪声还会影响数字和仿照系统。Jolly 说：“数字系统总是从对某些仿照源的数据进行数字化开始，因此数字系统首先会碰着与仿照系统相同的噪声问题。此外，数字系统必须处理量化和像素化问题，每当某些仿照旗子暗记值转换为比特串时，这些问题总是会涌现。如果随后对这些位进行有损压缩算法，则会引入额外的噪声。而且，诸如双倍数据速率存储器 (DDRx)、正交幅度调制 (QAM-x)、不归零 (NRZ) 线路编码、脉冲幅度调制 (PAM) 等高速数字技能和其他繁芜调制方案的增长，意味着反射和跨通道耦合会将噪声引入系统，可能达到位滑动和位翻转的程度。个中许多问题可以通过数字协议固件或硬件内的纠错机制自动处理。”
噪声可能会涌如今成像链的任何地方，并产生一系列问题。Jolly 阐明道：“例如，被成像的物体可能有阴影、遮挡、内反射、非共面问题、视差乃至细微地振动，尤其是在制造环境中。在这种情形下，噪音会使检讨变得繁芜。例如，如果电路板的顶部和底部有重叠的网格阵列组件，则利用 X 射线技能成像的多层电路板可能会涌现焊点阴影。”
图像传感器和图像主体之间对准的变革（旋转或平移偏移以及平面倾斜）可能会增加变革。物体和传感器之间间隙的热梯度可能会产生噪声，例如酷热道路上的热闪烁，光芒不敷和过快的图像捕捉也可能会引入噪声。
还有其他须要考虑的问题。Jolly补充道： “成像链中的镜头可能会引入噪声，包括色差、球面像差以及与微不雅观灰尘或镜头毛病干系的偏差。镜头掌握图像的焦点、景深和焦平面，这些都是图像采集的关键环节。纵然在指定例模内运行，成像传感硬件本身也具有正常的制造变异性和热相应，低分辨率或低动态范围的传感器也可能使图像失落真，传感器供电线路中的电源完全性问题可能会在图像中显示为噪声。末了，相机的光电转换功能（OECF）将在图像质量中发挥关键浸染。”
外部噪声源还可能包括闪烁，须要办理该问题才能得到清晰的视觉效果。
图 2：LED 交通信号灯或交通标志的闪烁对 HDR 办理方案构成了严厉的寻衅，导致驾驶员赞助和自动驾驶系统无法精确检测发光的交通标志。来源：豪威科技
ADAS 成像根本知识
虽然噪声对付 ADAS 传感器来说彷佛是一个关键问题，但考虑到潜在的侵害或破坏，它实际上比消费类相机等产品的问题要小，由于在消费类相机中，超出范围的像素可能会毁掉图像。ADAS 不看重都雅，更侧重于二元决策——刹车或不刹车。事实上，ADAS 算法是在较低分辨率的图像上进行演习的，并且忽略了可能成为消费类相机杀手的噪声。
例如，要在图像中间找到一只猫，首先要对图像进行“分割”，即在潜在感兴趣的工具周围绘制边界框的过程。然后将图像输着迷经网络，并对每个边界区域进行评估。图像被标记后，算法可以自我演习以识别显著的内容。“那是一只猫，我们该当关心它并刹车；这是一只臭鼬，我们不关心它，撞去世它” ，Katz说道。这听起来像是一个糟糕的笑话，但实际上经由演习的ADAS 算法，会为某些动物分配较低的代价。
卡茨：“这归根结底是安全问题，而不是道德问题” ，“纵然有人不关心驼鹿，汽车也必须刹车，由于这会对搭客造成危险，在任何情形下踩刹车都可能带来风险”。但是，猫和狗的代价要高于臭鼬和松鼠。
如果一个物体完备或部分被另一个物体遮挡或被耀斑遮挡，则须要更前辈的算法才能精确分辨，从相机吸收到帧并经由基本图像旗子暗记处理后，图像将被呈现给神经网络。
Katz 说道：“现在你已经离开了图像旗子暗记处理领域，进入了打算机视觉领域，该领域从已清理并准备好呈现的帧或帧序列开始，”， “然后你将打包这些帧并将它们发送给人工智能算法进行演习，或者你将获取这些图像，然后在本地神经网络上处理它们，神经网络将首先在每个帧周围创建边界框框架内的伪影，如果人工智能无法识别正在检讨的帧中的物体，它将考试测验在后续或之前的帧中识别它。”
在危险情形下，自动制动系统大约有 120 毫秒的韶光做出相应，因此所有这些处理都须要在车内进行。事实上，乃至可能没有韶光从传感器路由到汽车自己的处理器。 Katz表示：“这里有一些须要考虑的数字，汽车以 65 英里/小时的速率行驶时，速率为每秒 95 英尺，须要大约 500 英尺才能完备停滞。因此，纵然汽车的时速为 32.5 英里，它也会在 1 秒行家驶 47 英尺。如果从传感器到人工智能再到制动的总来回行程须要半秒，那么您在道路上 25 英尺处仍旧须要制动。现在请记住，传感器以每秒约 30 帧的速率捕获图像。因此，每隔 33 毫秒，人工智能就必须做出另一个决定。”
为此，各家公司正在利用高等综合技能来开拓智能传感器，在传感器阁下加上一个额外的芯片，该芯片具有图像旗子暗记处理器 (ISP) 的所有传统功能，例如降噪、去模糊和边缘检测等。
Katz：“它现在开始包含打算机视觉功能，可以是算法或人工智能驱动的，你将开始看到一个内置神经网络的智能传感器。它乃至可以是一个可重新编程的神经网络，因此一旦它变得更智能，你就可以更新不同的权重和参数。”
如果这种方案得到成功，就意味着传感器可以在本地实行操作，从而实现实时决策。它还可以重新打包信息，在云端或汽车中进行存储和处理，以供后续演习，从而提高准确、快速的决策能力。事实上，许多当代 ISP 已经可以动态补偿图像质量。 “例如，如果从强光溘然变为弱光，或者反过来，ISP 可以检测到这一点并变动传感器设置”，Katz说道， “这种反馈发生在图像进入人工智能或物体检测阶段之前，这样后续的帧就可以更清晰地进入人工智能或物体检测阶段。”
已经存在的一个运用是驾驶员监控，这给设计职员带来了另一个关键的噪声问题。Bethurem说道： “汽车可以让阳光照在你的脸上，让统统达到饱和，或者完备相反，在完备阴郁的情形下，唯一的光从你的仪表板发出。要构建一个仿照传感器和干系的仿照设备，使其具有如此大的动态范围和所需的细节水平，这便是噪声的寻衅所在，由于你无法构建一个具有如此大动态范围的完美传感器。在亮度很高或饱和度过高的边缘，画质会低落，必须得到填补。而这些时候有时是最危险的时候，你要确保驾驶员在做他们该当做的事情。”
人工智能与噪声
噪声的寻衅和传感器日益智能化也引起了人工智能（AI）界的关注。
Alphawave Semi 的首席技能官Tony Chan Carusone表示：“现在已经有人工智能系统能够填充数字图像的遮挡部分。这在 ADAS 方面具有明显的潜力。然而，要在边缘实时实行此操作，须要新的专用途理元件来供应安全关键系统所需的即时反馈。这是一个完美的例子，我们可以期待看到新的定制芯片办理方案。”
Quadric的首席营销官 Steve Roddy 指出，这条道路已经被开辟出来。 “看看 Android/Google 手机中的‘魔术橡皮擦’功能——快速删除照片炸弹和其他背景工具并补充空缺。在汽车传感器上实行相同的操作以肃清遮挡并‘补充空缺’是一个已知的已办理问题，实时实行是一个大略的打算扩展问题。在当今的 5nm 技能中，约 10平方毫米就能实现完全的 40 TOP 完备可编程 GPNPU 功能。这只是目前正在设计的大型 (> 400 平方毫米) ADAS 芯片的一小部分。因此，可能有足够的可编程 GPNPU 打算能力来处理这些类型的用例。”
剖析噪声
剖析图像传感器中的噪声是一个具有寻衅性且生动的研究领域，其历史可以追溯到 50 多年前。供应商的一样平常建议是直接与他们互换，以确定他们的仪器是否符合项目的特定需求。
Synopsys 的仿照/射频仿真产品经理 Samad Parekh 说道：“噪声是客户非常关心的问题，处理这些问题有很多不同的方法，个中一些很随意马虎理解。你可以用封闭的表达式来表示噪声，能够非常准确地预测噪声曲线。而其他机制则没有那么随意马虎理解，也不是线性的。由于这些机制更加随机，以是须要付出更多的努力来表征噪声，或者在设计时就要考虑到这种限定成分。”
最佳实践
Keysight 的 Jolly 为减少和管理图像传感器项目中的噪声供应了日常建议：
明确定义传感器的目标作为全体系统的一部分。例如，缓慢、低分辨率的热成像仪或矢量网络剖析仪可以揭示有关皮下或硬膜下疾病或损伤的信息，而这些信息对付高分辨率、高速可见光传感器来说是不可见的。请与组件和模块供应商互助，理解他们已经完成了哪些噪声剖析和去噪，你将学到很多东西，并能够利用许多已经完成的出色事情。此外，在全体产品生命周期中都要考虑图像噪声问题，并在设计阶段尽早利用仿真工具，以最大限度地减少因旗子暗记完全性或电源完全性不足空想而造成的问题。从终极用户的角度剖析问题。他们的目标是什么？他们关心什么？他们具备哪些技能？他们能否做出适当的干预和修正？他们的预算是多少？例如，对某些运用来说，具有较高噪声的全自动系统可能比可噪声较低的繁芜系统更得当。熟习现有的相机、光学和成像标准，例如 ISO 9358、12232、12233、14524 和 15739，以及欧洲机器视觉协会 (EMVA) 1288。研究高档数学、统计学和人工智能在去噪中的最新研究。个中一些技能包括期望最大化估计、贝叶斯估计、线性最小均方偏差估计、高阶偏微分方程和卷积神经网络。未来的方法
虽然当前的 ADAS 系统或许比其他成像形式能容忍更多的噪声，但未来的情形可能并非如此。更多种类的利用案例将推动图像传感器向更高的分辨率发展，这反过来又须要更多的局部处理和降噪。
Katz表示：“过去的许多图像处理都是 VGA标准，但像舱内监控这样的运用程序，例如对驾驶员和搭客进行眼球跟踪以识别机舱内发生的情形，包括监控驾驶员的警觉性或是否有人被落在后座上——将开始推动我们采取更高分辨率的图像。反过来，这将开始哀求我们提高降噪水平，处理图像障碍以，并能在本地处理更多数据。当分辨率从 VGA 变为 720、1020 乃至 4k 时，须要处理的像素数量翻倍，每一个像素都须要越来越多的局部化处理，这便是我们的终极目标。”
原文链接：https://semiengineering.com/dealing-with-noise-in-image-sensors/