开芯课堂是黑芝麻智能打造的一档技术分享类栏目，与大家分享我们的领先技术，展示我们的产品成果，通过专业技术沙龙、视频直播、深度图文，共同交流探讨，一起进步，一起探索黑科技的世界。
什么是ISP？
ISP是Image Signal Processor 的简称，也就是图像信号处理器，主要用来处理Image Sensor（图像传感器）的输出数据。
由于镜头和sensor在不同的制造商之间差异很大，以及拍摄的光线条件多样，镜头和sensor需要根据环境做适应，就像人眼要通过瞳孔缩放，适应环境明暗一样。
ISP在能够有效纠正和统一这些差异方面发挥着非常重要的作用，并且可以有效地将不同光谱特性的sensor数据按照预期需求统一实现。如果没有ISP模块，我们将很难生成人类预期的图片质量。
图1是常见的RGB的Bayer sensor处理的结果，从图中可以看出，在同样光源下不同sensor做白平衡之后色彩有比较明显的差异，很难用统一的色彩校正矩阵来统一处理，这给当前一些基于RAW图的AI感知算法（不带ISP）的实际应用落地带来挑战。
图1. 不同RGGB-Bayer sensor的色彩处理(白平衡后用统一的色彩校正矩阵处理)
更进一步，当前有很多sensor的光谱特性并不局限于RGB三色的Bayer模式，图2是RCCB sensor及RGBIr sensor的ISP处理结果与原始图像。在这些更加特别的光谱组合中，原始色彩更是与用户直观感知差别很大，如果缺少ISP的处理，后端感知算法处理这些数据就比较困难。
图2. ISP处理不同光谱的Sensor数据：
上排:RCCB Sensor, ISP处理结果及原始数据颜色；下排: RGBIr Sensor, ISP处理结果及原始数据颜色
自动驾驶ISP的特殊性
自动驾驶对ISP提出了更高的设计需求，首先是低延时，手机拍摄可以允许1到2秒的延时，但这对自动驾驶而言是决不允许的，车辆“致盲”2秒在高速上就意味着跑出去50多米，这已经不能用危险来形容了。
因此车端芯片的ISP需要毫秒级的高处理率和高传输率。
此外自动驾驶汽车的ISP要求全时在线，面临的场景也丰富的多，诸如被强光直射、黑夜、强弱光交替等极端场景，车端芯片自动驾驶的ISP需要解决这些挑战。
黑芝麻智能NeuralIQ ISP优势
色彩还原和渲染
自动驾驶场景中很多与颜色相关的重要信息，比如红绿灯、道路地面上的各种标志线等等，都是后端感知算法识别场景的重要目标。在一些特殊光照条件下，这些色彩还原的难度增大，渲染出的色彩准确性降低，会给感知算法带来不少困惑。
图3是一个雨天路面场景，潮湿地面的反光和阴雨天较差的光照条件使得对比厂商的ISP产品整体颜色偏淡，对比度偏低，道路中心的对向车道分隔“双黄线”颜色很浅，就有可能被误识为同向车道分隔白线，从而使得自动驾驶做出错误的选择和判断，而给用户带来危险。经过NeuralIQ ISP处理之后的图像，就准确恢复了原本的色彩。
图3. 阴雨天道路场景色彩恢复：NerualIQ ISP （左）和其他厂商（右）ISP处理效果实拍图
不同传感器的噪声一致化
不同的sensor在感光灵敏度和光谱方面都有自身的特点，从而在噪声形态和噪声强度方面各不相同。感知算法在处理图像时，对于输入图像的信噪比（signal-to-noise ratio，SNR）有一定的要求，并且可处理的噪声形态取决于训练数据。可想而知当输入图像的噪声形态和噪声强度发生变化时，感知算法的正确性和准确性都会受到很大影响。而黑芝麻智能的NeuralIQ ISP可以使不同sensor采集到的数据具有类似的噪声强度和噪声形态，可以直接输入给已训练好的感知算法使用。
图4反映了ISP对于不同sensor的不同噪声的处理能力，上下两行分别是两个不同sensor的数据，原始数据的噪声密度和噪声形态不太一致，上排sensor的原始噪声以团状色噪声为主，下排sensor的原始噪声以散在单点噪声为主，经过NeuralIQ ISP去噪模块之后，两种数据的效果很相似，噪声去除的同时，信噪比也得到了比较大的提升，以符合感知算法的要求。
图4. 不同sensor的不同噪声:
上排:sensor1数据经过去噪算法（左）和没经过去噪算法（右）的图像；
下排: sensor2数据经过去噪算法（左）和没经过去噪算法（右）的图像
高动态范围融合的画面瑕疵处理
自动驾驶环境下，相机所遇到的场景的亮暗对比变化非常广泛。一般相机单次拍摄所能捕捉到的数据动态范围大约只有60-70dB，而车载环境下的场景往往可以高达140dB以上，单次拍摄很难直接捕捉到如此高动态范围的场景。车载sensor中一般通过多种不同的技术，例如数字重叠技术(DOL/Stagger)、 双转换增益技术(DCG)、大小像素技术(LPD-SPD)，以获取对场景的“多重曝光“，从而合成出整个高动态范围(HDR)场景的数据。通常场景中暗处靠着长曝光来捕捉，而高亮部分需要短曝光来捕捉。如此在不同曝光的重叠区域里，合成算法要保证颜色的准确性和合成过渡的自然性。
图5. HDR合成的自然性和颜色准确性: NerualIQ ISP（左） 和其他厂商（右）ISP实拍图
如图5所示是一个典型的车载HDR场景，隧道里的亮度很低，隧道外通常是阳光照射下的高亮区域。在隧道口处通常就是典型的不同曝光合成的过渡区域，这个区域里有很多问题需要处理，比如色彩一致性问题，比如信噪比不连续问题等等。图5右图是其他厂商ISP处理结果，地面处出现严重斑驳，可能会被检测为路面的缺陷而影响自动驾驶的决策，隧道外的路牌原本应为蓝色，被合成为了褐色，这样感知算法可能会把普通道路(蓝色路牌)理解为风景区路牌(褐色)。而NerualIQ ISP就能很好处理这些信息。
多帧处理
夜晚或者室内低亮情况下，一般相机会通过延长曝光时间来达到合适的亮度。但是因为自动驾驶时候的车辆通常处于运动甚至高速运动状态，曝光时间的增长会导致图像中的运动模糊的增加；有时候哪怕运动速度不快，但是由于车辆处于转弯状态，远处场景的转弯线速度很大，模糊严重，这些都给感知算法的计算和识别带来困难。
近些年多帧去噪算法(时域去噪)经历了长足的发展。NeuralIQ ISP控制相机的曝光和增益，在曝光量(曝光时间x增益)相同的情况下，使用更短的曝光时间，更高的增益。针对减曝光+高增益图像使用多帧技术，可以将噪声水平控制在低增益水平上，同时因为基准单帧图像的曝光时间的减少，运动模糊问题得到了很好的改善。
图6. 多帧短曝光-高增益图像减少运动模糊：NeualIQ ISP（左）和传统单帧长曝光（右）-低增益图像
图6是一个典型的示例，传统ISP做法如右图，曝光时间30ms，3倍增益，因为车辆在行驶过程中，可以明显观测到运动模糊，上方指示牌的字体都具有重影，小号字体难以辨认；而NeualIQ ISP控制曝光时间10ms，9倍增益情况下，保持了总曝光量的不变，所以图像亮度与传统ISP类似，同时NeuralIQ ISP对图像采用多帧降噪技术(本示例使用3帧降噪)，所以尽管单帧图像的增益高达9倍，处理结果的噪声水平也与低增益图像类似，噪声得到了很好的抑制。由于NeuralIQ ISP的图像基准曝光较短(比如10ms)，单帧基准图像的运动模糊就很小，处理结果中的物体和字符清晰可辨，无可见的运动模糊现象。
低延迟处理
如前所述，车载环境下的图像输出不能有太大的延迟，几乎要达到“实时处理”的要求。NeuralIQ ISP从算法设计上就考虑算法的复杂度和算法的流水线结构。支持sensor数据流的在线和离线的混合处理模式。在线模式下，ISP输出的延迟几乎只取决于ISP算法本身所需的行缓存。典型场景下，NeuralIQ ISP数据处理的延迟不超过1毫秒，为后端感知算法实时获取到图像数据提供了有力的保障。
视觉与AI是智能驾驶领域的关键技术和基础能力，而图像质量对于视觉应用和算法识别起着至关重要的作用。黑芝麻智能车规级图像处理器——NeuralIQ ISP，通过其强大的图像处理能力，让汽车洞察秋毫，万事一清二楚，助力实现更安全的智能驾驶。
让汽车“洞察秋毫”，秒懂自动驾驶ISP系列第一期就到此结束啦~让我们相约下期的开芯课堂！
>开芯课堂下期预告：
针对自动驾驶场景下的图像质量测量方法和标准问题，IEEE-SA P2020工作组正在推动建立新的标准，基于此背景，黑芝麻智能作为ISP领域的资深专家，正在积极探索新的技术和方法。
