新闻天下降低延迟，提升安全：智能驾驶ISP的未来

汕巨商业

随着智能驾驶技术的发展，对图像信号处理（ISP）的要求不断提高，尤其是在低延迟和信号保真的需求方面。与传统消费类电子产品相比，智能驾驶对图像质量和时性提出了更高的标准。尽管存在去除ISP的讨论，但目前来说，ISP仍是确保自动驾驶系统安全和有效运作的关键因素。也因此贴片二极管才会有越来越多的拥泵者为其加油助威，传播品牌的价值和功能。壹芯微科技技术力量雄厚,首席工程师曾多年服务于台湾强茂,有丰富的研发生产经验,公司与国内外一流半导体企业定期举行技术交流并与华南理工大学建立长期研发合作关系,公司建立了高标准的二三极管可靠性实验室,配备了大量先进的专用设备。https://www.szyxwkj.com/article/zlejgzfjdq_1.html

在智能手机上，图像传感器的像素和色深越来越高，适合拍摄的视频分辨率和帧数越来越大，需要更强大的ISP来支撑。比如相机取景框的延迟和拍照后的等待时间都与ISP性能有关。
事上，ISP应该解决传感器获得的信息，而不仅仅是手机。在智能驾驶行业，摄像头作为核心传感器之一，需要ISP解决数据，然后将摄像头数据分发给智能驾驶的AI算率芯片进行计算。在智能驾驶技术的速发展过程中，对ISP特性也有了新的要求。
智能驾驶的ISP需求
在智能驾驶应用中，与消费或安全应用相比，比较大的区别是低延迟的硬性规定。在一些低端智能手机上，或者一些家用安全摄像头上，我们经常可以看到画面和具体环境有明显的延迟。
但是，如果摄像头数据在智能驾驶中延迟1秒，那么车辆可能已经行驶了30多米，从摄像头到智能驾驶芯片做出决定，而智能驾驶系统做出的决定是针对30米前的情况，这将是行驶安全的一大隐患。
因此，ISP解决图像数据的延迟必须尽可能小，以确保智能驾驶系统地面环境的速反应和及时沟通，并为后续感知算法和计算率芯片留下足够的处理时间冗余。
ISP除了延迟外，还重点化BA6908F-E2图像传感器的数据，车辆的行驶环境复杂多变。与手机、安全等行业相比，汽车领域对图像质量低、照度低、动态范围和功能安全的要求更高。比如进出隧道、地下室等场景，明暗变化很大，图像传感器的动态范围极高，ISP的RAW数据处理能力24甚至更宽。
智能驾驶系统对色彩还原和细节渲染也有很高的要求，比如识别红绿灯、道路标志、路面划线等。在特殊的光照条件下，这些地面信息的颜色可以给感知算法的识别带来困难，因此ISP必须准确地恢复颜色，以防止算法错误。
然而，智能驾驶使用的ISP的主要目标不是满足人们的视觉体验，而是关注机器的视觉需求。辉羲智能曾表示，目前智能驾驶使用的AI络具有一定的鲁棒性，可能没有迫切需要提高ISP的处理能力。因此，对于智能驾驶来说，我们将更加关注ISP的低延迟和信号保真。
信号保证的目的是确保感知算法能尽可能接近际情况，就像上面提到的颜色还原、高动态范围等等。
黑芝麻还提到了智能驾驶ISP会面临的一个问题，那就是不同传感器的噪音差异。在智能驾驶的具体应用中，不同的图像传感器，如像素、型号等，会在前视、侧视、后视等摄像头中选择。然而，不同的图像传感器在感光敏感性方面存在一定的差异，输出数据的噪声形状和强度也不同。
在处理图像信息时，感知算法对输入图像的信噪比有一定的要求，因此ISP必须对不同的传感器和不同类型的噪声进行相应的处理，使不同的传感器输出图像信息能够满足信噪比感知算法的需要。
智能驾驶系统有可能去除ISP
ISP的目的是解决图像信号，使图像更加现或“美丽”。但是，对于机器视觉来说，是否真的需要处理后的图像，在业内也有一些讨论。特别是处理ISP需要时间，甚至可以减少ISP去除后的延迟。
这里的逻辑是，为了让人们看到更好的场景，在ISP解决过程中，清理了许多对机器视觉有用的数据。如果省略了ISP的处理过程，获得的信息量会增加。
马斯克曾经说过，在自动驾驶系统中，图像信号可以减少13毫秒的延迟，而需ISP解决。这是因为特斯拉全车有8个人驾驶摄像头，每个摄像头通过ISP解决后会延迟15到16毫秒。
但目前智能驾驶系统中的ISP还是需要的，包括特斯拉，ISP还没有完全去除。一些学者认为，现有的图像传感器在去除ISP后，会给算法识别带来很多困难，比如没有色彩还原。
对于延迟问题，辉羲智能认为可以参考智能手机领域的ISP，比如将图像切割成进行处理，将一帧图像切割成四个，比较大延迟可以缩短到一帧的一半。
在智能手机行业，ISP经历了速发展，以便让人们看到更好的图像。对于智能驾驶来说，ISP有很大的提升空间，但需要继续探索应用和具体算法的要求。