智能汽车AI 时代，摄像头作为“汽车之眼”变得非常重要，我们之前文章《智能汽车要用多少个摄像头？分别干啥？什么原理？》简单的介绍了判断汽车摄像头的几个指标，当时查找资料时候看到下面这篇分析汽车摄像头分辨率（以 Mpixel 为单位）和帧速率 （fps） 的文章，写的还不错，简单同时带有数据分析，可以作为对智能驾驶爱好者对摄像头参数理解或者从业工程人员对设计硬件选型参考。
在当前智能驾驶中，基于摄像头的 ADAS 因其应用、更高的可靠性和对新要求的适应性而被广泛采用。ADAS 摄像头通常部署在汽车的前部、侧面和后部，提供驾驶和停车辅助。前置摄像头系统最常安装在汽车的前部，后视镜后面。后置摄像头安装在靠近车牌的后侧，而侧面摄像头安装在汽车两侧靠近镜子的位置《了解布置位置可以点击视觉为王－小鹏以及特斯拉的自动驾驶方案》。
本文介绍了汽车摄像头系统的分辨率（以 Mpixel 为单位）和帧速率 （fps） 选择的见解，重点是单目前置摄像头，当然也可以用于后／侧摄像头选择参考。
ADAS 前置摄像头 （FC） 系统从现实世界中捕获并识别感兴趣的对象（例如行人、汽车和两轮车）。如下图所示，ADAS FC 系统由摄像头模块（镜头和传感器）组成，用于将场景捕获为一系列图像（即视频），然后在嵌入式处理器芯片上进行分析以识别感兴趣的对象。
ADAS 前视视像头的关键功能是识别感兴趣的对象以及与汽车的距离，并在正确的时间应用紧急休息以避免碰撞。这些目标必须在给定解决方案的高精度检测、低成本、低功耗和小尺寸的严格限制下实现。该解决方案必须能够在夜间或弱光驾驶等不同场景下工作。
整体解决方案中的三个参与者相互交互以实现 ADAS 系统的目标：
现实世界：这包括汽车和可能成为潜在事故目标的感兴趣对象（例如行人、车辆、两轮车等）。
摄像头模块：由镜头和传感器组件组成。它以固定间隔 （fps） 将现实世界捕获为图像像素（分辨率）。
算法：它通常会找到感兴趣的对象（例如行人）并在可能的碰撞情况下提醒驾驶员。由于行人目标可能存在于未知距离，它通常在一系列具有固定行人模型尺寸（例如 64×32 像素）的缩小图像（称为图像金字塔）中搜索给定的行人。使用属性（称为从像素中提取的特征）而不是实际像素来执行搜索，以获得更好的鲁棒性。一旦找到匹配的行人，就会计算到行人的距离和碰撞时间 （TTC）。这些算法属于计算机视觉 （CV） 和机器学习 （ML） 领域，并在嵌入式 SoC（片上系统）上运行。
下图显示了三个参与者以及实现 ADAS 系统目标的各种参数。
第 1 部分：揭秘分辨率／Mpixel
通常，成像传感器的 Mpixel （MP） 决定了可以检测和识别给定对象的最远距离。下图显示了多种配置下与行人的距离与 Mpixel 的典型关系。
上图中的曲线假设现实世界中行人的高度为 1．5m，图像传感器的物理尺寸为 1／3”（标准OF值计算方法是其实际对角线长度 1／3英寸大概就是6mm）。基本配置对应于给定镜头的 450 FOV（视场）和行人高度，在捕获的图像中为 64 像素。如图 3 所示，1MP 到行人的最大距离为 34 m，8 MP 增加到 101m。对于汽车图像传感器，目前使用 1 MP，在不久的将来会增加到 2 MP，并在较长时间内达到 8 MP。
表 I 总结了增加 Mpixel（0．3 MP 到 8 MP）和最远行人距离（24m 到 101m）的影响以及假设和可能的权衡。随着分辨率的提高，它带来了下一组问题，例如低光性能差和计算／功率要求高。
对于给定的分辨率（例如 2MP），有多种方法可以增加最远行人距离，总结如下。在图像金字塔搜索过程中使用较小尺寸的行人模型：这导致距离增加 2 倍（51m 到 101m），因为模型尺寸减少了 2 倍（第 4 行）。通常，较小尺寸的行人模型会降低检测的准确性，并产生更多的误报。
使用更小的模型尺寸和复杂的特征：这会导致更高的距离和相似的检测精度（第 5 行）。与从行人中提取的传统特征（例如 Haar、HoG）相比，复杂的特征（例如 Co－Hog、卷积神经网络 －CNN）需要更高的计算能力（以及成本）。
使用窄 FOV（即更高的焦距）：这意味着在现实世界中跨越较低的正面区域，从而产生更高的距离（51m 到 59m）（第 6 行）。在 FOV 的极端减少（例如，达到 250 FOV）将导致需要额外的传感器来覆盖类似的正面区域。
在更高 MP（例如 8MP）的情况下，一种可能的折衷方案是使用更宽的 FOV 镜头来覆盖前方和交叉路口。这消除了额外的传感器，从而降低了成本（第 10 行）。
第 2 部分：揭秘帧率 （fps）
通常，成像传感器的帧率决定了避免物体碰撞的最大停止距离。下图显示了汽车的停车距离与停车距离的典型关系。汽车速度的多种配置的帧速率。
停车距离是在应用中断之前检测行人期间覆盖的距离和在中断期间覆盖的距离的相加。图的假设是行人检测期间的七帧延迟，其中包括大约三帧的处理延迟和大约四帧的跟踪延迟，以提高检测质量。另一个假设是根据英国公路法规打破距离。如上图所示，假设汽车速度为 80 Km／Hr，停车距离从 55m 减少到 45m，因为帧速率从 10fps 到 15fps（文章写的时候）再到 30fps（现在基本都在30fps）。
表二显示了增加车速（30Km／Hr 到 250Km／Hr）和对停车距离（8m 到 390m）的影响以及各种参数和假设。
对于给定的汽车速度（例如 80 Km／Hr），有多种方法可以减少刹车距离，如下所示。
使用更高的帧速率：随着帧速率的增加（10 到 30 fps），这会降低延迟（750 毫秒到 284 毫秒）。这也提高了对象（例如行人）跟踪的性能，但代价是更高的处理能力（第 4 行和第 5 行）。
使用基于流和切片的架构：这减少了延迟（750 毫秒到 210 毫秒），因为跨多个子组件的通信以较小的粒度发生，例如行／子图片（第 6 行）。这种复杂的系统需要更多的时间来开发，并且可能存在算法框架级别的依赖挑战。
其他挑战
摄像头ISP图像信号处理流程图
所以其实我们当前看到国内很多智能驾驶的方案都还在堆料阶段，而汽车行业其实本质是应用产业，用最优的成本达到可以拓展升级的配置才是最优的方案。这些就值得我们主机厂产业应用人士思考的核心竞争力。
原文标题 : 揭开ADAS感知摄像头 - 分辨率和帧率的神秘面纱
