车载摄像头常用的感光材料为CMOS芯片(互补性金属氧化物半导体器件)。这种采用CMOS的感光器件也叫CIS 芯片(CMOS Image Sensor)。
CIS芯片包括微透镜、光电二极管、处理芯片以及IO接口。
CIS芯片是摄像头模组的核心器件,占据了摄像头模组50%的价值。目前CIS芯片行业的企业有安森美、豪威科技等。以美企为主。
我去这两家官网逛了一下,有很多的型号可以选择,像素从30万像素到5000万像素,也有不同的输出帧率可选。下面对关键属性参数进行说明:
CFA:Color Filter Array,色彩滤波阵列, 图像传感器一个非常重要的属性,CFA的格式决定了我们所能看到的图像颜色。
由于光电传感器并不能区分光的波长(即不同的颜色),仅能感知光的强度。当前方法是在像素点上覆盖色彩滤镜(R、G、B中的一种),用于获取图像的颜色。每个像素点仅接收RGB三个分量中的一个分量,这也导致光线的能量的大量损耗。
色彩滤镜有多种类型,有单色mono、RGGB、RCCB、RCCC等。
左:单色传感器平面。右:带有拜耳阵列的彩色传感器平面
MONO:即单色传感器。由于滤光会带来亮度上的损失,没有滤光片亮度会大大提高,100%透传。如果不需要识别颜色,可以使用这种黑白图像传感器。
RGGB:为了适应人眼,手机摄影常用的是RGGB格式。这是因为人眼的视锥细胞对绿色更敏感,选择50%空间安装绿透镜,剩下25%安装红和蓝滤镜。这种标准阵列也叫拜尔阵列RGB Bayer。
RGB-IR:IR是Infrared,即红外线,其波长(约760nm~1mm)比红光长,是不可见光。在光线比较暗的情况下,使用IR摄像头增强现实效果。在RGB阵列中,修改部分像素点为IR像素点,只允许红外光通过。
使用RGB-Ir技术可以通过一个传感器设备同时捕捉到RGB彩图和IR图,也就是同时拥有白天和夜间的可视能力。
RGB-IR 适合于车内监控DMS。可以在光线条件受限的情况下观察驾驶员和乘客。
RCCB: RCCB 中的C为Clear,即白色滤镜。这样可以在不丧失颜色的情况下得到更多的亮度信息。
RCCC:75%部分为透传,其余25%为感受红光的滤波器。适合红色交通灯和汽车尾灯的检测。
分辨率:Resolution
CFA参数决定了图像的色域空间,传感器的分辨率决定了图像的分辨能力。如前视ADAS摄像头的800万像素(3840x2160),环视摄像头300万像素(1920x1536),1080P(1920x1080)、720P(1280x720)等。在对焦的情况下,像素点越多,图片的分辨能力越强。但过大的分辨率会增加硬件成本,并给图像后处理带来挑战。
这里的分辨率并不能直接等同于像素点的数量,像素点Pixel需要经过插值后才能成为真正的图片,这部分内容后面再说。 像素点越多,图像的分辨率才能越大。
以人脸识别为例,如果像素过低,将无法分辨出人脸甚至人类
像素大小:Pixel size
像素点越大,单个点能接收到的光线越多,信号质量越高。在相同分辨率下,照相机比手机的像素点可以设计的更大,照片质量更好。车载摄像头的像素的尺寸大概在2.1um左右。
帧率:Frame per second,fps
即每秒钟更新的图像帧的个数。通常从30fps 到60fps不等。
图像的刷新采用Rolling shutter,即逐行边曝光边扫描,导致拍摄快速运动目标时,会出现果冻效应,物体看上去发生变形倾斜。
而高速相机会采用Global Shutter全局曝光后扫描的方式,但扫描时间会压缩曝光时间,相同帧率下有效曝光时间更短。
图像原始格式:经过Image sensor 得到的数字底片的格式为RAW。无论视频最后转成什么格式,都需要从RAW格式转。
RAW 格式:是未经处理过的数据,代表了各种颜色光的强度。8bit RAW即用8个bit描述一个像素点的亮度值,20bit RAW就是用20bit 来表示一个像素点。显然bit位越多,越能分辨出颜色的细节。不过这种数据格式需要经过润色处理才能使用。
图像后处理:ISP (Image Signal Processing )图形信号处理器
ISP 相比于CPU,是专业的图形信号处理芯片。图像传感器采集到的原始数据交由ISP进行处理后,最后传输给外部设备使用。
ISP作用:对图像进行PS处理。包括噪点去除、颜色插值、白平衡校正、曝光矫正、HDR 等处理工作。并进一步的压缩编码,输出外接设备所需要的图像格式。
CIS芯片集成了ISP芯片,但功能受限,如果图像处理性能无法满足要求,还可以选择独立的ISP芯片进行图像信号处理。
输出格式:Output formats
经过Image sensor 测量得到的像素点信息将按照一定的格式进行格式化输出。常见的格式有20bit RAW, 8/10 bit RAW, 8/10 bit YUV422等。
CIS芯片结构和信号处理流程
输出接口:Output interfaces
经过ISP处理后的数据,最终按照Camera芯片的接口传输协议进行传输,目前采用的传输格式有MIPI CSI-2协议,LVDS协议等。
写到这里关于CIS成像器芯片的介绍基本结束,关于芯片的具体参数可以根据芯片的数据手册进行查找。
例:OmniVision_OX08B40芯片 技术参数
只有明白这些芯片的属性,成像特点,才能在摄像头仿真测试时,有效的发现问题和找出差异。这也是我作为仿真测试工程师去探究传感器工作原理的初衷。