RGBW图像传感器会是主流吗?

2020-09-08
关注
摘要 RGBW、RGGB、RYYB,都是图像传感器的彩色滤光片,让图像传感器捕获的图像从“黑白”变成“彩色”。

  9月7日,vivo宣布已在过去一年中自研出新的图像传感器,而带有这种新型RGBW传感器的设备正在开发中,并将于明年投放市场。

  vivo表示,该新型传感器使用RGBW彩色滤光片阵列,比传统的配备RGGB的传感器收集的光多200%,比华为使用的RYYB传感器多收集60%的光,且不会出现RYYB的偏色问题。

  回顾过去,索尼曾在某些Xperia相机中也使用了RGBW彩色滤光片,以收集比传统RGB矩阵更多的光。但配备RGBW的传感器存在分辨率降低的固有问题,不过通过现代处理算法可以很好地处理这个问题。这是否意味着未来RGBW过滤会成为图像传感器的主流方案?或许我们可以通过了解RGBW、RGGB、RYYB及三者的区别,找到答案。

  而在了解RGBW、RGGB、RYYB之前,我们先搞清楚它们对于图像传感器来说,有什么意义。

  其实RGBW、RGGB、RYYB,都是图像传感器的彩色滤光片,让图像传感器捕获的图像从“黑白”变成“彩色”。

  对于图像传感器来说,滤色镜阵列是非常重要的。根据设计,图像传感器仅对光敏感,对颜色不敏感。由于它只能检测和捕获光,因此从数字图像传感器捕获的原始图像始终是黑白的。

  为了能够捕获颜色,我们需要一个滤色镜阵列,一般选择RGB矩阵。人的视觉是三色的,这意味着它主要对三组波长的光敏感,这三组光的波长与红色,绿色和蓝色非常接近。利用这些波长之间的重叠,我们的大脑能够解释“颜色”(实际上并不实际存在),以及我们能够看到的棒所吸收的光信息。而采用图像传感器的相机旨在紧密模仿我们的三色视觉系统。

  RGGB传感器——标准的拜耳阵列传感器

  RGGB过滤器,属于拜耳过滤器的一种,这是覆盖在图像传感器顶部的彩色滤光片阵列,并以发明它的布莱斯·拜耳命名。数十年来,拜耳传感器一直是智能手机中设置的标准传感器。

  拜耳传感器使用一种简单的策略:在每个光敏站点处捕获红色,绿色和蓝色的交替色,并且这样做的方式是,记录的绿色光敏站点是其他两种颜色之一的两倍。然后,使用称为“去马赛克”(也称为" debayer")的过程,智能地组合这些photosite以产生全彩色像素。

  当紫外线和红外线被其他滤光片滤除,进入图像传感器的光变窄到可见光谱,拜耳滤光片便开始工作。

  拜耳过滤器在每个像素的顶部覆盖一种彩色染料。因此,在2x2像素的网格中,将有一个红色像素,一个蓝色像素和两个绿色像素。(RGGB,即为红绿绿蓝)

  拜耳滤镜在图像传感器的2x2像素网格上放置一种红色,一种蓝色和两个绿色的透镜。这意味着穿过阵列的可见光被相应的颜色滤除。红色镜头下面的像素仍将获得黑白图像,但红色被滤除。这将导致帧中的所有红色物体对于该像素显得更亮,因为该信息被取出。蓝色和绿色像素也一样。

  由于滤镜的存在,每个像素的发光度水平有所不同。为了产生实际的颜色,我们需要一个称为去马赛克或去拜耳处理的过程。摄像机制造商通常专有的复杂算法有助于解释不同的颜色值。它查看像素以及周围像素捕获的信息,并确定要分配给该像素的颜色值。该算法的好坏决定了最终图像中颜色的准确性。

  顺便说一句,来自传感器的原始数字图像始终是黑白的。当我们在诸如Adobe Photoshop之类的照片编辑器中打开原始文件时,该应用程序正在使用其自己的去马赛克算法来生成颜色,这就是为什么不同的应用程序将为原始文件生成略有不同的颜色的原因。

  一旦去马赛克完成,就可以准备图像进行进一步处理,在其中进行诸如曝光,对比度,高光,阴影,白平衡,噪声和清晰度之类的调整,以生成最终图像。

  回到过滤器,Bayer过滤器选择使用RGGB阵列。如前所述,它与我们的眼睛如何工作最接近。至于为什么有两个绿色像素,是因为绿色位于人类可见光谱的中间,而我们的眼睛对此最敏感。绿色通道也可以用作亮度,您会注意到调整图像中的绿色水平不仅会影响颜色,还会影响图像的整体亮度。

  从名称可以看出,Bayer滤镜是filter,因此它会去除一些光。最重要的是,由于传感器上只有一半的像素发绿光,而四分之一的像素发红光和蓝光,因此您也永远无法获得高传感器分辨率。为此还设计了一种具有更高透光率的CYYM传感器,以替代拜耳过滤器,从理论上讲,在相同数量的像素下CYYM传感器可以产生更高的分辨率。但事实证明,要从CYYM传感器中获得自然外观的图像并不容易,并且它需要比RGGB更复杂的去马赛克算法。因此,它并不太流行,并且带有全CYYM传感器的相机仍然很少见,在最近的几年中都没有制造。

  RYYB——华为超光谱传感器

  2019年,华为Pro 30 Pro首次推出了全新的传感器设计。代替我们通常在摄像机传感器上看到的红色,绿色,绿色,蓝色(RGGB)拜耳模式滤镜阵列,它使用了红色,黄色,黄色,蓝色(RYYB)滤镜模式。

  切换一种颜色听起来并没有太大的区别,但从根本上改变了相机的工作方式。在加法过程中,将所有三种颜色混合以获得白色,因此,混合得越多,颜色就越亮。光线击中传感器,分为红色,绿色和蓝色。显示器也使用RGB调色板,因为它们会发光,并且由于人眼观察颜色的方式非常相似,因此通过ISP,DSP和软件进行的处理非常简单且不复杂。

  但是用黄色而不是绿色,我们有一个完全不同的过程,因为这三种颜色的混合会导致黑色。因此,要获得所需的颜色,我们必须使用减法。我们已经从打印中知道了这是如何工作的,在打印中我们使用了青蓝色,品红色和黄色作为原色(黑色作为多余的颜色被排除在外)。在这里,颜色是通过吸收或减去相反的颜色来再现的。对于相机中的使用,此过程没有任何意义,而且非常不切实际。

  华为P30 Pro结合了这两种方法,因此其功能有所不同。颜色仅分为红色和蓝色。黄色仅聚焦于光或亮度。因此,接收器接收到具有“红色减去黄色”和“蓝色减去黄色”的图像。如果再次添加黄色,则当然会再次变为红色和蓝色,但是通过这种颜色组合获得绿色非常复杂,并且图像中未对准的可能性增加了大约两倍。为了正确显示图像,它可能与多个伽玛校正,加法和减法之类的过程混合在一起。

  工程师使用了熟悉的红色和蓝色通道,但用两个黄色通道替换了两个绿色。至少从理论上讲,这使传感器能够比绿色滤光片捕获更多的光。因为黄色滤光片可以透射更宽的光谱。除黄色外,一些绿色和红色的光也会通过感光体。实际上,黄色滤光片透射约40%或更多的光。RYYB传感器使相机具有更好的弱光性能。实际上,在非常低的光照条件下的结果是惊人的。

  当然,RYYB滤光也存在去马赛克的问题,但是随着该领域的改进以及使用分析图像内容的人工智能的使用,现在即使没有专用的绿色通道也可以正确确定颜色。

  RGBW图像传感器会是未来的王者吗?

  RGBW,指包括高灵敏度W像素的红绿蓝白(RGBW)滤色器阵列。

  为什么要引入W区域呢?

  为实现对低光照的高感。RGBW通过W区域来提供一个独立的灰度感应区域,而不是像RGB一样通过color sensor来提供灰度。这样,在低光照环境下,就可以既保证色彩饱和度的正确,也能实现对灰度的准确感知。说的通俗一点,也就是可以实现更加精准的低光白平衡。白平衡的实现算法有很多,各有优缺点,但是都不能解决低光照下的灰度问题,因为普通的RGB本身的CFA没办法提供正确的input,而RGBW 却可以提供。

  RGBW优点明显,缺点也明显。由于具有比拜耳传感器更多的颜色成分,RGBW传感器分辨率更低。但算法可以让RGBW传感器很好地工作。

  RGBW并不是一个新鲜的东西。

  最早研究RGBW的应该是柯达,且在2007年就获得了RGBW专利,传闻还研发了一种RGBW传感器,但至今市场上仍没看到。

  让更多人知道RGBW的应该是索尼。2012年,索尼宣布了新的图像传感器产品线——RGBW传感器,且表示很可能将用于数十种智能手机型号中。索尼RGBW传感器的改进不是在百万像素(或多或少)达到上限的情况下,而是在构成图像中像素的光敏阱的实际布局中。除了常见的红色,绿色和蓝色过滤像素外,新传感器还具有未过滤像素元件(即W),可以接受任何波长的光。它不能用于确定颜色,但会同时增加传感器的灵敏度和亮度。理论上,RGBW比从RGB元素获取平均值要准确得多,并且应该可以使低光摄影效果更好。但当时由于“图像质量问题”,索尼又恢复了经典的RGB设计。

  鉴于先前的尝试失败,如今市场上有一个强烈的先入之见,即RGBW不能很好地工作。

  对此,Image Algorithmics曾公布一RGBW图像算法以证明RGBW传感器可以很好地工作。该算法在0.8u,1.0u,1.12u和2.8u RGBW传感器上测试。测试结果显示,在弱光下,RGBW比Bayer具有6dB +的SNR优势,在亮光、拍摄噪声受限的条件下,RGBW比Bayer有3dB以上的SNR优势。RGBW还具有6dB的动态范围优势。

  而2016年公开的佳能RGBW传感器专利,也一定程度上展现出RGBW传感器的优势,尽管这只是个设计。

  从该专利中可发现, RGGB用了两倍的绿色,且位于眼睛最敏感的光谱中间。这样一来,总的效果就达到了40%左右。请记住,滤色镜会吸收光谱中他们不敏感的部分,导致R和B的每像素灵敏度为30%,G为50%。

  理论上,RGBW确保了一个像素(W像素)得到所有的信息,没有过滤器,因此这个像素有100%,导致52.5%的灵敏度。但佳能RGBW传感器的白区(W区)更多,为WWWG(RB),平均色彩灵敏度为85%。因此,这种传感器在设计上比拜耳矩阵传感器的灵敏度高一倍以上(不考虑量子效能和背面照明)。此外,这种传感器将以色彩信息为代价获得更准确的亮度信息--这与人眼相似。

  如今市场上RGBW传感器并不是最流行的,尽管它早已顺利商用。2015年发布的华为P8使用的就是索尼制造的RGBW传感器,更早前的摩托罗拉手机上也使用过。但RGBW出现了几乎十年,也没有成为主流和技术,一方面是因为我们其实可以用很多其他的方法来实现HDR比如说不同曝光时间连续拍多张再合成,或者使用相同曝光不同gain来合成,这取代了RGBW传感器一次性拍摄的优势;另一方面,RGBW传感器必须配有独立而特殊的ISP系统,它与传统RGB是不兼容的,这提高了RGBW传感器的使用门槛。

  从本质上来讲,RGBW是当前捕获光量最多的方法,因此前景是光明的。未来随着算法的发展,以及在相机市场的巨大驱动下,RGBW传感器将不断被改良,并大举抢占图像传感器市场。正如此次vivo开发的RBGW摄像头传感器,必将会随着vivo智能手机在全球扩张开来。

您觉得本篇内容如何
评分

相关产品

EMX Industries LEX-1000 颜色传感器

LEX-1000色光测量传感器测量各种光源和被照明物体的相对颜色特性。色光测量传感器是完美的解决方案:,LEX-1000色光测量传感器分析光的组成RGB(红,绿,蓝)值。如果所有三种颜色的读数都在预先编程的参数范围内,传感器会发出一个离散信号,指示颜色匹配。’

Osram Opto Semiconductor 欧司朗 MTCSiCS 颜色传感器

基于标准光谱值函数CIE 1931(DIN ISO 13655和DIN 5033)的MTCS真彩色传感器,使我们能够按照三量程法测量颜色。

SICK 西克 Surface Color Sensors 颜色传感器

颜色传感器检测表面的颜色。传感器将光线(红色、绿色和蓝色发光二极管)投射到待测物体上,根据反射的辐射计算色度坐标,并将其与先前存储的参考颜色进行比较。如果颜色值在设定的公差范围内,则会激活开关输出。’

Vishay 威世 VEML6040A3OG 颜色传感器

RGBW颜色传感器I2C接口

CS-D3 颜色传感器

真正的RGB LED与光纤颜色检测传感器,利用序列光谱调制。特点:

KEYENCE 基恩士 CZ-H32 颜色传感器

基因斯RGB数字传感器:CZ系列,CZ系列是基恩的彩色传感器系列。它们可以用于需要颜色区分的各种应用。CZ系列传感器设置简单,检测可靠。特点包括:可调光束光斑、荧光检测和光泽检测或消除

Micro-Epsilon 米铱 CFO100 颜色传感器

CFO100是一种用于工业测量任务的精确颜色识别的新型传感器。该控制器的特点是高色彩精度,先进的接口和直观的操作。光纤可以适应各种测量任务,连接到控制器。部分从目标处向后散射的光通过同样的光纤被定向到一个感知的真颜色探测器上,分离成长、中、短波光组件(X=长、Y=中、Z=短),并转换成L*a*b*颜色值。直观的关键操作,使用户可以轻松地在6个颜色组多达256种颜色。一个单独的功能,适应照明,平均和信号放大,以当前的测量情况。此外,公差模型和公差值可以单独调整。如果传感器识别其中一种教过的颜色,开关状态通过三个数字输出改变。二进制输出开关提供电缆断线保护,并使输出多达6个颜色组。配备光纤,传感器也可以使用在限制的区域,因为传感器头需要最小的空间。

Kingbright APS5130PD7C-P22 颜色传感器

3.2X1.6MM RGB颜色传感器

评论

您需要登录才可以回复|注册

提交评论

枭枭

集成电路设计行业资深记者,传感器专家网专栏编辑。

关注

点击进入下一篇

城市技术公司——匠心成就安全

提取码
复制提取码
点击跳转至百度网盘