01 从Bayer Filter到图片

数码相机中的图像传感器实际上是分区域记录RGB三种颜色的光强，然后通过对这些数据进行整合，得到完整的图像。

我们就来详细讲讲这个过程。

a 传感器的Bayer Filter

在上文中，我们说了图像传感器会分区域计算RGB三种颜色的光强信息，最后根据每个小区域的位置和信息整理出最后的图像。

那么，这个RGB区域是怎么排列的呢？

这就要说一下柯达公司的布赖斯·拜尔。使用单个传感器记录三种颜色的信息，就是他提出的方案。

如图所示，在图像传感器前面设置一个滤光层，如图所示：

这个滤光层上，布满了和下面传感器像素一一对应的滤光点，保证每个像素都只能接受到单一颜色的光强信息：

而从上图中我们可以看出，不同颜色的滤光点是按照一定的规律排列的。每个绿点的四周，分布着2个红点、2个蓝点、4个绿点——这是由于人眼对绿色比较敏感，因此绿色的传感器比较多。

事实上在很多地方都有用到这个知识点，例如颜色空间RGB565，用两个Byte表示RGB三种颜色的情况下，把多余的1Bit给了绿色…

这种排列方式，我们叫Bayer Pattern（拜耳模式）或Bayer Filters（拜耳滤光法）

b 去马赛克Demosaicing

按照上文的说法，每个像素只可能有四种颜色，红绿蓝黑（光强为0）。

那么，我们就需要从每个像素和它周围的颜色点的分布规律和光强来还原光线原本的颜色。

举个例子，黄光由红光和绿光混合而成。黄光通过滤光层以后，红点和绿点下面的像素都会有值，但是蓝点下面的像素没有值。

因此，如果一个像素周围的颜色分布有红色和绿色，但是没有蓝色，那么就可以推测出来这个像素点的本来颜色应该是黄色。

这种计算颜色的方法，就叫做去马赛克（Demosaic）

如下图的3和4，3就是处理前的效果，4就是去马赛克后生成的图像。

c 传感器的RAW输出

在上文中，经过去马赛克算法的调整后，就得到了我们想要的图片。

不过，有些时候我们会需要通过其他方法对传感器数据进行加工调整，这种时候就需要保存传感器的原始数据。这一过程我们称之为传感器的RAW输出。

02 多合一传感器的那些事

很多手机在宣传的时候 ，都会宣称自己有XXXX像素，甚至XX亿像素。

但是实际拍摄的时候就会发现，如果不进行专门的设置（例如进入高清模式等），实际拍摄的照片就没有宣传的那么大的像素。

这就要说说这里的“幕后黑手”——多合一传感器了。

a 何为多合一传感器

多合一的“多”，一般指4合1（4 Cell 1）或9合一（9 Cell 1）。

为了方便讲解，我们接下来会以4 Cell 1的传感器作为例子。

从实现上来说，就是相邻的4个或9个像素，组成一个像素组接收同一种颜色；每个像素组在按照前文中提到的Bayer Filter排列，如下图所示：

b 暗光或快拍下的Binning Mode

弱光情况下，四合一传感器会以Binning Mode进行工作。

在上图2中，我们可以看到，每个像素组包含4个像素（2×2）。

在Binning Mode下，每个像素组的4个像素点的光强取平均值，作为这个像素组的光强值。

这样，我们就以缩小分辨率作为代价，得到了弱光成像效果更好，单位像素面积更大的传感器。

从上图我们可以看到。对于四合一传感器而言：

Binning Mode时，长宽各缩小一倍，总像素数变为原有的1/4，（等效）单位像素面积变为原来的4倍。

单位像素面积下一篇文章会讲，这里先记住一般单位像素面积越大的传感器，暗光拍摄效果越好。

事实上，这种技术有如下的应用：

改善在低光环境拍摄表现

降低图像数据量以获得更高帧率

减小图像输出分辨率需求以节省处理资源

c 正常光下或高像素的Remosaic算法
在正常光线下，一般不需要这么大的单位像素面积时，可以使用Remosaic算法，将4合1排布的像素组的光强信息转换成Bayer Filter排布的光强信息，以此实现最大像素输出。

但是，由于这种情况下的图像是经过软件算法得到的，因此这时候的成像效果相对于同样规格的非多合一传感器模组会差一些。

d 小结

总之，多合一传感器的特点是：

暗光下牺牲分辨率，换来更大的等效单位像素面积、更好的成像效果。

强光下牺牲一定的成像效果，输出高分辨率照片。

03 总结

简单总结一下。

Bayer Filter排布（RAW格式）的数据，可以通过Demosaic算法转换成RGB的图片。

四合一芯片可以在暗光下使用Binning Mode合并成像，也可以在亮光下通过Remosaic转换成高分辨率图像。