01 什么是Sensor的坏点

a 坏点是什么

坏点指的是无法正常反映光强的点。

网上找了个示意图。

如下图所示，可以看到放大的地方出现了一个异常的亮点（图源网络）。

一般常见的坏点，可以从表现形式上分成下面几种。

·  死像素（Dead Pixel）：像素点输出的光强始终为接近0的值（黑色点）。

·  热像素（Hot Pixel）：始终输出很高的值（白色/彩色亮点）。

·  卡住像素（Stuck Pixel，找不到更好的方法翻译，总不能音译成斯塔克像素吧）：始终输出某个不随光线变化的中间值（固定为某个色点）。

虽然对于几百几千万像素的传感器来说，几百几千个坏点的影响很小。但是为了追求更高的画质和表现效果，就需要对这些坏点进行校正。

而坏点校正的目的，就是消除这些坏点对成像带来的影响（图源网络）：

b 坏点的分类和产生原因

一般来说，像素坏点产生的直接原因是传感器上的某些像素单元（PD+读出电路）无法正常工作而产生的。

这种情况一般是由于传感器制造工艺的固有缺陷，或是长时间使用/温度抬升导致的，是一种难以避免的缺陷，只能后天进行校正。

如果从成因上来说，坏点又可以分成两种：

• 静态坏点：这种坏点是固定存在的，常由于传感器芯片制造缺陷导致。在出厂标定时，可以确定坏点的位置和数量并生成缺陷坐标表（Defect Map）。

• 动态坏点：随着环境变化（高温、高增益等）或长时间使用后老化出现，其数量和位置均不固定。

02 坏点的识别和校正

既然知道了坏点对成像质量的影响，我们就来简单讲讲怎么降低坏点的影响。

一般来说，需要从最终的图像中去除坏点，就需要精确地知道坏点所在的位置，才能够“对症下药”。

因此，识别方法和校正方法一样重要。

a 静态坏点和缺陷坐标表

在上文中，我们讲过静态坏点会在出场标定时被识别并记录下来，记录这些坏点的坐标（位置）和类型的表格，就叫做缺陷坐标表（Defect Map）。

一般来说，这个坐标表会被存储在传感器的OTP区域（One-Time Programmable，单次编程区域，熟悉存储相关的应该了解这是只能1变0不能0变1的区域……），或存储在相机传感器的固件/内部存储器中。

例如索尼的IMX-477的Datasheet中，就明确说明了静态坏点的校正数据会存在OTP中一块专门存放出厂数据的区域：

在校正的时候，只需要读取这块表格，就可以得到这些出厂时的静态坏点的信息，进而可以做进一步的校正。

b 动态坏点的识别

上文中我们讲到，动态坏点的特点是位置类型均不固定，因此需要在拍摄后对这些坏点进行检测。

事实上，一些没有存储区的传感器没办法存储Defect Map。

这种情况下，也会把静态坏点当成动态坏点一起进行处理。

一般来说，对成像的影响比较明显的坏点都有一个特点：和周围的像素有比较大的差距，如下图所示。

从结果论来说，如果读取出来的坏点颜色和周围的颜色差异不大，那对这次读取而言这个坏点也没有太多校正的必要。

因此，在检测坏点的时候，一种比较常用的方法是，将像素点和周围的同色区域进行比较，如果该点出现显著的颜色偏离，则判定为坏点。

要注意的是，我们讨论的是刚经过Bayer Filter的RAW图像，因此比较时是按照颜色通道进行比较的。

例如下图所示，中心的绿色像素会与周围的同色（绿色）像素进行对比（实际上可能会比较更多，而不局限于图中的四个点）。

事实上，还有其他的坏点判断方法。

但是结合效率和算法，这种检测阈值的方式是最常见的。

不过，对于图像的高频区域（细节变化较快的区域）来说，这种校正方式实际上也是一种挑战。

c 坏点校正的常用方法

说完了识别，我们就可以来说校正了。

不论是校正动态坏点还是静态坏点，原理都是一样的，都是从周围的同色域像素中无中生有地推断出缺失像素的值。

实际上校正的原理也和插值算法差不多。

不过，这里处理的是RAW Data，所以插值时使用的是周围同色域的像素值进行插值计算。

一般来说，校正和检测用的数据区域接近或更大一些。

例如上面的图中，如果想重建中间白色边框绿色像素的区域，可以从周围的四个绿色像素点进行加权平均。

而对于丢失像素更多的情况，就可以采用周围更大面积的像素信息进行重建。例如下图，就是在9x6的窗口中，采用周围的10个蓝色像素点来计算缺少的蓝色像素点的颜色信息（事实上这个更像插值的计算，不过原理其实也很接近）：

不过还是那句话，不论是识别还是校正，都要注意识别精度和图像高频细节的平衡。

当然，拍摄时保留RAW数据，再根据数据自己按照需求进行后期校正，也是一种方法。

03 总结

坏点产生不可避，只能将影响降低。

热点死点卡住点，光照信息不还原。

静态坏点不会变，记下处理就方便。

动态坏点不固定，同色比较来识别。

确定位置再校准，周围像素算平均。

校准识别要注意，画质处理要平衡。

直出效果不满意，RAW提取来后期。