影像从业者想要开发一款优秀的影像ISP产品，必须深入理解成像的整个流程，因为在整个成像系统中每个算法都是相互影响、相互作用的，各算法间需要相互配合，才能实现优秀的ISP算法链路。

    数码相机拥有成熟的全链路ISP流程，我们可以通过使用相机拍摄出一张自己满意的照片，来理解ISP算法中各个模块的作用。此外还可以通过相机拍摄的RAW图片，进行自己的ISP算法链路设计。数码相机的设计灵感直接来源于人眼的成像原理，我们从人类视觉开始介绍。

人类视觉与数码相机

    人们通过眼睛观察物体，具体有如下过程，首先物体反射的光线通过角膜（屈光作用，使光线精准聚焦到视网膜上）和瞳孔（调节进光量），经晶状体聚焦到视网膜。视网膜中的视杆细胞（暗视觉）和视锥细胞（明视觉/色觉）将光信号转化为电信号，通过视神经传递至大脑，形成视觉。

    这里借助一个单反相机的剖面图，介绍一下数码相机的结构：

镜片组：通过调整相机焦距，改变视野范围。

光圈：通过调整镜头孔径大小，控制景深、镜头成像质素、以及和快门协同控制进光量。

反光镜：将光路改变，反射到取景器中，使操作者能够正确地取景。

五棱镜：其作用是将对焦屏上左右颠倒的图像矫正过来，使取景看到的图像与直接看到的景物方位完全一致。

取景器：即数码摄像机上通过目镜来监视图像的部分。

快门：即照相机用来控制感光片有效曝光时间的机构，由机械快门、电子快门两种。

图像传感器：利用光电器件的光电转换功能，将光线转换成可用的电信号的一种功能器件。

什么是曝光（Exposure）？

    光线通过瞳孔进入眼球，在视网膜上成像，这就是一种曝光的过程。

对于数码相机中的曝光可以简述为，按下拍照按钮，快门打开，过时间再关上，在这段时间内，光线从镜头进入摄像机，照在感光器件上，感光器件上的感光像素记录照射到它上面的光，形成了一张照片的过程。

如何评价曝光？

    从图片的整体角度来说，如果一张照片拍摄的主体，是暗的就称之为欠曝。如果太亮则称之为过曝。

但是这些描述都是基于主观评测的，由于人与人之间的感受存在差异，对于某些临界状态的照片的曝光分析可能并不那么统一，那么这时候就出现了直方图，我们可以通过直方图来评测一张图片的曝光程度。

 直方图是通过图形化数据帮助摄影师判断照片曝光和色彩分布的重要工具。X轴表示亮度或颜色值，从左到右覆盖所有可能的明暗层次。Y轴表示像素数量，即某一亮度或颜色值在画面中出现的频率。常见的直方图有RGB颜色直方图和灰度直方图两种类型。

    灰度直方图就是把图像的灰度信息从黑到白排成一条数轴，然后统计每个亮度上有多少像素，用高低不同的柱子画出来，一眼就能看出一张照片是偏亮、偏暗，还是适中。

    灰度直方图

RGB颜色直方图

如何调节曝光？

 相机通过光圈、快门、ISO三要素控制曝光，是一种仿生学设计，这里我们从人类视觉感知的角度出发介绍，试想在一个昏暗的房间突然打开灯，我们的眼睛会经历瞳孔快速收缩减少进光量、视锥细胞激活从暗视觉切换到明视觉的一个过程。

相机在拍摄的过程中需要通过调整三要素来实现曝光的精准控制，快门也称为曝光时间。快门控制确实类似于人眼和瞳孔对光线的动态调节机制，但人眼的调节是连续生理过程，而快门是离散的通过机械或电子开关精确控制光线进入传感器的时间，在拍摄运动

物体时如果快门设置的过慢会导致拍摄的主体不清晰。

光圈的控制，类似于人类视觉中通过瞳孔缩放调节进光量的大小，相机通过控制光圈的大小决定单位时间入射的光量。大光圈拍摄的照片单位时间通光量大，但是大光圈的景深浅，只有在物方焦距前后一小段范围内的物体可以成清晰像，其它位置成像都是模糊的；小光圈拍摄的照片景深大，物方焦距前后较大范围内均可成清晰像，但是单位时间通光量小。

 ISO也称为感光度，类似于人眼在明暗场景切换时视杆和视锥细胞之间的切换，数码相机通过改变放大器的增益实现感光度的调整，增益越高，感光度越高。ISO越大sensor对光的敏感程度就越高，前面我们学习过sensor的噪声类型来源，知道sensor本身会有一定的光子噪声，通过加大ISO提升图像整体亮度，这种方式敏感程度的增加，也会放大噪声，导致成像质量变差。

为什么需要自动曝光？

自动曝光存在的意义就在于它简化了普通用户拍摄的难度。另一方面，对于视频拍摄，例如监控摄像、无人驾驶感知、航拍摄影等，用户需要拍摄一段时间内的连续影像。这段时间内，拍摄场景的距离、光照、色温等都可能发生变化。这时可能不等手动调节摄像机参数完成，感兴趣的目标就已经消失了。

自动曝光可以分为亮度获取、亮度分析、曝光参数调节三个步骤。

1、亮度获取

    即提取亮度信息，对于bayer图像传感器为了获得亮度通道，需要经过色彩空间转换将RGB颜色空间的信号转化为YUV 色彩空间，即可获取了每个像素的亮度。

2、亮度分析

    即测光，是ISP自动曝光算法的核心，需要对图像的整体亮度情况进行分析，判断其是否过曝或欠曝，才能给出正确的调整策略。这也是各厂商算法间差异最大的地方。此外对于不同精度的图像传感器使用的评测深度也不同，例如8位精度使用的是255级直方图，10位则使用的是1023级直方图。

    测光的方法有如下三种，评价测光模式、中央重点平均测光模式、点测光模式

    评价测光模式，是对于整个画面进行测光，就是把画面内所有的反射光都混合起来进行评价。这个方法的好处是可以轻易获得均衡的画面，不会出现局部的高光过曝，整个画面的直方图均衡。

    中央重点平均测光，是指以中央为重点，其他部位为次要的模式来曝光。这样可以确保在拍摄人像时将人物作为测光主体，无论在任何光线条件下，都将会得到人物的正确曝光。

    点测光，是指对一个点进行测光，该点通常和对焦点在同一个位置（一个非常小的区域），这种方法的好处是可以根据拍摄者的喜好，对某一个拍摄者认为正确的点，或者是被拍摄主体进行正确测光，而不会被附近的其他光线干扰了测光。

 在测光中，图像往往被分为多个区域，这种划分方法是为了使自动曝光适用于风景照、人物照等不同类型的照片，不同类型的照片所需要的曝光重点不一样。在测光统计的过程中，根据各厂商的AE算法策略，统计每一个区域光通量的平均值、方差、最小值以及最大值等信息，分析出当前的曝光情况。

3、曝光参数调节

   得到了当前图像的曝光评价，就可以通过调节曝光三要素光圈、快门、ISO来实现曝光调节。但是在实际应用的时候，不同的场景有不同的调整策略，数码相机拥有简化曝光控制的半自动模式、全自动模式、以及手动模式三种，其中半自动模式。

光圈优先模式：当对运动模糊要求较高时，通常选择光圈优先方式，即优先调节光圈，然后调节曝光时间，最后调节感光度。

快门优先模式：当对景深要求高时，通常选择快门优先方式，即优先调节曝光时间，然后调节光圈，最后调节感光度。

全自动模式：主要用于新手快速拍摄或者突发瞬间抓拍。

手动模式：需要用户自己控制曝光三要素。

   数码摄像机执行自动曝光的目标就是为了使得曝光后的图像灰度接近中间灰度，实现理想视觉亮度。虽然在摄像机参数调节策略上，有多种调整方法，但是自动曝光一般不会优先调节感光度ISO，因为增大它，将带来噪声。

  不同的应用场景需要设置不同的AecRoute： 针对白天场景，一般要求限制曝光时间、优先调节增益，防止曝光时间过大造成的运动拖影；针对夜间场景，一般要求优先调节曝光时间，再调节曝光增益，以求提高画面信噪比，提升夜间亮度。

拓展

某大厂AE模块策略：

    AE模块主要由测光统计模块和AE控制算法模块两部分构成。

 测光统计模块为AE控制算法模块输入亮度统计信息，亮度统计信息包括直方图统计信息和分块平均亮度统计信息。统计信息主要包含以下几个部分：

1、基于raw图的256段带权重直方图统计信息。

2、基于raw图的分块R/G/B/Y 均值统计信息。

3、基于gamma前RGB图的32段带权重直方图统计信息。

4、基于gamma前RGB图的分块R/G/B/Y 均值统计信息。

    AE控制算法模块根据输入的亮度统计信息值，与目标亮度进行比较，计算新曝光量，最后自动分配 sensor曝光时间、曝光增益及镜头光圈值，以获得合适亮度的图像。