图像质量调谐的基本原理

文章作者:Nazneen A, PathPartner Technology

智能连接设备的世界是动态的，并开发更复杂的产品，以增强我们的安全性、便利性和娱乐性。从监控到汽车安全系统，从移动设备到无人驾驶飞机，智能图像处理和深度学习都是根本性的挑战。新一代智能设备丰富了人工智能，这将提升嵌入式成像解决方案，因为它们是许多物联网(IoT)应用成功的关键。

什么是图像质量?

高质量的图像并不意味着具有高对比度的清晰、明亮的图像。图像质量(IQ)是一个非常重要的问题，它不仅仅包括亮度和清晰度。有几个因素对相机提供的图像质量有重要影响。当相机从传感器接收光线并将其转换成好看的图片时，需要进行大量的计算和处理。幸运的是，随着专用图像信号处理器(isp)的使用，数码相机和智能手机正在以一种节能的方式处理这一问题。

为什么我们需要摄像机智商调优?

相机必须能够在各种照明条件下拍摄高质量的图像，包括室内、强烈的阳光和黑暗。在昏暗的光线下，视频素材和图像很容易失去颜色、关键细节和图像噪声。许多元素组成了一个完整的相机系统，并共同工作以获得最终的图像。图像质量定义了摄像机系统在再现物体/场景时的表现。相机系统的各种特性，如传感器、固件和镜头，对图像的整体质量有不同的影响。

我们需要IQ调优，以实现最好的图像/视频质量从相机系统，因为有:

• 镜头失真，传感器缺陷，噪音，颜色响应
• 机械、光学系统和电气特性的变化
• 测量标准包括自动曝光(AE)与亮度和饱和度统计，自动对焦(AF)与对比度统计，自动白平衡(AWB)与色彩统计
• 主观性取决于个人对图像质量的偏好

未经处理的图像不能准确地描绘真实的场景。这是一个ISP的工作开始获得最高的图像质量可能。

什么是图像信号处理?

在每个相机系统中，镜头模块与图像传感器和ISP配对。

• 摄像机系统中的ISP将原始图像从图像传感器处理成最终图像。
• 为了获得最佳的图像质量，ISP参数必须根据不同的光照条件和场景进行迭代配置。
• 由于必须优化大量ISP参数，调优过程可能需要花费数周甚至数月的时间。

图1:典型的数码相机ISP管道。(来源:PathPartner)

使用“拜耳变换”获得丰富多彩的图像

拜耳滤光片，或称彩色滤光片阵列(CFA)，作为显示器，允许特定颜色的光子进入传感器上的每个像素。这些传感器在每个照片点捕捉红、绿、蓝三种颜色。

只有蓝色的光子可以通过蓝色的过滤器，同样，只有红色和绿色的光子可以通过红色和绿色的过滤器。

然后，这些照片站点的值被智能地合并，使用一种称为“demosaicing”的技术创建全彩像素，然后使用ISP管道方法进一步处理以获得高质量。

图2:将光信息转换为经过ISP处理的图像。(来源:PathPartner)

因此，在图像传感器的帮助下，通过光学透镜接收的光被转换成电子形式。这个信息被定向到一个ISP，在那里它被重建成一幅图像。即使在光线不适合拍照的情况下，ISP也在改善图像质量方面发挥了奇效。

什么是成像算法?

成像算法是一套定制的算法，为不同的用例开发，以增强不同条件下的图像和实时;如:

• 3A算法(AWB, AF, AE)
• 低光照增强
• 高动态范围(HDR)算法
• 软件映像管道
• 立体相机视觉算法
• 阵列相机软件管道的散景和重新聚焦的应用
• 深度地图生成的ToF相机传感器
• 空间和时间噪声去除
• 基于多帧和单帧的超分辨率
• 电子稳像

一组3算法(自动曝光、自动平衡和自动对焦)控制相机曝光、白平衡和对焦。

图3:未调优vs调优自动白平衡(AWB)的例子(来源:PathPartner)

低l锁定宽和高enhancement- - - - - -在极低光照条件下提高图像质量:

• 自动颜色增强
• 传感器独立实现
• 支持Bayer和YUV格式
• 二维降噪，无细节损失

图4:没有弱光增强(L)和有弱光增强(R)(来源:PathPartner)

高动态范围(HDR)图像/视频-解决低成本相机常见的动态范围问题。它改进了像素，使观看者看到更真实的图像/视频。

• 图像配准和去重影算法
• 易于移植到定制的硬件解决方案与摄像机驱动程序访问和HAL
• 有效的多曝光图像融合方法保留了每个图像的最佳信息

图5:表示从暗值到亮值的巨大亮度变化。(来源:PathPartner)

对监控摄像系统进行图像质量调整

该相机在日夜模式下以非常高的速度捕捉移动车辆的图像和不同帧率的能力直接影响图像质量。为了获得最佳的图像质量，图像管道必须通过配置每个ISP块来进行微调，以适当地响应动态光照情况，确保摄像机在所有光照条件下生成可接受的图像/视频。

对于本例，关键需求可能包括:

• 捕捉高质量的图像在白天模式与各种照明条件，从充分的太阳到阴天
• 在夜间照明条件下捕捉高质量的图像，被摄体被集成红外LED照明器照亮
• 在5mp的全传感器分辨率下，帧速率>(更大)为25帧/秒

逐步调优ISP的每个块的过程对于避免不必要的迭代非常重要。这主要是因为如果ISP中的一个块没有正确地校准或调优，随后的块就会受到影响，并最终产生糟糕的图像质量。通过分析基于规范的硬件能力和限制，调优过程如下:

• 3一个调优
• 物象质量调谐
• 主观的评价
• 图像质量评估和竞争基准

对于昼模式和夜模式设置，需要对如下图所示的每个ISP块进行IQ调优:

图6:白天模式设置。(来源:PathPartner)

图7 -夜间模式设置(来源:PathPartner)

客观的测量

调优过程包括计算相机的不同参数(例如:暗电流、传感器RGB颜色空间、噪声模型、AWB参考值、失真模型等)，得出ISP和3A模块的初始设置。这些相机参数是从在特定的和受控的照明条件下拍摄的标准测试图表的图像中计算出来的。

捕捉这些图像通常需要一个实验室设置一个统一的光源，测试图表和测量设备，如lux计和色度计。要捕获的图像数量通常取决于根据lux水平/曝光时间/传感器增益/色温为每个ISP块创建的动态区域配置。

主观的评价

一旦初始调优完成，大多数客观质量要求通常会得到满足，但要进行主观图像质量评估，以进一步进行微调，以产生首选结果。微调包括以下步骤:

• 捕捉和分析现实生活中的场景，以发现任何质量问题和质量期望的差距。
• 修改ISP和3A参数以解决任何质量问题，并适应偏好或添加校准数据来处理特定的场景类型。

这个过程在几个迭代中进行，以验证修复并确保没有引入新的工件，确保满足IQ偏好。

在整定过程中对图像质量的测量是决定ISP参数优化程度的重要因素。智商测试分两个阶段进行:

客观的智商测试

初始调优后，进行客观IQ测试，测量kpi，在成像实验室模拟不同照明条件下拍摄X-rite MCC、ISO、eSFR等标准测试图表图像，范围从2000K到7500K, 1lux到10000lux。测试用例和IQ通过/失败标准与摄像机的预期用例一致。

主观的智商测试:

通常进行各种场景，如一天中不同时间的室内、室外、景观、高动态范围场景、低光、混合照明条件等。捕获的图像可能被用于基于计算机视觉的应用程序，以自动检测车辆的车牌、类型和颜色。

对各种因素进行分析并固定如下因素:

• 自然colorfulness
• 噪音等级和纹理细节(混叠，moiré模式，锐化工件，文档中的文本质量，等等)
• 自动白平衡(AWB)决定(不同时间的一天，黄昏和夜晚)
• 亮度(AE)和色调范围
• 号码牌的清晰度和分辨率

智商基准测试

这个过程涉及比较和基准测试中调谐设备的图像质量与其他标准消费设备。对客观和主观标准的IQ基准测试有助于改善和使被测设备的图像质量与标准消费产品具有显著的可比性。

结论

对于特定的摄像机系统来说，图像管道的调优是一项复杂的任务。许多伪影会降低图像的质量。为了解决这些伪影，相机必须嵌入生成高质量数字图像所需的图像信号处理过程。因此，理解每个ISP块的目的以及如何针对特定的用例优化管道的每个阶段是很重要的。

这篇文章最初发表于嵌入式．

Nazneen一是PathPartner Technology pv . Ltd.的高级营销主管，专注于相机和成像、嵌入式人工智能和物联网，对最新技术的写作充满热情。