一种基于频域和空域双域感知的低光图像增强方法

本发明属于图像增强，具体涉及基于频域和空域双域感知的低光图像增强方法。

背景技术：

1、图像不仅丰富了我们的感官体验，也在许多重要领域发挥着关键作用。比如医疗诊断中，医生可以通过分析x光、ct扫描和mri等医学影像来诊断疾病。由于环境光线的限制或摄影设备的性能限制，图像通常会出现亮度不足、对比度低、噪声高等问题，这些问题严重影响图像的视觉效果和信息传递。

2、因此，低光图像增强技术的研究和应用具有重要意义。首先，通过提高低光图像的亮度和对比度，增强图像的细节和纹理，可以有效改善图像的视觉效果，使得图像更加清晰、真实。其次，低光图像增强可以提高后续图像处理和分析任务的准确性和效率，为人们提供更好的图像信息，有助于提升人们的视觉感知和理解能力。此外，对于一些特殊行业和领域，如视频监控、医学影像等，低光图像增强技术可以提高图像识别和分析的准确性和可靠性，保障人们的生命财产安全。

3、低光图像增强技术可以分类两大类：一类是传统的低光图像增强方法，另一类是基于深度学习的低光图像增强方法。

4、传统的低光图像增强方法又可以分为两种，一种基于直方图均衡化的方法，一种是基于retinex理论的方法。基于直方图均衡化的方法主要关注于扩大图像像素的动态范围以及提升图像的对比度。而基于retinex理论的方法则是将图像视为由反射分量和照明分量组成的复合体，其中，反射分量被视为增强的结果，而照明分量则通过估计获得，以得到最终的增强结果。尽管这些方法有一定的效果，但由于图像分解是一个不适定的问题，因此增强后的图像往往存在着噪声增多、过度曝光等现象。这些问题限制了传统方法在低光图像增强任务中的应用。随着深度学习和人工智能技术的发展，特别是卷积神经网络(cnn)等深度学习模型的广泛应用，低光图像增强技术取得了显著的进展。

5、基于深度学习的图像增强方法同样分为两种：一种基于先验知识的方法，一种是基于端到端的方法。基于先验知识的方法通常依赖于人工构建的先验模型或规则，如图像的统计特性或物理模型。然而，这些先验知识可能并不总是适用于所有的图像和场景。当先验知识与实际图像的特性不符时，增强效果可能会受到影响，难以泛化到更广泛的情况。基于端到端的方法能够自动学习从输入到输出的映射关系，无需人工设计和调整复杂的特征提取和处理流程，能够学习到各种各样的场景和光照条件下的图像增强规律，因此具有较好的泛化能力。

6、尽管基于深度学习的低光图像增强方法在一定程度上取得了令人满意的效果，但仍存在一些重要挑战：(1)对于复杂的场景和不同的拍摄条件，当前的方法可能无法有效地处理和保留图像中的高频信息如重要细节和结构信息。(2)在训练过程中不可避免地会面临数据丢失的挑战，这可能会对模型的训练和推理效率产生负面影响，进而导致实际应用中的性能下降。(3)在网络训练过程中，如果对所有像素采取相同的处理策略，可能会引发图像区域内的过度曝光或曝光不足的问题。

技术实现思路

1、针对现有技术的不足和发展情况，本发明提出一种基于频域和空域双域感知的低光图像增强方法，具体的技术方案如下：

2、一种基于频域和空域双域感知的低光图像增强方法，该方法能够同时利用频域和空域特征，并采用多尺度融合机制和频域感知学习损失，解决了仅在空域上操作无法兼顾全局和局部的难题，包括如下步骤：

3、s1、构建数据集，数据集包括一系列配对的低光照图像和正常光照图像，每对图像含有相同的场景信息和不同的光照条件；

4、s2、构建基于频域和空域双域感知的低光图像增强网络，该网络采用u-net网络结构，包括处理空域特征的空域特征感知模块和处理频域特征的频域特征感知模块，同时设置多尺度融合机制，将不同尺度的图像信息融合到网络中；

5、s3、构建频域感知学习损失来约束网络训练，得到最优模型；

6、s4、将低光照条件下拍摄的图像作为输入，通过最优模型进行处理，得到增强图像。

7、进一步地，步骤s2中所述的u-net网络结构具体为：首先，将输入的图像进行输入网络中，通过卷积层、双域残差块和下采样操作对图像特征进行处理，其中双域残差块由空域特征感知模块和频域特征感知模块组成；

8、对于空域特征感知模块，使用了两个卷积层和两个leakyrelu激活函数，再通过一个卷积层和跳连接操作，对空域特征进行深度提取并执行精细化处理；对于频域特征感知模块，首先将空域特征转化为频域特征，得到幅值和相位，然后，对幅值和相位进行特征增强，这一过程包括两个卷积层、一个relu激活函数和一个跳连接，最后，将增强后的频域特征转化回空域特征；

9、通过浅层特征提取模块引入多尺度融合机制，将输入的图像进行两次缩放操作，采用浅层特征提取模块提取缩放后的不同尺度的图像特征，再将多尺度的图像特征与原始特征进行连接操作以减少信息丢失，其中浅层特征提取模块由两个卷积层、一个relu激活函数和一个sigmoid激活函数组成；

10、经过上面处理后，再进行两次上采样操作，在每次上采样过程中，通过一个卷积层和一个双域残差块进行处理；最后，利用一个卷积层将高维特征映射重构为图像所需的三通道，从而得到增强后的图像。

11、进一步地，步骤s3中所述的频域感知学习损失充分利用像素的高频和低频信息分布不均匀的特性，通过在频域进行特征表征，强调了那些在频域中出现频率较低但对图像质量影响较大的特征，使得网络更好地适应的图像场景和光照条件，频域感知学习损失具体表示如下：

12、

13、其中i表示低光照图像，表示通过低光图像增强网络预测的增强图像，r表示正常光照图像，，表示像素的高频特征权重，表示像素的低频特征权重，代表空域上的高频特征，代表空域上的低频特征，ω1和ω2为权重因子，i表示像素编号，n表示总像素数；

14、将r通过傅里叶变换操作将空域特征转化到频域获得频谱特征，此时频谱特征的中心位置表示为高频信息，四周表示为低频信息，再通过傅里叶变换的频率移动操作转化频谱分布，移动后的频谱特征中心位置表示为低频信息，四周表示为高频信息；对于在中心的低频信息采用圆形滤波过滤得到低频信息xlf，采用逆傅立叶变换以及逆傅立叶频率移位操作，将频域中的低频信息xlf恢复到空域上的低频信息与原特征进行差值操作得到空域上的高频信息再通过归一化操作和指数操作设置权重信息和从而对不同像素分配不同的权重。

15、本发明的优点是：

16、(1)提出频域和空域双域感知的网络，频域具有丰富的信息表示能力，可以捕捉图像的细节、纹理和结构等特征，有助于更准确地理解图像内容，空域处理直接操作图像的像素值，能够更直接地控制图像的亮度、对比度、颜色等属性，利用空域和频域双域感知的网络，在增强图像亮度的同时更好地恢复图像细节信息。

17、(2)提出多尺度融合机制，通过利用多尺度信息进行融合，能够更全面地捕捉图像的特征和结构，进而提升低光图像增强的效果。不同尺度的信息相互补充，弥补在训练过程中的信息丢失，提升模型的训练和推理效率，使得增强后的图像在视觉效果和质量上得到进一步提高。

18、(3)提出频域感知学习损失，自适应调节不同像素对其频率属性的贡献，使网络能够更多地专注于学习高频细节信息，缓解弱光图像中高低频信息分布不均匀带来的负面影响，更好地引导模型学习到图像数据分布的关键特征，从而提高模型的性能。

技术特征：

1.一种基于频域和空域双域感知的低光图像增强方法，该方法能够同时利用频域和空域信息，并采用多尺度融合机制和频域感知学习损失，解决了仅在空域上操作无法兼顾全局和局部的难题，包括如下步骤：

2.根据权利要求1所述的一种基于频域和空域双域感知的低光图像增强方法，其特征在于：步骤s2中所述的u-net网络结构具体为：首先，将输入的图像进行输入网络中，通过卷积层、双域残差块和下采样操作对图像特征进行处理，其中双域残差块由空域特征感知模块和频域特征感知模块组成；

3.根据权利要求1所述的一种基于频域和空域双域感知的低光图像增强方法，其特征在于：步骤s3中所述的频域感知学习损失充分利用像素的高频和低频信息分布不均匀的特性，通过在频域进行特征表征，强调了那些在频域中出现频率较低但对图像质量影响较大的特征，使得网络更好地适应的图像场景和光照条件，频域感知学习损失具体表示如下：

技术总结
本发明提出了一种基于频域和空域双域感知的低光图像增强方法，通过构建训练数据集、设计双域感知网络、设计频域感知学习损失和多尺度融合机制多个步骤，实现了对低光图像的有效增强。该方法的优点主要体现在三个方面：首先，提出了利用频域和空域的双域感知网络，能够更全面地捕捉图像特征，有效提升增强效果；其次，采用多尺度融合机制，使得不同尺度信息相互补充，进一步提升了增强图像的视觉效果和质量；最后，引入频域感知学习损失机制，根据频域特征赋予不同权重，提高了模型学习到的关键特征的能力。综上所述，本方法在低光图像增强领域具有显著的优势和应用前景，为解决低光条件下图像质量问题提供了一种有效的解决方案。

技术研发人员：孙建德,孙晓燕,李燕,程德,张鼎文,万文博,李静,王建
受保护的技术使用者：山东师范大学
技术研发日：
技术公布日：2024/9/23