基于语义相似性传播的图像彩色化方法

本发明涉及图像处理，特别是一种基于语义相似性传播的图像彩色化方法。

背景技术：

1、图像彩色化旨在将灰度图像转换为彩色图像，这一技术在计算机图形学领域和计算机视觉领域内长期受到研究者们的广泛关注，并在图像复原、医学成像、电影修复、艺术创作等诸多领域得到了广泛的应用。经过几十年的发展，研究者们提出了大量基于交互的、基于规则的以及基于深度学习的算法来提升图像彩色化的效果。尽管如此，现有图像彩色化算法仍存在一些显著的缺陷，如计算效率偏低、颜色溢出难以避免、用户交互较为繁琐以及生成的图像颜色饱和度偏低，缺乏生动性。

2、图像彩色化是计算机图形学和计算机视觉领域的热门研究方向，其目的是为灰度图像中的每一个像素分配合理的颜色。这种技术的应用不仅能够显著提升图像的视觉吸引力，还能够赋予灰度图像全新的生命力和表现力。在影视行业中，彩色化技术使得老旧的黑白电影和电视节目焕发新生，吸引了新一代观众的注意力。在医学领域，彩色化技术可以帮助医生更清晰地观察和分析医学影像，从而提高诊断的准确性。在艺术和文化领域，彩色化技术使得历史照片和文献资料变得更加生动和易于理解，为研究和教育提供了新的视角。总之，这一技术已经在多个领域展现出了巨大的应用潜力。

3、几十年来，国内外学者对图像彩色化问题展开了深入的研究。目前主流的图像彩色化算法主要分为两大类即:传统的基于编辑传播和颜色迁移的算法和新兴的基于深度学习的算法。基于编辑传播的算法通常将图像彩色化任务建模为一个基于相似度传播的能量优化问题。这种方法将用户指定的笔触颜色，传播到亮度相似的其他区域，从而实现了自然而真实的图像彩色化效果。然而，这类方法普遍存在计算效率低下以及用户交互过于繁琐的缺点，严重增加了用户的操作负担。基于颜色迁移的图像彩色化算法，通常需要用户指定一幅参考图像。算法会综合分析参考图像的颜色特征，并将这些特征应用到待处理的灰度图像上，从而实现彩色化。这种方法虽然免去了用户交互的步骤，但也限制了用户对彩色化过程的个性化编辑能力。而基于深度学习的算法从大规模数据集中学习颜色的选择和传播机制，通过训练复杂的神经网络模型，可以在不需要用户过多干预的情况下自动为灰度图像上色。这些深度学习模型通常能够捕捉到图像的上下文信息，从而生成更加符合人类视觉预期的彩色图像。然而，这些方法往往对计算资源有较高的要求，并且预测过程可能耗时较长。此外，生成的图像在颜色饱和度方面不够理想，且容易出现颜色溢出等问题，这些因素都会对图像的最终视觉效果产生不利的影响。

技术实现思路

1、为解决现有技术中存在的问题，本发明的目的是提供一种基于语义相似性传播的图像彩色化方法，本发明在更少的用户交互下实现了更准确、质量更好的彩色化效果，并在计算效率方面取得了显著提升。

2、为实现上述目的，本发明采用的技术方案是：一种基于语义相似性传播的图像彩色化方法，包括以下步骤：

3、步骤1、语义特征提取：将图像的语义特征与亮度信息，即y通道结合，以形成灰度图像的特征空间；

4、步骤2、图像彩色化：在特征空间中设计一个基于相似度传播的能量函数，并通过优化求解，将局部笔触的颜色，即u、v色度通道传播到与语义接近的其他区域；

5、步骤3、将优化得到的u、v色度通道与原始的y通道融合，从而实现输入图像从灰度到彩色的转换。

6、作为本发明的进一步改进，所述步骤1具体包括以下步骤：

7、步骤1.1、利用语义软分割方法抽取灰度图像逐像素的多维语义特征向量，并采用主成分分析法对多维语义特征向量进行降维度；

8、步骤1.2、利用分割一切模型对语义特征进行优化，首先将灰度图像输入到分割一切模型中，得到一组掩码，并对掩码进行去重处理，然后在三维语义特征空间中，使用k-means算法对每一个掩码所示的区域进行聚类，将每个区域的像素聚为两类，并使用数目较多那一类的聚类中心替换该区域所有像素的语义特征；

9、步骤1.3、将步骤1.1和步骤1.2中的语义特征同亮度信息结合起来，共同构成灰度图像的特征；最终，输入图像中的任意像素点ii都对应一个二维的语义特征向量和一个亮度值yi：

10、

11、作为本发明的进一步改进，所述步骤2具体如下：

12、假设在一张颜色平滑变化的图像上，任意像素的色度值能够被其邻域像素的色度值通过加权平均的方式进行表征；以及假设特征相似的像素应当接收到相似的颜色，即色度值u、v；则：图像彩色化转化为如下的两个能量函数优化问题：

13、

14、

15、两个能量函数均包含两项，第一项用于最小化任意像素的色度值ui或vi与邻域像素色度值up或vp；第二项用于约束用户笔触的色度值或其中，n(i)表示第i个像素的相邻像素的索引，则表示输入灰度图像中像素ii与像素ip的相似度；

16、将能量函数转换为线性方程组的求解问题，并将约束条件作为硬约束融入到求解过程中，将其转化为求解如下的线性方程组：

17、(i-w)u＝0

18、(i-w)v＝0

19、其中，i是一个n×n的单位矩阵，(n表示图像的像素数目，w是一个的n×n矩阵，wi，j表示像素ii与像素ij的相似度，u和v是一个待求解的n维的列向量。

20、作为本发明的进一步改进，像素ii与像素ip的相似度定义如下：

21、

22、其中，δ表示该高斯核的标准差。

23、作为本发明的进一步改进，采用插值的方法来加速线性方程组的求解，将灰度图像中任意像素视为一个三维的点，则整张图像可以看作一个三维的点集，首先将灰度图像所在的三维空间[0，1]3均匀地划分为b×b×b个网格，先将笔触颜色传播到网格角点，再通过三线性插值的方法将角点的颜色传递到图像像素上。

24、作为本发明的进一步改进，还包括：针对每个角点，它的邻域定义为与之直接相连的6个角点，将一些已知的角点作为约束条件，如果一个角点关联的网格中存在用户笔触，则将这些笔触的平均色度作为该角点的色度值；否则，该角点的色度值未知，需通过能量优化获得色度值。

25、本发明的有益效果是：

26、1、本发明将图像彩色化任务建模为一个基于语义相似性传播的能量优化问题。提出的方法可以有效地将用户笔触传播到图像中语义相似的其它区域，从而实现了自然、逼真的图像彩色化效果并有效避免了颜色溢出等问题。

27、2、本发明通过采用三线性插值算法，大幅提高了图像彩色化处理的效率。不仅实现了图像色彩的快速转换，显著缩短了处理时间，而且极大地提升了用户的编辑体验。

技术特征：

1.一种基于语义相似性传播的图像彩色化方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于语义相似性传播的图像彩色化方法，其特征在于，所述步骤1具体包括以下步骤：

3.根据权利要求2所述的基于语义相似性传播的图像彩色化方法，其特征在于，所述步骤2具体如下：

4.根据权利要求3所述的基于语义相似性传播的图像彩色化方法，其特征在于，像素ii与像素ip的相似度定义如下：

5.根据权利要求3或4所述的基于语义相似性传播的图像彩色化方法，其特征在于，采用插值的方法来加速线性方程组的求解，将灰度图像中任意像素视为一个三维的点，则整张图像可以看作一个三维的点集，首先将灰度图像所在的三维空间[0，1]3均匀地划分为b×b×b个网格，先将笔触颜色传播到网格角点，再通过三线性插值的方法将角点的颜色传递到图像像素上。

6.根据权利要求5所述的基于语义相似性传播的图像彩色化方法，其特征在于，还包括：针对每个角点，它的邻域定义为与之直接相连的6个角点，将一些已知的角点作为约束条件，如果一个角点关联的网格中存在用户笔触，则将这些笔触的平均色度作为该角点的色度值；否则，该角点的色度值未知，需通过能量优化获得色度值。

技术总结
本发明公开了一种基于语义相似性传播的图像彩色化方法，包括：语义特征提取：将图像的语义特征与亮度信息，即Y通道结合，以形成灰度图像的特征空间；图像彩色化：在特征空间中设计一个基于相似度传播的能量函数，并通过优化求解，将局部笔触的颜色，即U、V色度通道传播到与语义接近的其他区域；将优化得到的U、V色度通道与原始的Y通道融合，从而实现输入图像从灰度到彩色的转换；本发明在更少的用户交互下实现了更准确、质量更好的彩色化效果，并在计算效率方面取得了显著提升。

技术研发人员：杜正君,孟思弘
受保护的技术使用者：青海大学
技术研发日：
技术公布日：2024/9/23