一种图像超分辨率方法

1.本发明涉及图像处理技术领域，更具体的说是涉及一种图像超分辨率方法。


背景技术：

2.现有图像超分辨率算法主要分为基于插值的方法、基于重建的方法、基于机器学习和样本统计的方法和基于深度神经网络的方法。
3.基于插值的图像超分辨率算法中具有代表性的是bilinear(双线性插值)和bicubic(双三次插值)算法，由于其只是对原始像素周围的像素进行线性映射，无法对图像放大后的边缘进行锐化，导致其图像质量普遍较低。
4.基于重建的图像超分辨率算法亦是一种经典算法，主要有梯度约束方法、基于近似海维塞德函数的方法和去模糊方法等，这些算法在放大倍数较大时其性能迅速下降，难以对连续的图像进行超分辨率。
5.基于深度神经网络的图像超分辨率算法是目前图像重建质量最高的方法，但这些方法往往依赖于非常深的神经网络、庞大的参数集和困难的训练过程和强大的算力，在手机和摄像头等边缘低算力节点上难以部署。
6.基于机器学习和样本统计的图像超分辨率算法也是一种质量较高的算法，raisr算法是其中具有代表性的算法。其前端使用一般插值方法放大，可以快速获得高分辨率的图像。然后将预放大的图像进行特征提取和纹理分类，对每一类纹理都使用基于训练或统计的线性滤波器进行滤波，从而达到边沿优化和图像增强的效果。raisr的图像重建质量较高且速度很快，但raisr中使用的矩阵奇异值分解进行的纹理哈希映射，具有算法的不稳定性(即矩阵奇异值分解在特定情况下无法进行)。另外，该算法还需要在哈希映射时计算大量三角函数和开方，不利于硬件的实现。
7.因此，如何提供一种图像超分辨率方法，在降低算力的同时，也能提高算法的性能，进而提高图片超分辨率的处理能力是本领域技术人员亟需解决的问题。


技术实现要素：

8.有鉴于此，本发明提供了一种图像超分辨率方法，能够通过简单的纹理特征提取和编码实现图像超分处理，极大的降低了纹理分类所需的算力，提升了算法的性能，能够在高分辨率图像下达到60fps的处理能力。
9.为了实现上述目的，本发明采用如下技术方案：
10.一种图像超分辨率方法，包括以下步骤：
11.获取待处理图像，并进行预处理，得到预超分图像；
12.提取所述预超分图像的纹理特征，并根据所述纹理特征进行统一纹理编码，得到所述预超分图像的纹理类型；
13.根据所述纹理类型，通过预先训练好的滤波向量集模型对所述预超分图像进行滤波，得到高分辨率图像；
14.通过预先构建的差分高斯滤波器对所述高分辨率图像进行优化，得到超分辨率图像。
15.进一步的，所述预处理步骤为，对所述待处理图像进行插值，得到预超分图像。
16.进一步的，提取所述预超分图像的纹理特征，步骤包括：
17.对所述预超分图像进行高斯卷积，得到高斯特征图；
18.对所述高斯特征图进行拉普拉斯卷积，得到高斯-拉普拉斯特征图；
19.根据预先设置的阈值对所述高斯-拉普拉斯特征图进行二值化处理，得到二值化纹理特征图。
20.进一步的，所述统一纹理编码步骤包括；
21.将所述二值化纹理特征图划分成多个5
×
5图像块；
22.在每个所述图像块中，从左上角像素为起始，顺时针依次提取所述图像块的边缘像素并进行排列，得到边缘像素编码；其中，所述像素编码为16位二进制数；
23.对所述边缘像素编码中相邻的比特进行异或得到跳变计数、跳变位置和纹理边缘总数；
24.根据每个所述图像块对应的所述跳变计数、所述跳变位置、纹理边缘总数和中心像素，确定纹理类型。
25.进一步的，所述跳变计数的计算式为：
[0026][0027]
其中，f为跳变计数结果，p[i]表示16位二进制中由低到高的第i+1位编码比特值；
[0028]
所述纹理边缘总数的计算式为：
[0029][0030]
其中，n表示纹理边缘总数。
[0031]
进一步的，所述滤波向量集模型的训练步骤包括：
[0032]
获取多对训练图像，其中，每对所述训练图像包括低分辨率图像和参考分辨率图像；
[0033]
对所述低分辨率图像进行预处理得到参考预超分图像；
[0034]
提取参考预超分图像的纹理特征并进行统一纹理编码，得到纹理编码结果，根据纹理编码结果确定所述参考预超分图像的参考纹理类型，并计算滤波向量最优解；
[0035]
将所述滤波向量最优解和所述参考纹理类型进行配对储存，得到滤波向量集模型。
[0036]
进一步的，所述滤波向量集模型的训练步骤还包括：
[0037]
对所述低分辨率图像进行预处理得到参考预超分图像；
[0038]
分别对所述低分辨率图像、所述参考分辨率图像和所述参考预超分图像进行图像块；
[0039]
提取所述纹理编码结果相同的所述参考预超分图像块以及与该参考预超分图像块对应的低分辨率图像块和参考分辨率图像块，通过最小二乘法计算滤波向量。
[0040]
进一步的，对所述预超分图像进行滤波，步骤包括：
[0041]
将所述纹理类型输入至预先训练好的所述滤波向量集模型，得到滤波向量；
[0042]
根据所述滤波向量和所述预超分图像进行矩阵乘法计算，得到所述高分辨率图像。
[0043]
进一步的，通过预先构建的差分高斯滤波器对所述高分辨率图像进行优化步骤包括；
[0044]
将所述高分辨率图像输出至所述差分高斯滤波器中，得到高斯差分图像；将两个不同标准差σ的3x3高斯滤波器分别与高分辨率图像进行卷积，对应得到两张不同模糊度的图像；使用固定权重对两张不同模糊的图像加权，得到高斯差分图像；
[0045]
将所述高斯差分图像划分成多个3
×
3图像块；
[0046]
根据每个3
×
3图像块的中心像素与8个边缘像素的差异情况进行二进制编码；
[0047]
根据高斯差分图像块的二进制编码计算其与高分辨率图像中所对应图像块之间的汉明距离；
[0048]
使用计算得出的汉明距离作为权重系数进对高斯差分图像块进行加权，并与高分辨率图像中对应的图像块进行求和平均，计算各个图像块内融合后的像素，得到超分辨率图像。
[0049]
进一步的，所述二进制编码采用如下公式：
[0050][0051]
其中，c表示中心像素值，p表示边缘像素值。
[0052]
本发明的有益效果：
[0053]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种图像超分辨率方法，能够通过简单的纹理特征提取和编码实现图像超分处理，极大的降低了纹理分类所需的算力，提升了算法的性能，能够在高分辨率图像下达到60fps的处理能力。
附图说明
[0054]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0055]
图1附图为本发明提供的一种图像超分辨率方法示意图；
[0056]
图2附图为本发明中滤波向量集模型训练方法示意图。
具体实施方式
[0057]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0058]
本发明实施例公开了一种图像超分辨率方法，包括以下步骤：
[0059]
s1：获取待处理图像，并进行预处理，得到预超分图像；
[0060]
在一种实施例中，预处理步骤为，对待处理图像进行插值，得到预超分图像。
[0061]
s2：提取预超分图像的纹理特征，并根据纹理特征进行统一纹理编码，得到预超分图像的纹理类型；
[0062]
在一种实施例中，具体步骤包括：
[0063]
s21：对预超分图像进行高斯卷积，得到高斯特征图；
[0064]
s22：对高斯特征图进行拉普拉斯卷积，得到高斯-拉普拉斯特征图；
[0065]
s23：根据预先设置的阈值对高斯-拉普拉斯特征图进行二值化处理，得到二值化纹理特征图。
[0066]
其中，使用5x5的高斯卷积核和3x3的拉普拉斯在整幅图像上进行卷积运算可得到各个小块的特征图。将高斯-拉普拉斯卷积核的尺寸进行调整，如5x5、11x11，将影响最终图像质量，尺寸稍大的卷积核质量更高。
[0067]
在一种实施例中，统一纹理编码步骤包括；
[0068]
s24：将二值化纹理特征图划分成多个5
×
5图像块；
[0069]
s25：在每个图像块中，从左上角像素为起始，顺时针依次提取图像块的边缘像素并进行排列，得到边缘像素编码；其中，像素编码为16位二进制数；
[0070]
s26：对边缘像素编码中相邻的比特进行异或得到跳变计数、跳变位置和纹理边缘总数；
[0071]
s27：根据每个图像块对应的跳变计数、跳变位置、纹理边缘总数和中心像素，确定纹理类型。
[0072]
在本实施例中，跳变计数的计算式为：
[0073][0074]
其中，f为跳变计数结果，p[i]表示16位二进制中由低到高的第i+1位编码比特值；
[0075]
纹理边缘总数的计算式为：
[0076][0077]
其中，n表示纹理边缘总数。
[0078]
在本实施例中，根据跳变计数f、跳变位置q、纹理边缘总数n和中心像素c进行如下类型划分：
[0079]
根据跳变计数f的值进行初步划分，f＝0时，为平滑区；f＝2时，为简单纹理区；f≥4时，为复杂纹理区；
[0080]
对简单纹理区依据n和q的值和中心像素c再进行细分类。对复杂纹理区依据中心像素c进行细分类。如此得到484种纹理类型，如下表所示。
[0081]
跳变计数f纹理边缘总数n跳变位置q纹理类型00或15-0-1平滑区21到150到152-481简单纹理区≥4
‑‑
482-483复杂纹理区
[0082]
s3：根据纹理类型，通过预先训练好的滤波向量集模型对预超分图像进行滤波，得
到高分辨率图像；
[0083]
在一种实施例中，滤波向量集模型的训练步骤包括：
[0084]
s31：获取多对训练图像，其中，每对训练图像包括低分辨率图像和参考分辨率图像；参考分辨率图像为与低分辨率图像内容相同，分辨率更高的图像；
[0085]
s32：对低分辨率图像进行预处理得到参考预超分图像；
[0086]
s33：提取参考预超分图像的纹理特征并进行统一纹理编码，得到纹理编码结果，根据纹理编码结果确定参考预超分图像的参考纹理类型，并计算滤波向量；
[0087]
s34：将滤波向量和参考纹理类型进行配对储存，得到滤波向量集模型。
[0088]
在另一实施例中，滤波向量集模型的训练步骤还包括：
[0089]
对低分辨率图像进行预处理得到参考预超分图像；
[0090]
分别对低分辨率图像、参考分辨率图像和参考预超分图像进行图像块划分；
[0091]
提取纹理编码结果相同的参考预超分图像块以及与该参考预超分图像块对应的低分辨率图像块和参考分辨率图像块，通过最小二乘法计算滤波向量最优解，计算公式如下：
[0092][0093]
其中，h为滤波向量最优解，set是同一编码的图像块对集，ai是该集中的一个预超分图像块，bi是该预超分图像块所对应的真实高分辨率图像块，h是滤波向量。
[0094]
在训练阶段纹理类型的确定同样需要对各个图像块进行像素编码，以及求解跳变计算f、跳变位置q和纹理边缘总数n；并根据f、q、n和中心像素c来确定其纹理类型。
[0095]
在另一实施例中，对预超分图像进行滤波，步骤包括：
[0096]
s35：将纹理类型输入至预先训练好的滤波向量集模型，得到滤波向量；
[0097]
s36：根据滤波向量和预超分图像进行矩阵乘法计算，得到高分辨率图像。
[0098]
s4：通过预先构建的差分高斯滤波器对高分辨率图像进行优化，得到超分辨率图像。
[0099]
所用的差分高斯滤波器通过计算作用于同一高分辨图像的两个不同的标准差σ高斯滤波器之间的差异来增强图像。其原理相当于在图像上应用了一个带通滤波器，它削弱了灰度图像中远离带中心的频率。
[0100]
当高斯滤波器应用于高分辨率图像时，锐化操作可能会导致结构性失真。为了保护重要的结构，必须使用一种变换方法用来确定像素融合的权重。
[0101]
在另一实施例中，通过预先构建的差分高斯滤波器对高分辨率图像进行优化步骤包括；
[0102]
s41：将两个不同标准差σ的3x3高斯滤波器分别与高分辨率图像进行卷积，对应得到两张不同模糊度的图像；
[0103]
s42：使用固定权重对两张不同模糊的图像加权，得到一张高斯差分图像；
[0104]
s43：将高斯差分图像和高分辨率图像分别划分成多个3
×
3图像块；
[0105]
s44：根据每个3
×
3图像块的中心像素与8个边缘像素的差异情况进行二进制编码；二进制编码采用如下公式：
[0106][0107]
其中，c表示中心像素值，p表示边缘像素值；
[0108]
s45：根据高斯差分图像块的二进制编码计算与高分辨率图像中所对应图像块之间的汉明距离；
[0109]
s46：根据计算得出的汉明距离，对高斯差分图像块和高分辨率图像块中的对应像素进行加权求和取平均，计算各个图像块内融合后的像素，得到超分辨率图像。
[0110]
计算式为：r＝a
×
g1+(8-a)
×
g2。
[0111]
其中，r表示融合后的像素，a为汉明距离，g1为高斯差分图像块中的像素，g2为高分辨率率图像块中的像素；g1与g2在3
×
3图像块内具有位置对应关系。
[0112]
发明提出的基于高斯-拉普拉斯和统一纹理编码的快速准确图像超分辨率(log-ute-raisr)方法具有不亚于其它使用学习算法进行超分处理的良好图像质量和很高的性能。本发明采用的高斯-拉普拉斯边缘提取非常易于使用gpu或fpga等硬件进行实现；统一纹理编码运算简单，计算量低。这种方法可以有效地提升超分辨率算法的效率，并有利于部署在边缘低算力节点上，用于更广泛的用途。
[0113]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0114]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种图像超分辨率方法，其特征在于，包括以下步骤：获取待处理图像，并进行预处理，得到预超分图像；提取所述预超分图像的纹理特征，并根据所述纹理特征进行统一纹理编码，得到所述预超分图像的纹理类型；根据所述纹理类型，通过预先训练好的滤波向量集模型对所述预超分图像进行滤波，得到高分辨率图像；通过预先构建的差分高斯滤波器对所述高分辨率图像进行优化，得到超分辨率图像。2.根据权利要求1所述的一种图像超分辨率方法，其特征在于，所述预处理步骤为，对所述待处理图像进行插值，得到预超分图像。3.根据权利要求1所述的一种图像超分辨率方法，其特征在于，提取所述预超分图像的纹理特征，步骤包括：对所述预超分图像进行高斯卷积，得到高斯特征图；对所述高斯特征图进行拉普拉斯卷积，得到高斯-拉普拉斯特征图；根据预先设置的阈值对所述高斯-拉普拉斯特征图进行二值化处理，得到二值化纹理特征图。4.根据权利要求3所述的一种图像超分辨率方法，其特征在于，所述统一纹理编码步骤包括；将所述二值化纹理特征图划分成多个5
×
5图像块；在每个所述图像块中，从左上角像素为起始，顺时针依次提取所述图像块的边缘像素并进行排列，得到边缘像素编码；其中，所述像素编码为16位二进制数；对所述边缘像素编码中相邻的比特进行异或得到跳变计数、跳变位置和纹理边缘总数；根据每个所述图像块对应的所述跳变计数、所述跳变位置、纹理边缘总数和中心像素，确定纹理类型。5.根据权利要求4所述的一种图像超分辨率方法，其特征在于，所述跳变计数的计算式为：其中，f为跳变计数结果，p[i]表示16位二进制中由低到高的第i+1位编码比特值；所述纹理边缘总数的计算式为：其中，n表示纹理边缘总数。6.根据权利要求1或5所述的一种图像超分辨率方法，其特征在于，所述滤波向量集模型的训练步骤包括：获取多对训练图像，其中，每对所述训练图像包括低分辨率图像和参考分辨率图像；对所述低分辨率图像进行预处理得到参考预超分图像；提取参考预超分图像的纹理特征并进行统一纹理编码，得到纹理编码结果，根据纹理
编码结果确定所述参考预超分图像的参考纹理类型，并计算滤波向量最优解；将所述滤波向量最优解和所述参考纹理类型进行配对储存，得到滤波向量集模型。7.根据权利要求6所述的一种图像超分辨率方法，其特征在于，所述滤波向量集模型的训练步骤还包括：对所述低分辨率图像进行预处理得到参考预超分图像；分别对所述低分辨率图像、所述参考分辨率图像和所述参考预超分图像进行图像块纹理编码；提取所述纹理编码结果相同的所述参考预超分图像块以及与该参考预超分图像块对应的低分辨率图像块和参考分辨率图像块，通过最小二乘法计算滤波向量。8.根据权利要求1所述的一种图像超分辨率方法，其特征在于，对所述预超分图像进行滤波，步骤包括：将所述纹理类型输入至预先训练好的所述滤波向量集模型，得到滤波向量；根据所述滤波向量和所述预超分图像进行矩阵乘法计算，得到所述高分辨率图像。9.根据权利要求1所述的一种图像超分辨率方法，其特征在于，通过预先构建的差分高斯滤波器对所述高分辨率图像进行优化步骤包括；将所述高分辨率图像输出至所述差分高斯滤波器中，得到高斯差分图像；将高斯差分图像和高分辨率图像分别划分成多个3
×
3图像块；根据每个3
×
3图像块的中心像素与8个边缘像素的差异情况进行二进制编码；根据高斯差分图像块的二进制编码计算其与所述高分辨率图像中所对应图像块之间的汉明距离；根据计算得出的汉明距离，对高斯差分图像块和高分辨率图像块中的对应像素进行加权求和取平均，计算各个图像块内融合后的像素，得到超分辨率图像。10.根据权利要求9所述的一种图像超分辨率方法，其特征在于，所述二进制编码采用如下公式：其中，c表示中心像素值，p表示边缘像素值。

技术总结
本发明公开了一种图像超分辨率方法，包括以下步骤：获取待处理图像，并进行预处理，得到预超分图像；提取所述预超分图像的纹理特征，并根据所述纹理特征进行统一纹理编码，得到所述预超分图像的纹理类型；根据所述纹理类型，通过预先训练好的滤波向量集模型对所述预超分图像进行滤波，得到高分辨率图像；通过预先构建的差分高斯滤波器对所述高分辨率图像进行优化，得到超分辨率图像；本发明通过简单的纹理特征提取和编码实现图像超分处理，极大的降低了纹理分类所需的算力，提升了算法的性能，能够在高分辨率图像下达到60FPS的处理能力。力。力。


技术研发人员：邓立唯 黄金源 梁培
受保护的技术使用者：中国计量大学
技术研发日：2022.09.26
技术公布日：2023/1/6