超分辨率图像重建方法和装置的制造方法
超分辨率图像重建方法和装置的制造方法
【技术领域】
[0001] 本发明涉及图像、视频处理领域，尤其涉及一种超分辨率图像重建方法和装置。
【背景技术】
[0002] 随着多媒体技术的迅速发展，人们对于图像和视频的视觉逼真效果和丰富的画面 细节信息的要求越来越高，这需要高分辨率的图像和视频，并且在实际的图像处理与分析 系统中，通常也都需要高分辨率的图像和视频。然而，图像的分辨率通常受限于图像采集设 备、光学、成像速度和硬件存储等制约条件，在许多成像应用中捕获的都是低分辨率的图像 和视频，例如，数码相机、医学成像系统和视频监控系统捕获的通常都是低分辨率的图像和 视频。所以，为了获取高分辨率的图像和视频，需要超分辨率技术去利用获取的低分辨率图 像和视频来重建出高分辨率的图像和视频。
[0003] 现有的超分辨率图像重建方法有：基于插值的方法、基于重建的方法和基于实例 学习的方法，其中基于重建的方法需要额外的数据库，对于获取的低分辨率图像，利用图像 数据库中的多种图像的先验知识来对当前低分辨率图像进行建模，然后，将建模后的低分 辨率图像重建为高分辨率的图像。
[0004] 但是，在现有技术中，由于对超分辨率图像建模时候利用的是一个巨大有代表性 的低分辨率与高分辨率图像片对数据库，该数据库尽可能多的包括所有图像结构，使得重 建超分辨率图像过程过于复杂，并且基于该图像数据库通常会存在无法复原高频细节的情 况。
【发明内容】
[0005] 本发明提供一种超分辨率图像重建方法和装置，从而能够有效降低重建超分辨率 图像的误差，进而提高重建图像的质量。
[0006] 第一方面，本发明提供一种超分辨率图像重建方法，包括：步骤S1，将输入的低分 辨率图像y作为第一高分辨率图像巧，根据所述第一高分辨率图像进行N次模糊下采 样，生成高分辨率图像数据库Dx ;步骤S2,对所述第一高分辨率图像·ν采用双三次插值算 法进行模糊下采样之后，再进行模糊上采样得到第一低分辨率图像~~,〃对于所述第一低分 辨率图像气*进行Ν次模糊下采样，生成低分辨率图像数据库D z ;步骤S3,采用所述双三次 插值算法将所述第一高分辨率图像心放大S倍后得到第二低分辨率图像气〃将所述第二低 分辨率图像~划分为至少一个低分辨率图像片；步骤S4,对每一个低分辨率图像片采用近 似最近邻搜索算法在所述低分辨率图像数据库D z获取对应的低分辨率最相似图像片组；步 骤S5,对所述低分辨率最相似图像片组采用岭回归法计算权重系数；步骤S6,根据所述权 重系数和高分辨率最相似图像片组确定高分辨率图像片；步骤S7,对所述高分辨率图像片 采用加权平均确定第二高分辨率图像气>，并将所述第二低分辨率图像％加入到所述数据 库Dz中，将所述第二高分辨率图像义加入到所述数据库Dx中。
[0007] 结合第一方面，在第一方面的第一种可能实施方式中，还包括：步骤S8,将所述第 二高分辨率图像七作为新的第一高分辨率图像经过Μ次重复执行步骤S3-S7之后，获 取第三高分辨率图像采用所述双三次插值算法对所述第三高分辨率图像巧，进行模糊 下采样，生成初始目标高分辨率图像f:。
[0008] 结合第一方面的第一种可能实施方式，在第一方面的第二种可能实施方式中，还 包括：步骤S9,对所述初始目标高分辨率图像1和所述低分辨率图像y采用交替最小化算 法计算数学模型：
[0009]
[0010] s. l. nf - nrJ toon] 其中，上述数学模型中的χ的初始值为初始目标高分辨率图像夂退化矩阵Η表示 模糊下采样算子，λ i和λ 2表示正则化参数，a i是目标高分辨率图像X的高分辨率图像片 Xl的稀疏系数，α为a i的集合，β i是a i在稀疏编码域的非局部均值，〇表示所有拼接的 稀疏系数矩阵ct和超完备字典φ的乘积，V表示梯度操作符，f是变换函数，匕是目标高 分辨率图像的参考直方图，h f是变换函数f的直方图。
[0012] 结合第一方面的第二种可能实施方式，在第一方面的第三种可能实施方式中，所 述对所述初始目标高分辨率图像f:和所述低分辨率图像y采用交替最小化算法计算数学模 型具体包括：步骤S10,采用K均值聚类算法和主成分分析算法获取超完备字典；步骤S11， 根据梯度直方图保持不变算法更新所述变换函数f ;步骤S12,根据所述超完备字典和所述 变换函数f更新所述初始目标高分辨率图像。
[0013] 结合第一方面的第三种可能实施方式，在第一方面的第四种可能实施方式中，采 用K均值聚类算法和主成分分析算法获取超完备字典，具体包括：根据尺寸大小随机选取K 个所述初始目标高分辨率图像的高分辨率图像片作为K个初始聚类；根据所述高分辨率图 像片与所述K个初始聚类中心之间的距离，将所述初始目标高分辨率图像所分割成的所有 的所述高分辨率图像片划分到对应的初始聚类中；对每个所述初始聚类采用基于奇异值分 解的主成分分析法训练对应子字典；K个所述初始聚类对应的K个子字典组成所述超完备 字典。
[0014] 结合第一方面的第三种可能实施方式，在第一方面的第五种可能实施方式 中，根据梯度直方图保持不变算法更新所述变换函数f，具体包括：对所述低分辨率 图像y进行模糊上采样，获得低分辨率图像z ;所述目标高分辨率图像X和所述低 4V雜銮IS像7.端Μ加下名·彳Φ ·ζ = B*x,其中B为模糊核；对z = B*x两边求梯度，贝丨J
5其中b。和h分别表示模糊核B的中心系数及它的周围 近邻系数，Vx表示目标高分辨率图像X的梯度图像，表示所述低分辨率图像z的梯度
图像表示所述目标高分辨率图像片的梯度图像Η 〃若 i 近似于正态分布，则
[0015] 通过求解优化问题叫ft|/(v.S'R丨s.t.h f = hr来更新变换函数f。
[0016] 其中b表示目标高分辨率图像X的参考梯直方图，hz表示所述低分辨率图像z的 梯度直方图，h xl是随机变量xl的概率密度函数的离散形式，hx2是独立同分布随机变量x2 的概率密度函数的离散形式，⑩是卷积操作符。
[0017] 结合第一方面的第三种可能实施方式，在第一方面的第六种可能实施方式中，所 述根据所述超完备字典和所述变换函数f更新所述初始目标高分辨率图像，具体包括：根 据公5
?角定x(t+1/2)，其中x(t)表示第t次 迭代的目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率图像估计值， S为常数，表示x(t)的梯度图；根据其中表示 第t+1/2次迭代的高分辨率图像片Xl的稀疏系数，表示第t次迭代的高分辨率图像片 Xl所在初始聚类对应的子字典，民表示从初始目标高分辨率图像I在位置i处获取高分辨 率图像片^的矩阵。
[0018] 根据稀疏系舍
和次;~5二确定第t+Ι次迭代的高分辨率图像片Xl的稀疏系数 ωι的 第j个分量ω1]满万
其中h表示用于调节衰减速度 的控制参数，W表示归一化因子，#表示高分辨率图像片Xl对应的最相似图像片 组中的第j个最相似图像片，Sv。表示软阈值函数，c表示正则化参数；根据公式 \其中x(t+1)表示第t+Ι次迭代的目 \.九
.·/. >： 标高分辨率图像估计值，Φ (t+1)表示X(t+1)对应的超完备字典。
[0019] 结合第一方面的第三种可能实施方式或第四种可能实施方式或第五种可能实施 方式或第六种可能实施方式，在第一方面的第七种可能实施方式中，还包括：重复执行步骤 S10-S12,获得收敛解为最终目标高分辨率图像X';采用复数冲击滤波公式对所述最终目 标高分辨率图像进行复原，其中所述复数冲击滤波公式为：
[0020]
[0021] 其中，X'表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像， ▽X表示X'的梯度图，η和ξ表示图像的梯度方向，Irn(·)表示提取虚部，a表示用于控 制图像锐度的调整参数，τ = | τ |exp(i Θ)是复数标量系数，f是实数标量系数。
[0022] 第二方面，本发明提供一种超分辨率图像重建装置，包括：生成模块，用于将输入 的低分辨率图像y作为第一高分辨率图像^ ,根据所述第一高分辨率图像心进行N次模 糊下采样，生成高分辨率图像数据库Dx;所述生成模块，还用于对所述第一高分辨率图像％ 采用双三次插值算法进行模糊下采样之后，再进行模糊上采样得到第一低分辨率图像心， 对于所述第一低分辨率图像％进行N次模糊下采样，生成低分辨率图像数据库D z ;划分模 块，用于采用所述双三次插值算法将所述第一高分辨率图像心>放大S倍后得到第二低分辨 率图像V ,将所述第二低分辨率图像~划分为至少一个低分辨率图像片；获取模块，用于 对每一个低分辨率图像片采用近似最近邻搜索算法在所述低分辨率图像数据库Dz获取对 应的低分辨率最相似图像片组；计算模块，用于对所述低分辨率最相似图像片组采用岭回 归法计算权重系数；确定模块，用于根据所述权重系数和高分辨率最相似图像片组确定高 分辨率图像片；所述确定模块，还用于对所述高分辨率图像片采用加权平均确定第二 高分 辨率图像％，并将所述第二低分辨率图像气f加入到所述数据库Dz中，将所述第二高分辨率 图像巧加入到所述数据库Dx中。
[0023] 结合第二方面，在第二方面的第一种可能实施方式中，还包括：所述获取模块，还 用于获取第三高分辨率图像\(> ;所述生成模块，还采用所述双三次插值算法对所述第三高 分辨率图像进行模糊下采样，生成初始目标高分辨率图像$ ?
[0024] 结合第二方面的第一种可能实施方式，在第二方面的第二种可能实施方式中，还 包括：所述计算模型，还用于对所述初始目标高分辨率图像.1和所述低分辨率图像y采用交 替最小化算法计算数学模型：
[0025]
[0026] s. t. hf = hrJ
[0027] 其中，上述数学模型中的x的初始值为初始目标高分辨率图像I，退化矩阵Η表示 模糊下采样算子，λ i和λ 2表示正则化参数，a i是目标高分辨率图像X的高分辨率图像片 Xl的稀疏系数，α为a i的集合，β i是a i在稀疏编码域的非局部均值，〇表示所有拼接的 稀疏系数矩阵ct和超完备字典φ的乘积，Y表示梯度操作符，f是变换函数，匕是目标高 分辨率图像的参考直方图，h f是变换函数f的直方图。
[0028] 结合第二方面的第二种可能实施方式，在第二方面的第三种可能实施方式中，还 包括：更新模块；所述获取模块，还用于采用K均值聚类算法和主成分分析算法获取超完备 字典；所述更新模块，用于根据梯度直方图保持不变算法更新所述变换函数f ;所述更新模 块，还根据所述超完备字典和所述变换函数f更新所述初始目标高分辨率图像。
[0029] 结合第二方面的第三种可能实施方式，在第二方面的第四种可能实施方式中，所 述获取模块具体用于：根据尺寸大小随机选取K个所述目标高分辨率图像的所述高分辨率 图像片作为K个初始聚类；根据所述高分辨率图像片与所述K个初始聚类中心之间的距离， 将所述目标高分辨率图像所分割成的所有的所述高分辨率图像片划分到对应的初始聚类 中；对每个所述初始聚类采用基于奇异值分解的主成分分析法训练对应子字典；K个所述 初始聚类对应的K个子字典组成所述超完备字典。
[0030] 结合第二方面的第三种可能实施方式，在第二方面的第五种可能实施方式 中，所述更新模块具体用于：对所述低分辨率图像y进行模糊上采样，获得低分辨率 图像z ;所述目标高分辨率图像X和所述低分辨率图像z满足如下条件：z = B*x，其 中B为模糊核；对z = B*x两边求梯度，则
*其中b。 和匕分别表示模糊核B的中心系数及它的周围近邻系数，表示目标高分辨率图像 X的梯度图像，表示所述低分辨率图像z的梯度图像，Vx,.表示所述高分辨率图像 片的梯度图像；4
?〖近似于正态分布，则
[0031] 通过求解优化问题_n||/(Vx丨s s. t. hf =匕来更新变换函数f。
[0032] 其中匕表示目标高分辨率图像x的参考梯直方图，hz表示所述低分辨率图像z的 梯度直方图，h xl是随机变量xl的概率密度函数的离散形式，hx2是独立同分布随机变量x2 的概率密度函数的离散形式，是卷积操作符。
[0033] 结合第二方面的第三种可能实施方式，在第二方面的第六种可能实 施方式中，所述更新模块具体用于：根据超分辨率优化问题的迭代求解公式
角定x(t+1/2)，其中x(t)表示第t次迭代的 目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率图像估计值，δ为常 数，％激表示x (t)的梯度图；根据#购=(#!f爲#+叫确定,其中#的壞 次迭代的高分辨率图像片Xl的稀疏系数，表示第t次迭代的高分辨率图像片Xl所在初 始聚类对应的子字典，氏表示从初始目标高分辨率图像f在位置i处获取高分辨率图像片 ^的矩阵；根据稀疏系娄
和确定第t+i次迭代的高分辨率图像片Xl的稀疏系数的 第j个分量ωι]满足
其中h表示用于调节衰减速度 的控制参数，W表示归一化因子，#表示高分辨率图像片Xl对应的最相似图像片 组中的第j个最相似图像片，Sv。表示软阈值函数，c表示正则化参数；根据公式
(t+1)，其中x(t+1)表示第t+Ι次迭代的目 标高分辨率图像估计值，Φ (t+1)表示x(t+1)对应的超完备字典。
[0034] 结合第二方面的第三种可能实施方式或第四种可能实施方式或第五种可能实施 方式或第六种可能实施方式，在第二方面的第七种可能实施方式中，还包括：滤波模块；所 述获取模块获取收敛解为最终目标高分辨率图像V ;所述滤波模块，用于采用复数冲击滤 波公式对所述最终目标高分辨率图像进行复原，其中所述复数冲击滤波公式为：
[0035]
[0036] 其中，X'表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像， ▽.γ'表示X'的梯度图，Π 和ξ表示图像的梯度方向，Im( ·)表示提取虚部，a表示用于控 制图像锐度的调整参数，τ = | τ |exp(i Θ)是复数标量系数，f是实数标量系数。
[0037] 本发明提供一种超分辨率图像重建方法，包括：将输入的低分辨率图像作为第一 高分辨率图像，根据所述第一高分辨率图像进行N次模糊下采样，生成高分辨率图像数据 库，对所述第一高分辨率图像采用双三次插值算法进行模糊下采样之后，再进行模糊上采 样得到第一低分辨率图像，对于所述第一低分辨率图像进行N次模糊下采样，生成低分辨 率图像数据库；采用所述双三次插值算法将所述第一高分辨率图像放大S倍后得到第二低 分辨率图像，将所述第二低分辨率图像划分为至少一个低分辨率图像片；对每一个低分辨 率图像片采用近似最近邻搜索算法在所述低分辨率图像数据库获取对应的低分辨率最相 似图像片组；对所述低分辨率最相似图像片组采用岭回归法计算权重系数；根据所述权重 系数和高分辨率最相似图像片组确定高分辨率图像片。对所述高分辨率图像片采用加权平 均确定第二高分辨率图像，通过基于岭回归法的多级放大技术来估计初始目标高分辨率图 像，并且综合利用数据保真度、稀疏非局部正则化和梯度直方图正则化先验进行数学建模， 通过最优化问题求解来获取最终的目标高分辨率图像，最后通过冲击滤波进一步锐化边缘 和恢复图像结构细节处理从而能够有效降低重建超分辨率图像的误差，进而提高重建图像 的质量。
【附图说明】
[0038] 图1为本发明一实施例提供的一种超分辨率图像重建方法的流程图；
[0039] 图2为本发明另一实施例提供的超分辨率图像重建方法的流程图；
[0040] 图3为本发明一实施例提供的一种超分辨率图像重建装置结构示意图；
[0041] 图4为本发明另一实施例提供的一种超分辨率图像重建装置结构示意图。
【具体实施方式】
[0042] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043] 图1为本发明一实施例提供的一种超分辨率图像重建方法的流程图，其中该方法 适用于获取高分辨率图像或者视频的场景，其中该方法的执行主体为：超分辨率图像重建 装置，该装置可以为计算机等智能终端，超分辨率图像重建方法具体包括如下流程：
[0044] 步骤S1，将输入的低分辨率图像作为第一高分辨率图像，根据第一高分辨率图像 进行N次模糊下采样，生成高分辨率图像数据库。
[0045] 其中，低分辨率图像用y表示，第一高分辨率图像用i表示，高分辨率图像数据库 用Dx表不。
[0046] 步骤S2,对第一高分辨率图像采用双三次插值算法进行模糊下采样之后，再进行 模糊上采样得到第一低分辨率图像，对于第一低分辨率图像进行N次模糊下采样，生成低 分辨率图像数据库。
[0047] 其中，第一低分辨率图像用^表示，低分辨率图像数据库用Dz表示，在相同 尺度级别上的第一低分辨率图像心和第一高分辨率图像心之间的对应关系建立如下：
，其中，*是卷积操作符，丨s是尺度因子为s的上采样操 作符，丨s是尺度因子为s的下采样操作符，B是模糊核，Es是先模糊下采样再上采样的尺 度因子为s的符合操作符，则得到第一低分辨率图像对于第一低分辨率图像七进行N 次模糊下采样，生成低分辨率图像数据库Dz。
[0048] 步骤S3,采用双三次插值算法将第一高分辨率图像放大S倍后得到第二低分辨率 图像，将第二低分辨率图像划分为至少一个低分辨率图像片。
[0049] 其中，第二低分辨率图像为&,,具体地，％: ，并将第二低分辨率图像&划 分为至少一个低分辨率图像片。
[0050] 步骤S4,对每一个低分辨率图像片采用近似最近邻搜索算法在低分辨率图像数据 库获取对应的低分辨率最相似图像片组。
[0051] 步骤S5,对所述低分辨率最相似图像片组采用岭回归法计算权 重系数。
[0052] 具体地，对于任一个低分辨率图像片都可以利用近似最近邻搜索算法从低分辨率 图像数据库D z中搜索对应的低分辨率最相似图像片组，比如：假设低分辨率图像片Zl对应 的低分辨率最相似图像片组为L Pl，则采用岭回归方法对Zl和LPl之间的近似线性关系进行 建模形成的约束优化问题如下
^中，Y是权重系数，τ是用于 缓解奇异性问题和稳定求解的正则化参数。通过求解这个正规化最小二乘回归问题，本发 明给出该问题的闭式解
β其中，I是单位矩阵。
[0053] 步骤S6,根据所述权重系数和高分辨率最相似图像片组确定高分辨率图像片。
[0054] 将步骤S5中Zl与LPl的映射关系从低分辨率图像数据库D z应用到高分辨率图像 数据库Dx，则高分辨率图像片Pl与高分辨率最相似图像片组H Pl的关系式为Pl = HPl Y。
[0055] 步骤S7,对高分辨率图像片采用加权平均法来确定第二高分辨率图像，并将所述 第二低分辨率图像加入到所述数据库中，将所述第二高分辨率图像加入到所述数据库中。
[0056] 其中，第二高分辨率图像为勺
[0057] 本发明提供一种超分辨率图像重建方法，包括：将输入的低分辨率图像作为第一 高分辨率图像，根据所述第一高分辨率图像进行N次模糊下采样，生成高分辨率图像数据 库，对所述第一高分辨率图像采用双三次插值算法进行模糊下采样之后，再进行模糊上采 样得到第一低分辨率图像，对于所述第一低分辨率图像进行N次模糊下采样，生成低分辨 率图像数据库；采用所述双三次插值算法将所述第一高分辨率图像放大S倍后得到第二低 分辨率图像，将所述第二低分辨率图像划分为至少一个低分辨率图像片；对每一个低分辨 率图像片采用近似最近邻搜索算法在所述低分辨率图像数据库获取对应的低分辨率最相 似图像片组；对所述低分辨率最相似图像片组采用岭回归法计算权重系数；根据所述权重 系数和高分辨率最相似图像片组确定高分辨率图像片。对所述高分辨率图像片采用加权平 均法确定第二高分辨率图像，通过基于岭回归法的多级放大技术来估计初始目标高分辨率 图像，从而能够有效降低重建超分辨率图像的误差，进而提高重建图像的质量。
[0058] 图2为本发明另一实施例提供的超分辨率图像重建方法的流程图，该实施例是建 立在上一实施例基础之上的，在上一实施例步骤S7之后执行的，其中具体包括：
[0059] 步骤S8,将第二高分辨率图像作为新的第一高分辨率图像，经过Μ次重复执行步 骤S3-S7之后，获得第三高分辨率图像，采用双三次插值算法对第三高分辨率图像进行模 糊下采样，生成初始目标高分辨率图像。
[0060] 其中，第三高分辨率图像为心％初始目标高分辨率图像I::,值得一提的是，本发 明采用了重复执行步骤S3-S7中Μ次是基于当尺度因子较小时，低分辨率图像与高分辨 率图像更相似这一因素考虑的。因此，鉴于自然图像在尺度域和空间域上存在大量自相 似性冗余，与传统的双三次插值方法不同，本发明所述的方法采用基于岭回归法的多级 放大技术来初始化目标高分辨率图像。即是采用多次迭代放大方案，当单次放大方法被 多级放大技术取代后，本发明所述每级放大步骤中的尺度因子就非常小，从而能够从低 分辨率图像库中搜索到更多的相似图像片用于高分辨率图像重建。对于一幅输入的低 分辨率图像y和给定的总体尺度因子d，本发明所述的多级放大步骤中的级联被确定为
其中s是每级放大中的尺度因子。
[0061] 步骤S9,对初始目标高分辨率图像和低分辨率图像采用交替最小化算法计算数学 模型：
[0062]
[0063] s. t. hf = hrJ
[0064] 其中，上述数学模型中的x的初始值为初始目标高分辨率图像J ,退化矩阵Η表示 模糊下采样算子，λ i和λ 2表示正则化参数，a i是目标高分辨率图像X的高分辨率图像片 Xl的稀疏系数，α为a i的集合，β i是a i在稀疏编码域的非局部均值，〇表示所有拼接的 稀疏系数矩阵ct和超完备字典φ的乘积，f表示梯度操作符，f是变换函数，匕是目标高 分辨率图像的参考直方图，h f是变换函数f的直方图。
[0065] 具体地，步骤S1-S8中确定的初始目标高分辨率图像J针对该数学模型可能不是 最优解，因此需要不断迭代，直到获得收敛解为止。其中，所述对所述目标高分辨率图像X 和所述低分辨率图像y采用交替最小化算法计算数学模型具体包括：
[0066] 步骤S10,采用K均值聚类算法和主成分分析算法获取超完备字典。
[0067] 具体地，采用K均值聚类算法和主成分分析算法获取超完备字典，具体包括：根据 尺寸大小随机选取K个所述目标高分辨率图像的所述高分辨率图像片作为K个初始聚类； 根据所述高分辨率图像片与所述K个初始聚类中心之间的距离，将所述目标高分辨率图像 所分割成的所有的所述高分辨率图像片划分到对应的初始聚类中；对每个所述初始聚类采 用基于奇异值分解的主成分分析法训练对应子字典；Κ个所述初始聚类对应的Κ个子字典 组成所述超完备字典。
[0068] 步骤S11，根据梯度直方图保持不变算法更新变换函数。
[0069] 其中，变换函数为f，可选地，根据梯度直方图保持不变算法更新所述变换函数f， 具体包括：对所述低分辨率图像y进行模糊上采样，获得低分辨率图像z ;所述目标高分辨 率图像X和所述低分辨率图像Z满足如下条件：z = B*x，其中B为模糊核；对z = B*x两边求 梯度，贝I
其中b。和h分别表示模糊核B的中心系数及它 的周围近邻系数，Vx表示目标高分辨率图像X的梯度图像，？2表示所述低分辨率图像z的 梯度图像，％;表示所述高分辨率图像片的梯度图像；令
若&二近似于正态分布，贝IJ i
[0070] 通过求解优化问遘
t. hf = i来更新变换函数f ;其中i 表示目标高分辨率图像X的参考梯直方图，hz表示所述低分辨率图像z的梯度直方图，hxl 是随机变量χ?的概率密度函数的离散形式，hx2是独立同分布随机变量x2的概率密度函数 的离散形式，發是卷积操作符。
[0071] 步骤S12,根据超完备字典和变换函数更新目标高分辨率图像。
[0072] 具体地，所述根据所述超完备字典和所述变换函数f更新所述初 始目标高分辨率图像，具体包括：根据超分辨率优化问题的迭代求解公式
I定x(t+1/2)，其中x(t)表示第t次迭代的 目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率图像估计值，δ为 常数，表示x(t)的梯度图；根据确定1;:\其中表示第 t+1/2次迭代的高分辨率图像片Xl的稀疏系数，#f)表示第t次迭代的高分辨率图像片 Xl所 在初始聚类对应的子字典，氏表示从初始目标高分辨率图像J:在位置i处获取高分辨率图 像片\的矩阵。
[0073] 根据稀疏系数
和摩= 确定第t+Ι次迭代的高分辨率图像片Xl的稀疏系数《Γ，ω i 的第j个分量ω、,满足其中h表示用于调节衰减速 度的控制参数，W表示归一化因子，#
表示高分辨率图像片Xl对应的最相似图像 片组中的第j个最相似图像，Sv。表示软阈值函数，c表示正则化参数；根据公式
Μ确定X(t+1)，其中X(t+1)表示第t+1次迭代的目 标高分辨率图像估计值，φα+1)表示X(t+1)对应的超完备字典。循环执行S10-S12,直到获得 的目标高分辨率图像为收敛解为止。
[0074] 进一步地，重复执行步骤S10-S12,获得收敛解为最终目标高分辨率图像V ;采 用复数冲击滤波公式对所述最终目标高分辨率图像进行复原，其中所述复数冲击滤波公式 为：
[0075]
[0076] 其中，X'表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像， Vx表示X'的梯度图，η和ξ表示图像的梯度方向，Im( ·)表示提取虚部，a表示用于控 制图像锐度的调整参数，τ = | τ |exp(i0)是复数标量系数，了是实数标量系数。
[0077] 本实施例提供的超分辨率图像重建方法综合利用数据保真度、稀疏非局部正则化 和梯度直方图正则化先验进行数学建模，通过最优化问题求解来获取最终的目标高分辨率 图像，最后通过冲击滤波进一步锐化边缘和恢复图像结构细节处理。
[0078] 图3为本发明一实施例提供的一种超分辨率图像重建装置结构示意图，其中该装 置包括：生成模块301，用于将输入的低分辨率图像y作为第一高分辨率图像'根据所 述第一高分辨率图像心进行N次模糊下采样，生成高分辨率图像数据库D x ;所述生成模块 301，还用于对所述第一高分辨率图像心采用双三次插值算法进行模糊下采样之后，再进 行模糊上采样得到第一低分辨率图像气^对于所述第一低分辨率图像&进行N次模糊下采 样，生成低分辨率图像数据库D z ;划分模块302,用于采用所述双三次插值算法将所述第一 高分辨率图像'巧放大S倍后得到第二低分辨率图像^，将所述第二低分辨率图像％划分 为至少一个低分辨率图 像片；获取模块303,用于对每一个低分辨率图像片采用近似最近 邻搜索算法在所述低分辨率图像数据库D z获取对应的低分辨率最相似图像片组；计算模 块304,用于对所述低分辨率最相似图像片组采用岭回归法计算权重系数；确定模块305， 用于根据所述权重系数和高分辨率最相似图像片组确定高分辨率图像片；所述确定模块 305,还用于对所述高分辨率图像片采用加权平均法来确定第二高分辨率图像'?，并将所述 第二低分辨率图像^加入到所述数据库Dz中，将所述第二高分辨率图像心加入到所述数 据库Dx中。
[0079] 本实施例提供的超分辨率图像重建装置，可以用于执行图1所对应的超分辨率图 像重建方法的实施技术方案，其实现原理和技术效果类似，此处不再赘述。
[0080] 图4为本发明另一实施例提供的一种超分辨率图像重建装置结构示意图，在图3 对应实施例基础之上，所述获取模块303,还用于获取第三高分辨率图像;所述生成模块 301，还采用所述双三次插值算法对所述第三高分辨率图像进行模糊下采样，生成初始 目标高分辨率图像i R所述计算模型304,还用于对所述初始目标高分辨率图像f和所述低
[0081] 分辨率图像y采用交替最小化算法计算数学模型：
[0082].……t ，，
[0083] 其中，上述数学模型中的X的初始值为初始目标高分辨率图像f，退化矩阵Η表示 模糊下采样算子，λ i和λ 2表示正则化参数，a i是目标高分辨率图像X的高分辨率图像片 Xl的稀疏系数，α为a i的集合，β i是a i在稀疏编码域的非局部均值，〇表示所有拼接的 稀疏系数矩阵ct和超完备字典φ的乘积，▽表示梯度操作符，f是变换函数，匕是目标高 分辨率图像的参考直方图，h f是变换函数f的直方图。
[0084] 进一步地，该装置还包括：更新模块306 ;所述获取模块303,还用于采用K均值聚 类算法和主成分分析算法获取超完备字典；所述更新模块306,用于根据梯度直方图保持 不变算法更新所述变换函数f ;所述更新模块306,还根据所述超完备字典和所述变换函数 f更新所述初始目标高分辨率图像。
[0085] 可选地，所述获取模块303具体用于：根据尺寸大小随机选取K个所述目标高分辨 率图像的所述高分辨率图像片作为K个初始聚类；根据所述对所述高分辨率图像片与所述 K个初始聚类中心之间的距离，将所述目标高分辨率图像所分割成的所有的所述高分辨率 图像片划分到对应的初始聚类中；对每个所述初始聚类采用基于奇异值分解的主成分分析 法训练对应子字典；K个所述初始聚类对应的K个子字典组成所述超完备字典。
[0086] 可选地，所述更新模块306具体用于：对所述低分辨率图像y进行模糊上采样， 获得低分辨率图像z ;所述目标高分辨率图像X和所述低分辨率图像z满足如下条件： z = B*x，其中B为模糊核；对z = B*x两边求梯度，贝IJ
其中b。和h分别表示模糊核B的中心系数及它的周围近邻系数，▽!·表示目标高分辨率 图像X的梯度图像，表示所述低分辨率图像Z的梯度图像，表示所述高分辨率图 像片的梯度图像Η
近似于正态分布，则
[0087] 通过求解优化问H
i. s. t. hf = i来更新变换函数f ;
[0088] 其中匕表示目标高分辨率图像x的参考梯直方图，hz表示所述低分辨率图像z的 梯度直方图，h xl是随机变量xl的概率密度函数的离散形式，hx2是独立同分布随机变量x2 的概率密度函数的离散形式，_是卷积操作符。
[0089] 进一步地，所述更新模块306具体用于：根据迭代求解公式
确定x(t+1/2)，其中x(t)表示第t 次迭代的目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率 图像估计值，S为常数，表示 x(t)的梯度图；根据_二(贫°)卞/，确定 ，其中μ?表示第t+1/2次迭代的高分辨率图像片Xl的稀疏系数，表示 第t次迭代的高分辨率图像片\所在初始聚类对应的子字典，民表示从初始目标 高分辨率图像i在位置i处获取高分辨率图像片Xl的矩阵；根据稀疏系数修正公式
确 定第t+Ι次迭代的高分辨率图像片Xl的稀疏系数ωι的第j个分量ωι]满足：
中h表示用于调节衰减速度的控制参数，W表示归一化因子， 碱表示高分辨率图像片Xl对应的最相似图像片组中的第j个最相似图像片，Sv。表示软 阈值函数，c表示正则化参数；根据公式
角定 x(t+1)，其中x(t+1)表示第t+Ι次迭代的目标高分辨率图像估计值，Φ (t+1)表示x(t+1)对应的超 完备字典。
[0090] 更进一步地，还包括：滤波模块307 ;所述获取模块303获取收敛解为最终目标高 分辨率图像X';所述滤波模块307,用于采用复数冲击滤波公式对所述最终目标高分辨率 图像进行复原，其中所述复数冲击滤波公式为：
[0091]
[0092] 其中，X'表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像， VA'表示X'的梯度图，η和ξ表示图像的梯度方向，Irn(·)表示提取虚部，a表示用于控 制图像锐度的调整参数，τ = | τ |exp(i Θ)是复数标量系数，f是实数标量系数。
[0093] 本实施例提供的超分辨率图像重建装置，可以用于执行图2所对应的超分辨率图 像重建方法的实施技术方案，其实现原理和技术效果类似，此处不再赘述。
[0094] 本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通 过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程 序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟 或者光盘等各种可以存储程序代码的介质。
[0095] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽 管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然 可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替 换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精 神和范围。
【主权项】
1. 一种超分辨率图像重建方法，其特征在于，包括： 步骤S1，将输入的低分辨率图像y作为第一高分辨率图像心，根据所述第一高分辨率 图像心进行N次模糊下采样，生成高分辨率图像数据库Dx ; 步骤S2,对所述第一高分辨率图像心采用双三次插值算法进行模糊下采样之后，再进 行模糊上采样得到第一低分辨率图像气p对于所述第一低分辨率图像、进行N次模糊下 采样，生成低分辨率图像数据库Dz ; 步骤S3,采用所述双三次插值算法将所述第一高分辨率图像勺放大S倍后得到第二低 分辨率图像气〃将所述第二低分辨率图像々划分为至少一个低分辨率图像片； 步骤S4,对每一个低分辨率图像片采用近似最近邻搜索算法在所述低分辨率图像数据 库Dz获取对应的低分辨率最相似图像片组； 步骤S5,对所述低分辨率最相似图像片组采用岭回归法计算权重系数； 步骤S6,根据所述权重系数和高分辨率最相似图像片组确定高分辨率图像片； 步骤S7,对所述高分辨率图像片采用加权平均法来确定第二高分辨率图像七，并将所 述第二低分辨率图像％加入到所述数据库Dz中，将所述第二高分辨率图像~加入到所述 数据库Dx中。2. 根据权利要求1所述的方法，其特征在于，还包括： 步骤S8,将所述第二高分辨率图像M乍为新的第一高分辨率图像 经过M次重复执行步骤S3-S7之后，获取第三高分辨率图像 采用所述双三次插值算法对所述第三高分辨率图像心 >'进行模糊下采样，生成初始目 标高分辨率图像交》3. 根据权利要求2所述的方法，其特征在于，还包括： 步骤S9,对所述初始目标高分辨率图像i:和所述低分辨率图像y采用交替最小化算法 计算数学模型：其中，上述数学模型中的X的初始值为初始目标高分辨率图像退化矩阵H表示模糊 下采样算子，▲1和λ2表示正则化参数，Cii是目标高分辨率图像X的高分辨率图像片\的 稀疏系数，α为a i的集合，β i是a i在稀疏编码域的非局部均值，〇表示所有拼接的稀疏 系数矩阵α和超完备字典φ的乘积，V表示梯度操作符，f是变换函数，匕是目标高分辨 率图像的参考直方图，h f是变换函数f的直方图。4. 根据权利要求3所述的方法，其特征在于，所述对所述初始目标高分辨率图像f和 所述低分辨率图像y采用交替最小化算法计算数学模型具体包括： 步骤S10,采用K均值聚类算法和主成分分析算法获取超完备字典； 步骤Sll，根据梯度直方图保持不变算法更新所述变换函数f ; 步骤S12,根据所述超完备字典和所述变换函数f更新所述初始目标高分辨率图像。5. 根据权利要求4所述的方法，其特征在于，采用K均值聚类算法和主成分分析算法获 取超完备字典，具体包括： 根据尺寸大小随机选取K个所述初始目标高分辨率图像的高分辨率图像片作为K个初 始聚类； 根据所述高分辨率图像片与所述K个初始聚类中心之间的距离，将所述初始目标高分 辨率图像所分割成的所有的所述高分辨率图像片划分到对应的 初始聚类中； 对每个所述初始聚类采用基于奇异值分解的主成分分析法训练对应子字典； K个所述初始聚类对应的K个子字典组成所述超完备字典。6. 根据权利要求4所述的方法，其特征在于，根据梯度直方图保持不变算法更新所述 变换函数f，具体包括： 对所述低分辨率图像y进行模糊上采样，获得低分辨率图像z ; 所述目标高分辨率图像X和所述低分辨率图像z满足如下条件：z = B*x，其中B为模 糊核； 对z = B*x两边求梯度，则其中b。和bi分别表示模 糊核B的中心系数及它的周围近邻系数，％表示目标高分辨率图像X的梯度图像，Vr表 示所述低分辨率图像z的梯度图像，Va)表示所述高分辨率图像片的梯度图像； 令吐似于正态分布，贝[通过求解优化问题.来更新变换函数f; 其中i表示目标高分辨率图像X的参考梯直方图，hz表示所述低分辨率图像z的梯度 直方图，hxl是随机变量xl的概率密度函数的离散形式，hx2是独立同分布随机变量x2的概 率密度函数的离散形式，⑩是卷积操作符。7. 根据权利要求4所述的方法，其特征在于，所述根据所述超完备字典和所述变换函 数f更新所述初始目标高分辨率图像，具体包括： 根据公式确定x(t+1/2)，其中x(t)表示 第t次迭代的目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率图像 估计值，S为常数，V#表示x(t)的梯度图； 根据表示第t+1/2次迭代的高分辨率图 像片X1的稀疏系数，病(;)表示第t次迭代的高分辨率图像片X1所在初始聚类对应的子字典， R1表示从初始目标高分辨率图像.?在位置i处获取高分辨率图像片X1的矩阵； 根据稀疏系数和确定第t+Ι次迭代的高分辨率图像片X1的稀疏系数9 :，ω i的第j个分 量满足：其中h表示用于调节衰减速度的控制参数，W表示 归一化因子，#表示高分辨率图像片X1对应的最相似图像片组中的第j个最相似图像片， Sv。表示软阈值函数，c表示正则化参数； 根据公式表示第 t+Ι次迭代的目标高分辨率图像估计值，Φ (t+1)表示x(t+1)对应的超完备字典。8. 根据权利要求4-7任一项所述的方法，其特征在于，还包括： 重复执行步骤S10-S12,获得收敛解为最终目标高分辨率图像X' ； 采用复数冲击滤波公式对所述最终目标高分辨率图像进行复原，其中所述复数冲击滤 波公式为：其中，V表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像，Vt 表示X'的梯度图，η和ξ表示图像的梯度方向，Im(·)表示提取虚部，a表示用于控制图 像锐度的调整参数，T = I τ Iexp (i0)是复数标量系数，.!*_是实数标量系数。9. 一种超分辨率图像重建装置，其特征在于，包括： 生成模块，用于将输入的低分辨率图像y作为第一高分辨率图像气〃根据所述第一高 分辨率图像心进行N次模糊下采样，生成高分辨率图像数据库Dx ; 所述生成模块，还用于对所述第一高分辨率图像心采用双三次插值算法进行模糊下采 样之后，再进行模糊上采样得到第一低分辨率图像V，对于所述第一低分辨率图像2/进行 N次模糊下采样，生成低分辨率图像数据库D z ; 划分模块，用于采用所述双三次插值算法将所述第一高分辨率图像％放大S倍后得到 第二低分辨率图像^ f将所述第二低分辨率图像~划分为至少一个低分辨率图像片； 获取模块，用于对每一个低分辨率图像片采用近似最近邻搜索算法在所述低分辨率图 像数据库Dz获取对应的低分辨率最相似图像片组； 计算模块，用于对所述低分辨率最相似图像片组采用岭回归法计算权重系数； 确定模块，用于根据所述权重系数和高分辨率最相似图像片组确定高分辨率图像片； 所述确定模块，还用于对所述高分辨率图像片采用加权平均法来确定第二高分辨率图 像々并将所述第二低分辨率图像々·加入到所述数据库D1中，将所述第二高分辨率图像々 加入到所述数据库Dx中。10. 根据权利要求9所述的装置，其特征在于，还包括： 所述获取模块，还用于获取第三高分辨率图像气 所述生成模块，还用采用所述双三次插值算法对所述第三高分辨率图像心.<进行模糊 下采样，生成初始目标高分辨率图像I:。11. 根据权利要求10所述的装置，其特征在于，还包括： 所述计算模型，还用于对所述初始目标高分辨率图像f和所述低分辨率图像y采用交 替最小化算法计算数学模型：其中，上述数学模型中的X的初始值为初始目标高分辨率图像i,退化矩阵H表示模糊 下采样算子，▲1和λ2表示正则化参数，(I1是目标高分辨率图像X的高分辨率图像片\的 稀疏系数，Ct为a i的集合，β i是a i在稀疏编码域的非局部均值，O表示所有拼接的稀疏 系数矩阵Ct和超完备字典φ的乘积，V表示梯度操作符，f是变换函数，i是目标高分辨 率图像的参考直方图，h f是变换函数f的直方图。12. 根据权利要求11所述的装置，其特征在于，还包括：更新模块； 所述获取模块，还用于采用K均值聚类算法和主成分分析算法获取超完备字典； 所述更新模块，用于根据梯度直方图保持不变算法更新所述变换函数f ; 所述更新模块，还根据所述超完备字典和所述变换函数f更新所述初始目标高分辨率 图像。13. 根据权利要求11所述的装置，其特征在于，所述获取模块具体用于： 根据尺寸大小随机选取K个所述目标高分辨率图像的所述高分辨率图像片作为K个初 始聚类； 根据所述高分辨率图像片与所述K个初始聚类中心之间的距离，将所述目标高分辨率 图像所分割成的所有的所述高分辨率图像片划分到对应的初始聚类中； 对每个所述初始聚类采用基于奇异值分解的主成分分析法训练对应子字典； K个所述初始聚类对应的K个子字典组成所述超完备字典。14. 根据权利要求11所述的装置，其特征在于，所述更新模块具体用于： 对所述低分辨率图像y进行模糊上采样，获得低分辨率图像z ; 所述目标高分辨率图像X和所述低分辨率图像z满足如下条件：z = B*x，其中B为模 糊核； 对z = B*x两边求梯度，则其中b。和h分别表示模 糊核B的中心系数及它的周围近邻系数，Vx表示目标高分辨率图像X的梯度图像，％表 示所述低分辨率图像z的梯度图像，Va;表示所述高分辨率图像片的梯度图像；近似于正态分布，则通过求解优化问题s. t. hf = i来更新变换函数f ; 其中i表示目标高分辨率图像X的参考梯直方图，hz表示所述低分辨率图像z的梯度 直方图，hxl是随机变量xl的概率密度函数的离散形式，hx2是独立同分布随机变量x2的概 率密度函数的离散形式，?是卷积操作符。15. 根据权利要求11所述的装置，其特征在于，所述更新模块具体用于： 根据公式其中x(t)表示 第t次迭代的目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率图像 估计值，S为常数，表示x(t)的梯度图； 根据表示第t+1/2次迭代的高分辨率图 像片X1的稀疏系数，#:)表示第t次迭代的高分辨率图像片X1所在初始聚类对应的子字典， R1表示从初始目标高分辨率图像I在位置i处获取高分辨率图像片X1的矩阵； 根据稀疏系数和确定第t+Ι次迭代的高分辨率图像片X1的稀疏系数汉广》, ω i的第j个分 量ωu满足：其中h表示用于调节衰减速度的控制参数，W表示 归一化因子，￥表示高分辨率图像片X1对应的最相似图像片组中的第j个最相似图像片， Sv。表示软阈值函数，c表示正则化参数； 根据公式其中x(t+1)表示第 t+Ι次迭代的目标高分辨率图像估计值，Φ (t+1)表示x(t+1)对应的超完备字典。16. 根据权利要求9-15任一项所述的装置，其特征在于，还包括：滤波模块； 所述获取模块获取收敛解为最终目标高分辨率图像X' ； 所述滤波模块，用于采用复数冲击滤波公式对所述最终目标高分辨率图像进行复原， 其中所述复数冲击滤波公式为：其中，V表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像，W 表示X'的梯度图，Π和ξ表示图像的梯度方向，Im(·)表示提取虚部，a表示用于控制图 像锐度的调整参数，τ = I τ |exp (i Θ)是复数标量系数，f是实数标量系数。
【专利摘要】本发明提供一种超分辨率图像重建方法和装置，该方法包括：根据第一高分辨率图像进行N次模糊下采样，生成高分辨率图像数据库，对第一高分辨率图像采用双三次插值算法进行模糊下采样、模糊上采样得到第一低分辨率图像，进行N次模糊下采样，生成低分辨率图像数据库；将第一高分辨率图像放大S倍后得到第二低分辨率图像，并划分为至少一个低分辨率图像片；并采用近似最近邻搜索算法在低分辨率图像数据库获取对应的低分辨率最相似图像片组；对低分辨率最相似图像片组采用岭回归法计算权重系数确定高分辨率图像片。对高分辨率图像片采用加权平均确定第二高分辨率图像，从而能够有效降低重建超分辨率图像的误差，提高重建分辨率图像的质量。
【IPC分类】G06T5/50
【公开号】CN105488776
【申请号】CN201410532272
【发明人】章勇勤, 郭宗明, 刘家瑛
【申请人】北京大学, 北大方正集团有限公司, 北京北大方正电子有限公司
【公开日】2016年4月13日
【申请日】2014年10月10日
【技术领域】
[0001] 本发明涉及图像、视频处理领域，尤其涉及一种超分辨率图像重建方法和装置。
【背景技术】
[0002] 随着多媒体技术的迅速发展，人们对于图像和视频的视觉逼真效果和丰富的画面 细节信息的要求越来越高，这需要高分辨率的图像和视频，并且在实际的图像处理与分析 系统中，通常也都需要高分辨率的图像和视频。然而，图像的分辨率通常受限于图像采集设 备、光学、成像速度和硬件存储等制约条件，在许多成像应用中捕获的都是低分辨率的图像 和视频，例如，数码相机、医学成像系统和视频监控系统捕获的通常都是低分辨率的图像和 视频。所以，为了获取高分辨率的图像和视频，需要超分辨率技术去利用获取的低分辨率图 像和视频来重建出高分辨率的图像和视频。
[0003] 现有的超分辨率图像重建方法有：基于插值的方法、基于重建的方法和基于实例 学习的方法，其中基于重建的方法需要额外的数据库，对于获取的低分辨率图像，利用图像 数据库中的多种图像的先验知识来对当前低分辨率图像进行建模，然后，将建模后的低分 辨率图像重建为高分辨率的图像。
[0004] 但是，在现有技术中，由于对超分辨率图像建模时候利用的是一个巨大有代表性 的低分辨率与高分辨率图像片对数据库，该数据库尽可能多的包括所有图像结构，使得重 建超分辨率图像过程过于复杂，并且基于该图像数据库通常会存在无法复原高频细节的情 况。
【发明内容】
[0005] 本发明提供一种超分辨率图像重建方法和装置，从而能够有效降低重建超分辨率 图像的误差，进而提高重建图像的质量。
[0006] 第一方面，本发明提供一种超分辨率图像重建方法，包括：步骤S1，将输入的低分 辨率图像y作为第一高分辨率图像巧，根据所述第一高分辨率图像进行N次模糊下采 样，生成高分辨率图像数据库Dx ;步骤S2,对所述第一高分辨率图像·ν采用双三次插值算 法进行模糊下采样之后，再进行模糊上采样得到第一低分辨率图像~~,〃对于所述第一低分 辨率图像气*进行Ν次模糊下采样，生成低分辨率图像数据库D z ;步骤S3,采用所述双三次 插值算法将所述第一高分辨率图像心放大S倍后得到第二低分辨率图像气〃将所述第二低 分辨率图像~划分为至少一个低分辨率图像片；步骤S4,对每一个低分辨率图像片采用近 似最近邻搜索算法在所述低分辨率图像数据库D z获取对应的低分辨率最相似图像片组；步 骤S5,对所述低分辨率最相似图像片组采用岭回归法计算权重系数；步骤S6,根据所述权 重系数和高分辨率最相似图像片组确定高分辨率图像片；步骤S7,对所述高分辨率图像片 采用加权平均确定第二高分辨率图像气>，并将所述第二低分辨率图像％加入到所述数据 库Dz中，将所述第二高分辨率图像义加入到所述数据库Dx中。
[0007] 结合第一方面，在第一方面的第一种可能实施方式中，还包括：步骤S8,将所述第 二高分辨率图像七作为新的第一高分辨率图像经过Μ次重复执行步骤S3-S7之后，获 取第三高分辨率图像采用所述双三次插值算法对所述第三高分辨率图像巧，进行模糊 下采样，生成初始目标高分辨率图像f:。
[0008] 结合第一方面的第一种可能实施方式，在第一方面的第二种可能实施方式中，还 包括：步骤S9,对所述初始目标高分辨率图像1和所述低分辨率图像y采用交替最小化算 法计算数学模型：
[0009]
[0010] s. l. nf - nrJ toon] 其中，上述数学模型中的χ的初始值为初始目标高分辨率图像夂退化矩阵Η表示 模糊下采样算子，λ i和λ 2表示正则化参数，a i是目标高分辨率图像X的高分辨率图像片 Xl的稀疏系数，α为a i的集合，β i是a i在稀疏编码域的非局部均值，〇表示所有拼接的 稀疏系数矩阵ct和超完备字典φ的乘积，V表示梯度操作符，f是变换函数，匕是目标高 分辨率图像的参考直方图，h f是变换函数f的直方图。
[0012] 结合第一方面的第二种可能实施方式，在第一方面的第三种可能实施方式中，所 述对所述初始目标高分辨率图像f:和所述低分辨率图像y采用交替最小化算法计算数学模 型具体包括：步骤S10,采用K均值聚类算法和主成分分析算法获取超完备字典；步骤S11， 根据梯度直方图保持不变算法更新所述变换函数f ;步骤S12,根据所述超完备字典和所述 变换函数f更新所述初始目标高分辨率图像。
[0013] 结合第一方面的第三种可能实施方式，在第一方面的第四种可能实施方式中，采 用K均值聚类算法和主成分分析算法获取超完备字典，具体包括：根据尺寸大小随机选取K 个所述初始目标高分辨率图像的高分辨率图像片作为K个初始聚类；根据所述高分辨率图 像片与所述K个初始聚类中心之间的距离，将所述初始目标高分辨率图像所分割成的所有 的所述高分辨率图像片划分到对应的初始聚类中；对每个所述初始聚类采用基于奇异值分 解的主成分分析法训练对应子字典；K个所述初始聚类对应的K个子字典组成所述超完备 字典。
[0014] 结合第一方面的第三种可能实施方式，在第一方面的第五种可能实施方式 中，根据梯度直方图保持不变算法更新所述变换函数f，具体包括：对所述低分辨率 图像y进行模糊上采样，获得低分辨率图像z ;所述目标高分辨率图像X和所述低 4V雜銮IS像7.端Μ加下名·彳Φ ·ζ = B*x,其中B为模糊核；对z = B*x两边求梯度，贝丨J
5其中b。和h分别表示模糊核B的中心系数及它的周围 近邻系数，Vx表示目标高分辨率图像X的梯度图像，表示所述低分辨率图像z的梯度
图像表示所述目标高分辨率图像片的梯度图像Η 〃若 i 近似于正态分布，则
[0015] 通过求解优化问题叫ft|/(v.S'R丨s.t.h f = hr来更新变换函数f。
[0016] 其中b表示目标高分辨率图像X的参考梯直方图，hz表示所述低分辨率图像z的 梯度直方图，h xl是随机变量xl的概率密度函数的离散形式，hx2是独立同分布随机变量x2 的概率密度函数的离散形式，⑩是卷积操作符。
[0017] 结合第一方面的第三种可能实施方式，在第一方面的第六种可能实施方式中，所 述根据所述超完备字典和所述变换函数f更新所述初始目标高分辨率图像，具体包括：根 据公5
?角定x(t+1/2)，其中x(t)表示第t次 迭代的目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率图像估计值， S为常数，表示x(t)的梯度图；根据其中表示 第t+1/2次迭代的高分辨率图像片Xl的稀疏系数，表示第t次迭代的高分辨率图像片 Xl所在初始聚类对应的子字典，民表示从初始目标高分辨率图像I在位置i处获取高分辨 率图像片^的矩阵。
[0018] 根据稀疏系舍
和次;~5二确定第t+Ι次迭代的高分辨率图像片Xl的稀疏系数 ωι的 第j个分量ω1]满万
其中h表示用于调节衰减速度 的控制参数，W表示归一化因子，#表示高分辨率图像片Xl对应的最相似图像片 组中的第j个最相似图像片，Sv。表示软阈值函数，c表示正则化参数；根据公式 \其中x(t+1)表示第t+Ι次迭代的目 \.九
.·/. >： 标高分辨率图像估计值，Φ (t+1)表示X(t+1)对应的超完备字典。
[0019] 结合第一方面的第三种可能实施方式或第四种可能实施方式或第五种可能实施 方式或第六种可能实施方式，在第一方面的第七种可能实施方式中，还包括：重复执行步骤 S10-S12,获得收敛解为最终目标高分辨率图像X';采用复数冲击滤波公式对所述最终目 标高分辨率图像进行复原，其中所述复数冲击滤波公式为：
[0020]
[0021] 其中，X'表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像， ▽X表示X'的梯度图，η和ξ表示图像的梯度方向，Irn(·)表示提取虚部，a表示用于控 制图像锐度的调整参数，τ = | τ |exp(i Θ)是复数标量系数，f是实数标量系数。
[0022] 第二方面，本发明提供一种超分辨率图像重建装置，包括：生成模块，用于将输入 的低分辨率图像y作为第一高分辨率图像^ ,根据所述第一高分辨率图像心进行N次模 糊下采样，生成高分辨率图像数据库Dx;所述生成模块，还用于对所述第一高分辨率图像％ 采用双三次插值算法进行模糊下采样之后，再进行模糊上采样得到第一低分辨率图像心， 对于所述第一低分辨率图像％进行N次模糊下采样，生成低分辨率图像数据库D z ;划分模 块，用于采用所述双三次插值算法将所述第一高分辨率图像心>放大S倍后得到第二低分辨 率图像V ,将所述第二低分辨率图像~划分为至少一个低分辨率图像片；获取模块，用于 对每一个低分辨率图像片采用近似最近邻搜索算法在所述低分辨率图像数据库Dz获取对 应的低分辨率最相似图像片组；计算模块，用于对所述低分辨率最相似图像片组采用岭回 归法计算权重系数；确定模块，用于根据所述权重系数和高分辨率最相似图像片组确定高 分辨率图像片；所述确定模块，还用于对所述高分辨率图像片采用加权平均确定第二 高分 辨率图像％，并将所述第二低分辨率图像气f加入到所述数据库Dz中，将所述第二高分辨率 图像巧加入到所述数据库Dx中。
[0023] 结合第二方面，在第二方面的第一种可能实施方式中，还包括：所述获取模块，还 用于获取第三高分辨率图像\(> ;所述生成模块，还采用所述双三次插值算法对所述第三高 分辨率图像进行模糊下采样，生成初始目标高分辨率图像$ ?
[0024] 结合第二方面的第一种可能实施方式，在第二方面的第二种可能实施方式中，还 包括：所述计算模型，还用于对所述初始目标高分辨率图像.1和所述低分辨率图像y采用交 替最小化算法计算数学模型：
[0025]
[0026] s. t. hf = hrJ
[0027] 其中，上述数学模型中的x的初始值为初始目标高分辨率图像I，退化矩阵Η表示 模糊下采样算子，λ i和λ 2表示正则化参数，a i是目标高分辨率图像X的高分辨率图像片 Xl的稀疏系数，α为a i的集合，β i是a i在稀疏编码域的非局部均值，〇表示所有拼接的 稀疏系数矩阵ct和超完备字典φ的乘积，Y表示梯度操作符，f是变换函数，匕是目标高 分辨率图像的参考直方图，h f是变换函数f的直方图。
[0028] 结合第二方面的第二种可能实施方式，在第二方面的第三种可能实施方式中，还 包括：更新模块；所述获取模块，还用于采用K均值聚类算法和主成分分析算法获取超完备 字典；所述更新模块，用于根据梯度直方图保持不变算法更新所述变换函数f ;所述更新模 块，还根据所述超完备字典和所述变换函数f更新所述初始目标高分辨率图像。
[0029] 结合第二方面的第三种可能实施方式，在第二方面的第四种可能实施方式中，所 述获取模块具体用于：根据尺寸大小随机选取K个所述目标高分辨率图像的所述高分辨率 图像片作为K个初始聚类；根据所述高分辨率图像片与所述K个初始聚类中心之间的距离， 将所述目标高分辨率图像所分割成的所有的所述高分辨率图像片划分到对应的初始聚类 中；对每个所述初始聚类采用基于奇异值分解的主成分分析法训练对应子字典；K个所述 初始聚类对应的K个子字典组成所述超完备字典。
[0030] 结合第二方面的第三种可能实施方式，在第二方面的第五种可能实施方式 中，所述更新模块具体用于：对所述低分辨率图像y进行模糊上采样，获得低分辨率 图像z ;所述目标高分辨率图像X和所述低分辨率图像z满足如下条件：z = B*x，其 中B为模糊核；对z = B*x两边求梯度，则
*其中b。 和匕分别表示模糊核B的中心系数及它的周围近邻系数，表示目标高分辨率图像 X的梯度图像，表示所述低分辨率图像z的梯度图像，Vx,.表示所述高分辨率图像 片的梯度图像；4
?〖近似于正态分布，则
[0031] 通过求解优化问题_n||/(Vx丨s s. t. hf =匕来更新变换函数f。
[0032] 其中匕表示目标高分辨率图像x的参考梯直方图，hz表示所述低分辨率图像z的 梯度直方图，h xl是随机变量xl的概率密度函数的离散形式，hx2是独立同分布随机变量x2 的概率密度函数的离散形式，是卷积操作符。
[0033] 结合第二方面的第三种可能实施方式，在第二方面的第六种可能实 施方式中，所述更新模块具体用于：根据超分辨率优化问题的迭代求解公式
角定x(t+1/2)，其中x(t)表示第t次迭代的 目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率图像估计值，δ为常 数，％激表示x (t)的梯度图；根据#购=(#!f爲#+叫确定,其中#的壞 次迭代的高分辨率图像片Xl的稀疏系数，表示第t次迭代的高分辨率图像片Xl所在初 始聚类对应的子字典，氏表示从初始目标高分辨率图像f在位置i处获取高分辨率图像片 ^的矩阵；根据稀疏系娄
和确定第t+i次迭代的高分辨率图像片Xl的稀疏系数的 第j个分量ωι]满足
其中h表示用于调节衰减速度 的控制参数，W表示归一化因子，#表示高分辨率图像片Xl对应的最相似图像片 组中的第j个最相似图像片，Sv。表示软阈值函数，c表示正则化参数；根据公式
(t+1)，其中x(t+1)表示第t+Ι次迭代的目 标高分辨率图像估计值，Φ (t+1)表示x(t+1)对应的超完备字典。
[0034] 结合第二方面的第三种可能实施方式或第四种可能实施方式或第五种可能实施 方式或第六种可能实施方式，在第二方面的第七种可能实施方式中，还包括：滤波模块；所 述获取模块获取收敛解为最终目标高分辨率图像V ;所述滤波模块，用于采用复数冲击滤 波公式对所述最终目标高分辨率图像进行复原，其中所述复数冲击滤波公式为：
[0035]
[0036] 其中，X'表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像， ▽.γ'表示X'的梯度图，Π 和ξ表示图像的梯度方向，Im( ·)表示提取虚部，a表示用于控 制图像锐度的调整参数，τ = | τ |exp(i Θ)是复数标量系数，f是实数标量系数。
[0037] 本发明提供一种超分辨率图像重建方法，包括：将输入的低分辨率图像作为第一 高分辨率图像，根据所述第一高分辨率图像进行N次模糊下采样，生成高分辨率图像数据 库，对所述第一高分辨率图像采用双三次插值算法进行模糊下采样之后，再进行模糊上采 样得到第一低分辨率图像，对于所述第一低分辨率图像进行N次模糊下采样，生成低分辨 率图像数据库；采用所述双三次插值算法将所述第一高分辨率图像放大S倍后得到第二低 分辨率图像，将所述第二低分辨率图像划分为至少一个低分辨率图像片；对每一个低分辨 率图像片采用近似最近邻搜索算法在所述低分辨率图像数据库获取对应的低分辨率最相 似图像片组；对所述低分辨率最相似图像片组采用岭回归法计算权重系数；根据所述权重 系数和高分辨率最相似图像片组确定高分辨率图像片。对所述高分辨率图像片采用加权平 均确定第二高分辨率图像，通过基于岭回归法的多级放大技术来估计初始目标高分辨率图 像，并且综合利用数据保真度、稀疏非局部正则化和梯度直方图正则化先验进行数学建模， 通过最优化问题求解来获取最终的目标高分辨率图像，最后通过冲击滤波进一步锐化边缘 和恢复图像结构细节处理从而能够有效降低重建超分辨率图像的误差，进而提高重建图像 的质量。
【附图说明】
[0038] 图1为本发明一实施例提供的一种超分辨率图像重建方法的流程图；
[0039] 图2为本发明另一实施例提供的超分辨率图像重建方法的流程图；
[0040] 图3为本发明一实施例提供的一种超分辨率图像重建装置结构示意图；
[0041] 图4为本发明另一实施例提供的一种超分辨率图像重建装置结构示意图。
【具体实施方式】
[0042] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043] 图1为本发明一实施例提供的一种超分辨率图像重建方法的流程图，其中该方法 适用于获取高分辨率图像或者视频的场景，其中该方法的执行主体为：超分辨率图像重建 装置，该装置可以为计算机等智能终端，超分辨率图像重建方法具体包括如下流程：
[0044] 步骤S1，将输入的低分辨率图像作为第一高分辨率图像，根据第一高分辨率图像 进行N次模糊下采样，生成高分辨率图像数据库。
[0045] 其中，低分辨率图像用y表示，第一高分辨率图像用i表示，高分辨率图像数据库 用Dx表不。
[0046] 步骤S2,对第一高分辨率图像采用双三次插值算法进行模糊下采样之后，再进行 模糊上采样得到第一低分辨率图像，对于第一低分辨率图像进行N次模糊下采样，生成低 分辨率图像数据库。
[0047] 其中，第一低分辨率图像用^表示，低分辨率图像数据库用Dz表示，在相同 尺度级别上的第一低分辨率图像心和第一高分辨率图像心之间的对应关系建立如下：
，其中，*是卷积操作符，丨s是尺度因子为s的上采样操 作符，丨s是尺度因子为s的下采样操作符，B是模糊核，Es是先模糊下采样再上采样的尺 度因子为s的符合操作符，则得到第一低分辨率图像对于第一低分辨率图像七进行N 次模糊下采样，生成低分辨率图像数据库Dz。
[0048] 步骤S3,采用双三次插值算法将第一高分辨率图像放大S倍后得到第二低分辨率 图像，将第二低分辨率图像划分为至少一个低分辨率图像片。
[0049] 其中，第二低分辨率图像为&,,具体地，％: ，并将第二低分辨率图像&划 分为至少一个低分辨率图像片。
[0050] 步骤S4,对每一个低分辨率图像片采用近似最近邻搜索算法在低分辨率图像数据 库获取对应的低分辨率最相似图像片组。
[0051] 步骤S5,对所述低分辨率最相似图像片组采用岭回归法计算权 重系数。
[0052] 具体地，对于任一个低分辨率图像片都可以利用近似最近邻搜索算法从低分辨率 图像数据库D z中搜索对应的低分辨率最相似图像片组，比如：假设低分辨率图像片Zl对应 的低分辨率最相似图像片组为L Pl，则采用岭回归方法对Zl和LPl之间的近似线性关系进行 建模形成的约束优化问题如下
^中，Y是权重系数，τ是用于 缓解奇异性问题和稳定求解的正则化参数。通过求解这个正规化最小二乘回归问题，本发 明给出该问题的闭式解
β其中，I是单位矩阵。
[0053] 步骤S6,根据所述权重系数和高分辨率最相似图像片组确定高分辨率图像片。
[0054] 将步骤S5中Zl与LPl的映射关系从低分辨率图像数据库D z应用到高分辨率图像 数据库Dx，则高分辨率图像片Pl与高分辨率最相似图像片组H Pl的关系式为Pl = HPl Y。
[0055] 步骤S7,对高分辨率图像片采用加权平均法来确定第二高分辨率图像，并将所述 第二低分辨率图像加入到所述数据库中，将所述第二高分辨率图像加入到所述数据库中。
[0056] 其中，第二高分辨率图像为勺
[0057] 本发明提供一种超分辨率图像重建方法，包括：将输入的低分辨率图像作为第一 高分辨率图像，根据所述第一高分辨率图像进行N次模糊下采样，生成高分辨率图像数据 库，对所述第一高分辨率图像采用双三次插值算法进行模糊下采样之后，再进行模糊上采 样得到第一低分辨率图像，对于所述第一低分辨率图像进行N次模糊下采样，生成低分辨 率图像数据库；采用所述双三次插值算法将所述第一高分辨率图像放大S倍后得到第二低 分辨率图像，将所述第二低分辨率图像划分为至少一个低分辨率图像片；对每一个低分辨 率图像片采用近似最近邻搜索算法在所述低分辨率图像数据库获取对应的低分辨率最相 似图像片组；对所述低分辨率最相似图像片组采用岭回归法计算权重系数；根据所述权重 系数和高分辨率最相似图像片组确定高分辨率图像片。对所述高分辨率图像片采用加权平 均法确定第二高分辨率图像，通过基于岭回归法的多级放大技术来估计初始目标高分辨率 图像，从而能够有效降低重建超分辨率图像的误差，进而提高重建图像的质量。
[0058] 图2为本发明另一实施例提供的超分辨率图像重建方法的流程图，该实施例是建 立在上一实施例基础之上的，在上一实施例步骤S7之后执行的，其中具体包括：
[0059] 步骤S8,将第二高分辨率图像作为新的第一高分辨率图像，经过Μ次重复执行步 骤S3-S7之后，获得第三高分辨率图像，采用双三次插值算法对第三高分辨率图像进行模 糊下采样，生成初始目标高分辨率图像。
[0060] 其中，第三高分辨率图像为心％初始目标高分辨率图像I::,值得一提的是，本发 明采用了重复执行步骤S3-S7中Μ次是基于当尺度因子较小时，低分辨率图像与高分辨 率图像更相似这一因素考虑的。因此，鉴于自然图像在尺度域和空间域上存在大量自相 似性冗余，与传统的双三次插值方法不同，本发明所述的方法采用基于岭回归法的多级 放大技术来初始化目标高分辨率图像。即是采用多次迭代放大方案，当单次放大方法被 多级放大技术取代后，本发明所述每级放大步骤中的尺度因子就非常小，从而能够从低 分辨率图像库中搜索到更多的相似图像片用于高分辨率图像重建。对于一幅输入的低 分辨率图像y和给定的总体尺度因子d，本发明所述的多级放大步骤中的级联被确定为
其中s是每级放大中的尺度因子。
[0061] 步骤S9,对初始目标高分辨率图像和低分辨率图像采用交替最小化算法计算数学 模型：
[0062]
[0063] s. t. hf = hrJ
[0064] 其中，上述数学模型中的x的初始值为初始目标高分辨率图像J ,退化矩阵Η表示 模糊下采样算子，λ i和λ 2表示正则化参数，a i是目标高分辨率图像X的高分辨率图像片 Xl的稀疏系数，α为a i的集合，β i是a i在稀疏编码域的非局部均值，〇表示所有拼接的 稀疏系数矩阵ct和超完备字典φ的乘积，f表示梯度操作符，f是变换函数，匕是目标高 分辨率图像的参考直方图，h f是变换函数f的直方图。
[0065] 具体地，步骤S1-S8中确定的初始目标高分辨率图像J针对该数学模型可能不是 最优解，因此需要不断迭代，直到获得收敛解为止。其中，所述对所述目标高分辨率图像X 和所述低分辨率图像y采用交替最小化算法计算数学模型具体包括：
[0066] 步骤S10,采用K均值聚类算法和主成分分析算法获取超完备字典。
[0067] 具体地，采用K均值聚类算法和主成分分析算法获取超完备字典，具体包括：根据 尺寸大小随机选取K个所述目标高分辨率图像的所述高分辨率图像片作为K个初始聚类； 根据所述高分辨率图像片与所述K个初始聚类中心之间的距离，将所述目标高分辨率图像 所分割成的所有的所述高分辨率图像片划分到对应的初始聚类中；对每个所述初始聚类采 用基于奇异值分解的主成分分析法训练对应子字典；Κ个所述初始聚类对应的Κ个子字典 组成所述超完备字典。
[0068] 步骤S11，根据梯度直方图保持不变算法更新变换函数。
[0069] 其中，变换函数为f，可选地，根据梯度直方图保持不变算法更新所述变换函数f， 具体包括：对所述低分辨率图像y进行模糊上采样，获得低分辨率图像z ;所述目标高分辨 率图像X和所述低分辨率图像Z满足如下条件：z = B*x，其中B为模糊核；对z = B*x两边求 梯度，贝I
其中b。和h分别表示模糊核B的中心系数及它 的周围近邻系数，Vx表示目标高分辨率图像X的梯度图像，？2表示所述低分辨率图像z的 梯度图像，％;表示所述高分辨率图像片的梯度图像；令
若&二近似于正态分布，贝IJ i
[0070] 通过求解优化问遘
t. hf = i来更新变换函数f ;其中i 表示目标高分辨率图像X的参考梯直方图，hz表示所述低分辨率图像z的梯度直方图，hxl 是随机变量χ?的概率密度函数的离散形式，hx2是独立同分布随机变量x2的概率密度函数 的离散形式，發是卷积操作符。
[0071] 步骤S12,根据超完备字典和变换函数更新目标高分辨率图像。
[0072] 具体地，所述根据所述超完备字典和所述变换函数f更新所述初 始目标高分辨率图像，具体包括：根据超分辨率优化问题的迭代求解公式
I定x(t+1/2)，其中x(t)表示第t次迭代的 目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率图像估计值，δ为 常数，表示x(t)的梯度图；根据确定1;:\其中表示第 t+1/2次迭代的高分辨率图像片Xl的稀疏系数，#f)表示第t次迭代的高分辨率图像片 Xl所 在初始聚类对应的子字典，氏表示从初始目标高分辨率图像J:在位置i处获取高分辨率图 像片\的矩阵。
[0073] 根据稀疏系数
和摩= 确定第t+Ι次迭代的高分辨率图像片Xl的稀疏系数《Γ，ω i 的第j个分量ω、,满足其中h表示用于调节衰减速 度的控制参数，W表示归一化因子，#
表示高分辨率图像片Xl对应的最相似图像 片组中的第j个最相似图像，Sv。表示软阈值函数，c表示正则化参数；根据公式
Μ确定X(t+1)，其中X(t+1)表示第t+1次迭代的目 标高分辨率图像估计值，φα+1)表示X(t+1)对应的超完备字典。循环执行S10-S12,直到获得 的目标高分辨率图像为收敛解为止。
[0074] 进一步地，重复执行步骤S10-S12,获得收敛解为最终目标高分辨率图像V ;采 用复数冲击滤波公式对所述最终目标高分辨率图像进行复原，其中所述复数冲击滤波公式 为：
[0075]
[0076] 其中，X'表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像， Vx表示X'的梯度图，η和ξ表示图像的梯度方向，Im( ·)表示提取虚部，a表示用于控 制图像锐度的调整参数，τ = | τ |exp(i0)是复数标量系数，了是实数标量系数。
[0077] 本实施例提供的超分辨率图像重建方法综合利用数据保真度、稀疏非局部正则化 和梯度直方图正则化先验进行数学建模，通过最优化问题求解来获取最终的目标高分辨率 图像，最后通过冲击滤波进一步锐化边缘和恢复图像结构细节处理。
[0078] 图3为本发明一实施例提供的一种超分辨率图像重建装置结构示意图，其中该装 置包括：生成模块301，用于将输入的低分辨率图像y作为第一高分辨率图像'根据所 述第一高分辨率图像心进行N次模糊下采样，生成高分辨率图像数据库D x ;所述生成模块 301，还用于对所述第一高分辨率图像心采用双三次插值算法进行模糊下采样之后，再进 行模糊上采样得到第一低分辨率图像气^对于所述第一低分辨率图像&进行N次模糊下采 样，生成低分辨率图像数据库D z ;划分模块302,用于采用所述双三次插值算法将所述第一 高分辨率图像'巧放大S倍后得到第二低分辨率图像^，将所述第二低分辨率图像％划分 为至少一个低分辨率图 像片；获取模块303,用于对每一个低分辨率图像片采用近似最近 邻搜索算法在所述低分辨率图像数据库D z获取对应的低分辨率最相似图像片组；计算模 块304,用于对所述低分辨率最相似图像片组采用岭回归法计算权重系数；确定模块305， 用于根据所述权重系数和高分辨率最相似图像片组确定高分辨率图像片；所述确定模块 305,还用于对所述高分辨率图像片采用加权平均法来确定第二高分辨率图像'?，并将所述 第二低分辨率图像^加入到所述数据库Dz中，将所述第二高分辨率图像心加入到所述数 据库Dx中。
[0079] 本实施例提供的超分辨率图像重建装置，可以用于执行图1所对应的超分辨率图 像重建方法的实施技术方案，其实现原理和技术效果类似，此处不再赘述。
[0080] 图4为本发明另一实施例提供的一种超分辨率图像重建装置结构示意图，在图3 对应实施例基础之上，所述获取模块303,还用于获取第三高分辨率图像;所述生成模块 301，还采用所述双三次插值算法对所述第三高分辨率图像进行模糊下采样，生成初始 目标高分辨率图像i R所述计算模型304,还用于对所述初始目标高分辨率图像f和所述低
[0081] 分辨率图像y采用交替最小化算法计算数学模型：
[0082].……t ，，
[0083] 其中，上述数学模型中的X的初始值为初始目标高分辨率图像f，退化矩阵Η表示 模糊下采样算子，λ i和λ 2表示正则化参数，a i是目标高分辨率图像X的高分辨率图像片 Xl的稀疏系数，α为a i的集合，β i是a i在稀疏编码域的非局部均值，〇表示所有拼接的 稀疏系数矩阵ct和超完备字典φ的乘积，▽表示梯度操作符，f是变换函数，匕是目标高 分辨率图像的参考直方图，h f是变换函数f的直方图。
[0084] 进一步地，该装置还包括：更新模块306 ;所述获取模块303,还用于采用K均值聚 类算法和主成分分析算法获取超完备字典；所述更新模块306,用于根据梯度直方图保持 不变算法更新所述变换函数f ;所述更新模块306,还根据所述超完备字典和所述变换函数 f更新所述初始目标高分辨率图像。
[0085] 可选地，所述获取模块303具体用于：根据尺寸大小随机选取K个所述目标高分辨 率图像的所述高分辨率图像片作为K个初始聚类；根据所述对所述高分辨率图像片与所述 K个初始聚类中心之间的距离，将所述目标高分辨率图像所分割成的所有的所述高分辨率 图像片划分到对应的初始聚类中；对每个所述初始聚类采用基于奇异值分解的主成分分析 法训练对应子字典；K个所述初始聚类对应的K个子字典组成所述超完备字典。
[0086] 可选地，所述更新模块306具体用于：对所述低分辨率图像y进行模糊上采样， 获得低分辨率图像z ;所述目标高分辨率图像X和所述低分辨率图像z满足如下条件： z = B*x，其中B为模糊核；对z = B*x两边求梯度，贝IJ
其中b。和h分别表示模糊核B的中心系数及它的周围近邻系数，▽!·表示目标高分辨率 图像X的梯度图像，表示所述低分辨率图像Z的梯度图像，表示所述高分辨率图 像片的梯度图像Η
近似于正态分布，则
[0087] 通过求解优化问H
i. s. t. hf = i来更新变换函数f ;
[0088] 其中匕表示目标高分辨率图像x的参考梯直方图，hz表示所述低分辨率图像z的 梯度直方图，h xl是随机变量xl的概率密度函数的离散形式，hx2是独立同分布随机变量x2 的概率密度函数的离散形式，_是卷积操作符。
[0089] 进一步地，所述更新模块306具体用于：根据迭代求解公式
确定x(t+1/2)，其中x(t)表示第t 次迭代的目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率 图像估计值，S为常数，表示 x(t)的梯度图；根据_二(贫°)卞/，确定 ，其中μ?表示第t+1/2次迭代的高分辨率图像片Xl的稀疏系数，表示 第t次迭代的高分辨率图像片\所在初始聚类对应的子字典，民表示从初始目标 高分辨率图像i在位置i处获取高分辨率图像片Xl的矩阵；根据稀疏系数修正公式
确 定第t+Ι次迭代的高分辨率图像片Xl的稀疏系数ωι的第j个分量ωι]满足：
中h表示用于调节衰减速度的控制参数，W表示归一化因子， 碱表示高分辨率图像片Xl对应的最相似图像片组中的第j个最相似图像片，Sv。表示软 阈值函数，c表示正则化参数；根据公式
角定 x(t+1)，其中x(t+1)表示第t+Ι次迭代的目标高分辨率图像估计值，Φ (t+1)表示x(t+1)对应的超 完备字典。
[0090] 更进一步地，还包括：滤波模块307 ;所述获取模块303获取收敛解为最终目标高 分辨率图像X';所述滤波模块307,用于采用复数冲击滤波公式对所述最终目标高分辨率 图像进行复原，其中所述复数冲击滤波公式为：
[0091]
[0092] 其中，X'表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像， VA'表示X'的梯度图，η和ξ表示图像的梯度方向，Irn(·)表示提取虚部，a表示用于控 制图像锐度的调整参数，τ = | τ |exp(i Θ)是复数标量系数，f是实数标量系数。
[0093] 本实施例提供的超分辨率图像重建装置，可以用于执行图2所对应的超分辨率图 像重建方法的实施技术方案，其实现原理和技术效果类似，此处不再赘述。
[0094] 本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通 过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程 序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟 或者光盘等各种可以存储程序代码的介质。
[0095] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽 管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然 可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替 换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精 神和范围。
【主权项】
1. 一种超分辨率图像重建方法，其特征在于，包括： 步骤S1，将输入的低分辨率图像y作为第一高分辨率图像心，根据所述第一高分辨率 图像心进行N次模糊下采样，生成高分辨率图像数据库Dx ; 步骤S2,对所述第一高分辨率图像心采用双三次插值算法进行模糊下采样之后，再进 行模糊上采样得到第一低分辨率图像气p对于所述第一低分辨率图像、进行N次模糊下 采样，生成低分辨率图像数据库Dz ; 步骤S3,采用所述双三次插值算法将所述第一高分辨率图像勺放大S倍后得到第二低 分辨率图像气〃将所述第二低分辨率图像々划分为至少一个低分辨率图像片； 步骤S4,对每一个低分辨率图像片采用近似最近邻搜索算法在所述低分辨率图像数据 库Dz获取对应的低分辨率最相似图像片组； 步骤S5,对所述低分辨率最相似图像片组采用岭回归法计算权重系数； 步骤S6,根据所述权重系数和高分辨率最相似图像片组确定高分辨率图像片； 步骤S7,对所述高分辨率图像片采用加权平均法来确定第二高分辨率图像七，并将所 述第二低分辨率图像％加入到所述数据库Dz中，将所述第二高分辨率图像~加入到所述 数据库Dx中。2. 根据权利要求1所述的方法，其特征在于，还包括： 步骤S8,将所述第二高分辨率图像M乍为新的第一高分辨率图像 经过M次重复执行步骤S3-S7之后，获取第三高分辨率图像 采用所述双三次插值算法对所述第三高分辨率图像心 >'进行模糊下采样，生成初始目 标高分辨率图像交》3. 根据权利要求2所述的方法，其特征在于，还包括： 步骤S9,对所述初始目标高分辨率图像i:和所述低分辨率图像y采用交替最小化算法 计算数学模型：其中，上述数学模型中的X的初始值为初始目标高分辨率图像退化矩阵H表示模糊 下采样算子，▲1和λ2表示正则化参数，Cii是目标高分辨率图像X的高分辨率图像片\的 稀疏系数，α为a i的集合，β i是a i在稀疏编码域的非局部均值，〇表示所有拼接的稀疏 系数矩阵α和超完备字典φ的乘积，V表示梯度操作符，f是变换函数，匕是目标高分辨 率图像的参考直方图，h f是变换函数f的直方图。4. 根据权利要求3所述的方法，其特征在于，所述对所述初始目标高分辨率图像f和 所述低分辨率图像y采用交替最小化算法计算数学模型具体包括： 步骤S10,采用K均值聚类算法和主成分分析算法获取超完备字典； 步骤Sll，根据梯度直方图保持不变算法更新所述变换函数f ; 步骤S12,根据所述超完备字典和所述变换函数f更新所述初始目标高分辨率图像。5. 根据权利要求4所述的方法，其特征在于，采用K均值聚类算法和主成分分析算法获 取超完备字典，具体包括： 根据尺寸大小随机选取K个所述初始目标高分辨率图像的高分辨率图像片作为K个初 始聚类； 根据所述高分辨率图像片与所述K个初始聚类中心之间的距离，将所述初始目标高分 辨率图像所分割成的所有的所述高分辨率图像片划分到对应的 初始聚类中； 对每个所述初始聚类采用基于奇异值分解的主成分分析法训练对应子字典； K个所述初始聚类对应的K个子字典组成所述超完备字典。6. 根据权利要求4所述的方法，其特征在于，根据梯度直方图保持不变算法更新所述 变换函数f，具体包括： 对所述低分辨率图像y进行模糊上采样，获得低分辨率图像z ; 所述目标高分辨率图像X和所述低分辨率图像z满足如下条件：z = B*x，其中B为模 糊核； 对z = B*x两边求梯度，则其中b。和bi分别表示模 糊核B的中心系数及它的周围近邻系数，％表示目标高分辨率图像X的梯度图像，Vr表 示所述低分辨率图像z的梯度图像，Va)表示所述高分辨率图像片的梯度图像； 令吐似于正态分布，贝[通过求解优化问题.来更新变换函数f; 其中i表示目标高分辨率图像X的参考梯直方图，hz表示所述低分辨率图像z的梯度 直方图，hxl是随机变量xl的概率密度函数的离散形式，hx2是独立同分布随机变量x2的概 率密度函数的离散形式，⑩是卷积操作符。7. 根据权利要求4所述的方法，其特征在于，所述根据所述超完备字典和所述变换函 数f更新所述初始目标高分辨率图像，具体包括： 根据公式确定x(t+1/2)，其中x(t)表示 第t次迭代的目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率图像 估计值，S为常数，V#表示x(t)的梯度图； 根据表示第t+1/2次迭代的高分辨率图 像片X1的稀疏系数，病(;)表示第t次迭代的高分辨率图像片X1所在初始聚类对应的子字典， R1表示从初始目标高分辨率图像.?在位置i处获取高分辨率图像片X1的矩阵； 根据稀疏系数和确定第t+Ι次迭代的高分辨率图像片X1的稀疏系数9 :，ω i的第j个分 量满足：其中h表示用于调节衰减速度的控制参数，W表示 归一化因子，#表示高分辨率图像片X1对应的最相似图像片组中的第j个最相似图像片， Sv。表示软阈值函数，c表示正则化参数； 根据公式表示第 t+Ι次迭代的目标高分辨率图像估计值，Φ (t+1)表示x(t+1)对应的超完备字典。8. 根据权利要求4-7任一项所述的方法，其特征在于，还包括： 重复执行步骤S10-S12,获得收敛解为最终目标高分辨率图像X' ； 采用复数冲击滤波公式对所述最终目标高分辨率图像进行复原，其中所述复数冲击滤 波公式为：其中，V表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像，Vt 表示X'的梯度图，η和ξ表示图像的梯度方向，Im(·)表示提取虚部，a表示用于控制图 像锐度的调整参数，T = I τ Iexp (i0)是复数标量系数，.!*_是实数标量系数。9. 一种超分辨率图像重建装置，其特征在于，包括： 生成模块，用于将输入的低分辨率图像y作为第一高分辨率图像气〃根据所述第一高 分辨率图像心进行N次模糊下采样，生成高分辨率图像数据库Dx ; 所述生成模块，还用于对所述第一高分辨率图像心采用双三次插值算法进行模糊下采 样之后，再进行模糊上采样得到第一低分辨率图像V，对于所述第一低分辨率图像2/进行 N次模糊下采样，生成低分辨率图像数据库D z ; 划分模块，用于采用所述双三次插值算法将所述第一高分辨率图像％放大S倍后得到 第二低分辨率图像^ f将所述第二低分辨率图像~划分为至少一个低分辨率图像片； 获取模块，用于对每一个低分辨率图像片采用近似最近邻搜索算法在所述低分辨率图 像数据库Dz获取对应的低分辨率最相似图像片组； 计算模块，用于对所述低分辨率最相似图像片组采用岭回归法计算权重系数； 确定模块，用于根据所述权重系数和高分辨率最相似图像片组确定高分辨率图像片； 所述确定模块，还用于对所述高分辨率图像片采用加权平均法来确定第二高分辨率图 像々并将所述第二低分辨率图像々·加入到所述数据库D1中，将所述第二高分辨率图像々 加入到所述数据库Dx中。10. 根据权利要求9所述的装置，其特征在于，还包括： 所述获取模块，还用于获取第三高分辨率图像气 所述生成模块，还用采用所述双三次插值算法对所述第三高分辨率图像心.<进行模糊 下采样，生成初始目标高分辨率图像I:。11. 根据权利要求10所述的装置，其特征在于，还包括： 所述计算模型，还用于对所述初始目标高分辨率图像f和所述低分辨率图像y采用交 替最小化算法计算数学模型：其中，上述数学模型中的X的初始值为初始目标高分辨率图像i,退化矩阵H表示模糊 下采样算子，▲1和λ2表示正则化参数，(I1是目标高分辨率图像X的高分辨率图像片\的 稀疏系数，Ct为a i的集合，β i是a i在稀疏编码域的非局部均值，O表示所有拼接的稀疏 系数矩阵Ct和超完备字典φ的乘积，V表示梯度操作符，f是变换函数，i是目标高分辨 率图像的参考直方图，h f是变换函数f的直方图。12. 根据权利要求11所述的装置，其特征在于，还包括：更新模块； 所述获取模块，还用于采用K均值聚类算法和主成分分析算法获取超完备字典； 所述更新模块，用于根据梯度直方图保持不变算法更新所述变换函数f ; 所述更新模块，还根据所述超完备字典和所述变换函数f更新所述初始目标高分辨率 图像。13. 根据权利要求11所述的装置，其特征在于，所述获取模块具体用于： 根据尺寸大小随机选取K个所述目标高分辨率图像的所述高分辨率图像片作为K个初 始聚类； 根据所述高分辨率图像片与所述K个初始聚类中心之间的距离，将所述目标高分辨率 图像所分割成的所有的所述高分辨率图像片划分到对应的初始聚类中； 对每个所述初始聚类采用基于奇异值分解的主成分分析法训练对应子字典； K个所述初始聚类对应的K个子字典组成所述超完备字典。14. 根据权利要求11所述的装置，其特征在于，所述更新模块具体用于： 对所述低分辨率图像y进行模糊上采样，获得低分辨率图像z ; 所述目标高分辨率图像X和所述低分辨率图像z满足如下条件：z = B*x，其中B为模 糊核； 对z = B*x两边求梯度，则其中b。和h分别表示模 糊核B的中心系数及它的周围近邻系数，Vx表示目标高分辨率图像X的梯度图像，％表 示所述低分辨率图像z的梯度图像，Va;表示所述高分辨率图像片的梯度图像；近似于正态分布，则通过求解优化问题s. t. hf = i来更新变换函数f ; 其中i表示目标高分辨率图像X的参考梯直方图，hz表示所述低分辨率图像z的梯度 直方图，hxl是随机变量xl的概率密度函数的离散形式，hx2是独立同分布随机变量x2的概 率密度函数的离散形式，?是卷积操作符。15. 根据权利要求11所述的装置，其特征在于，所述更新模块具体用于： 根据公式其中x(t)表示 第t次迭代的目标高分辨率图像估计值，x(t+1/2)表示第t+1/2次迭代的目标高分辨率图像 估计值，S为常数，表示x(t)的梯度图； 根据表示第t+1/2次迭代的高分辨率图 像片X1的稀疏系数，#:)表示第t次迭代的高分辨率图像片X1所在初始聚类对应的子字典， R1表示从初始目标高分辨率图像I在位置i处获取高分辨率图像片X1的矩阵； 根据稀疏系数和确定第t+Ι次迭代的高分辨率图像片X1的稀疏系数汉广》, ω i的第j个分 量ωu满足：其中h表示用于调节衰减速度的控制参数，W表示 归一化因子，￥表示高分辨率图像片X1对应的最相似图像片组中的第j个最相似图像片， Sv。表示软阈值函数，c表示正则化参数； 根据公式其中x(t+1)表示第 t+Ι次迭代的目标高分辨率图像估计值，Φ (t+1)表示x(t+1)对应的超完备字典。16. 根据权利要求9-15任一项所述的装置，其特征在于，还包括：滤波模块； 所述获取模块获取收敛解为最终目标高分辨率图像X' ； 所述滤波模块，用于采用复数冲击滤波公式对所述最终目标高分辨率图像进行复原， 其中所述复数冲击滤波公式为：其中，V表示最终目标高分辨率图像，X"表示复原后的最终目标高分辨率图像，W 表示X'的梯度图，Π和ξ表示图像的梯度方向，Im(·)表示提取虚部，a表示用于控制图 像锐度的调整参数，τ = I τ |exp (i Θ)是复数标量系数，f是实数标量系数。
【专利摘要】本发明提供一种超分辨率图像重建方法和装置，该方法包括：根据第一高分辨率图像进行N次模糊下采样，生成高分辨率图像数据库，对第一高分辨率图像采用双三次插值算法进行模糊下采样、模糊上采样得到第一低分辨率图像，进行N次模糊下采样，生成低分辨率图像数据库；将第一高分辨率图像放大S倍后得到第二低分辨率图像，并划分为至少一个低分辨率图像片；并采用近似最近邻搜索算法在低分辨率图像数据库获取对应的低分辨率最相似图像片组；对低分辨率最相似图像片组采用岭回归法计算权重系数确定高分辨率图像片。对高分辨率图像片采用加权平均确定第二高分辨率图像，从而能够有效降低重建超分辨率图像的误差，提高重建分辨率图像的质量。
【IPC分类】G06T5/50
【公开号】CN105488776
【申请号】CN201410532272
【发明人】章勇勤, 郭宗明, 刘家瑛
【申请人】北京大学, 北大方正集团有限公司, 北京北大方正电子有限公司
【公开日】2016年4月13日
【申请日】2014年10月10日
最新回复(0)