基于分块spca的多视点图像融合方法
基于分块spca的多视点图像融合方法
【技术领域】
[0001] 本发明涉及多视点视频的采集领域，尤其涉及一种基于分块SPCA多视点图像融合 方法。
【背景技术】
[0002] 传统的图像融合分为像素级融合、特征级融合和决策级融合，它们过于注重图像 被处理的层次，但忽略了方法本身所具有的特点。实际应用中，为了描述和研究方便，人们 更倾向于从对图像融合处理的手段上来命名各种方法。
[0003] 因此，研究者们分别提出了基于小波变换，金字塔分解，HIS空间，形态学，统计学， 神经网络，PCA等的图像融合。此外，也有人提出了一些被应用得相对较少，但效果比较理想 的方法，如混合像元分解法、多波长的数字全息技术法、梯度法以及模糊技术法等。另外，多 视点图像以其独特的优势，在实际应用中发挥着不可替代的优势。
[0004] 多视点图像的存储，运输是困扰人们的一个难题。因此，实现对多视点图像的融合 压缩具有十分重要的实际意义。由于多视点图像所具有的高分辨率、高信息量特点，为了后 续计算处理的方便，预先对图像进行降维也是研究的重点。同时，在融合压缩的时候，由于 不同图像间存在位移和角度的变换，所以需要对图像进行配准之后再根据具体情况进行处 理。
[0005] 现实生活中，对于某一场景，可以从不同的时刻或角度得到关于它的一组观测图 像，这些图像的整体就叫做多视点图像。人们借助多视点图像技术来实现对目标的跟踪，人 脸的识别，手势的估计，以及多用户的交流。在多视点图像的基础上发展起来的多视点视频 能够更好地将实际的场景呈现在观察者面前，更具有真实感。但是，随着相机数目的增加， 多视点视频的数据量也成倍地增加，这给视频数据的存储和传输带来了极大的困难。因此， 实现对多视点视频的高效压缩成为了人们必须要解决的难题。
[0006] 目前，对多视点视频的压缩主要以去冗余为中心，但从人眼的观察方式来说，以融 合为中心的压缩更接近人的视觉特性。由于多视点视频和多视点图像之间的派生关系，对 多视点视频的融合归根到底还是对多视点图像的融合。进行多视点图像融合，需要将原始 各视点图像中所包含的信息尽量完整地整合到一幅新的图像中去。这样，人们才能借助新 生成的图像，对原场景有更形象、直观地了解。从集合的角度来看，如果把大小为rc的图像I 看作一个有限数据集，那么每个像素点 （1，^，16{1，2，...^}，」6{1，2，...，(：}的像素值1 (i，j)都是属于该集合的一个元素，BPl = {I(〇, j) 11 < i <r，l < j < c}。
[0007] 当图像非常大时，集合I所包含的数据点也就比较多。当将I的每一个元素都看作 属于它的一个一维统计特征时，I的维数必然会很高。实践表明，对特征维数很大的图像集I 直接用传统的方法进行融合，虽然可能得到比较好的效果，但计算复杂度一般都比较高，这 对于一些追求高效率的应用程序来说是不可取的。所以，在进行融合处理之前，最好在保证 原有大尺寸、高分辨率图像的主要信息不丢失的前提下，对图像进行降维。被处理的图像， 由于数据点减少会给后续的运算处理带来极大的方便。
[0008] 多视点图像以其独特的优势，在实际应用中发挥着不可替代的优势。多视点图像 的存储，运输是困扰人们的一个难题。因此，实现对多视点图像的融合具有很强的实用价 值。
[0009] 由于多视点图像所具有的高分辨率、高信息量特点，为了后续融合计算处理的方 便，预先对待融合图像进行降维。同时，在融合的时候，由于不同图像间存在平移、旋转、放 大、缩小的变换，所以需要对图像进行高效配准以去除这些变换的影响。
【发明内容】
[0010]本发明以SPCA(方向可调的主成分分析[(/edric Vonesch Jred'eric Stauber， and Michael Unser.Steerable PCA for Rotation-Invariant Image Recognition.SIAM J. Imaging Sciences .Vol .8，No · 3，pp · 1857-1873])为基础，结合图像的变换配准技术，对 多视点图像进行融合处理，提出基于分块SPCA的多视点图像融合方法，以满足多视点图像 融合的需求。
[0011] -种基于分块SPCA的多视点图像融合方法，其特征在于，包括：
[0012] (1)将彩色图像分成各单色通道图像，将每个单色通道图像分割成独立的子图像 块，针对各子图像块后分别进行SPCA，得到主成分分析图像；
[0013] (2)根据主成分分析图像计算多视点相邻两幅彩色图像之间在像素点上存在变换 关系，依据所述变换关系对多视点相邻两幅彩色图像进行配准；
[0014] 所述变换关系包括平移、缩放和角度变换。
[0015] (3)对配准后的多视点相邻两幅彩色图像进行基于小波的多视点图像融合，得到 融合后的图像。
[0016] 步骤（1)中，由于一般的待融合的图像尺寸都比较大，直接进行融合操作(矩阵运 算），计算量非常大。将大尺寸的待融合图像分割成独立的子图像块后再运用SPCA降维操 作，虽然表面上由于图像的分块导致计算的次数增加了，但图像融合总的计算复杂度是下 降的。这样，既保留了基于整幅图像方法的精确度，又大大地降低了计算的复杂度。
[0017] 多视频视点图像由于拍摄时的光照、位置等的变化，导致相邻两幅图像之间像素 点在颜色、位置上有很大的变化，其中位置变化包括平移、缩放、旋转等，这些变化关系直接 影响了图像的配准，因此在步骤(2)中求出表示这些变化关系的矩阵，然后保证相邻图像在 位置不变的情况进行配准，配准的精度会比较高。
[0018] 虽然两幅相邻图像中的某些区域表现的场景是相同的，但由于拍摄视点的不同， 它们表现出来的光照程度和颜色信息还是有很大不同的。所以，不能将两副图像对应部分 的像素值进行简单加权求和平均。
[0019] 作为优选，为了使融合图像的像素点在边界处过渡平稳，步骤(3)在融合前用一个 3 X3的算子S从对配准后的多视点相邻两幅彩色图像的交界处开始进行加权插值，其中S 为：
[0020]
[0021 ]斗明术汁| @ 丁，」、奴Η、」夕视/W、1?像融合，步骤（3)在融合时当前彩色图像进行N层 小波分解，得到(3N+1)个不同频带，包括3N个高频子图像和1个低频子图像。
[0022] 步骤(3)在融合时对于高频部分，直接取两幅彩色图像中相应的小波分解系数绝 对值最大者的值作为融合图像的分解系数。
[0023] 步骤(3)在融合时对于低频部分，设定一个匹配度阈值T，计算两袋融合彩色图像 在各点的区域方差匹配度，根据区域方差匹配度与匹配度阈值T的关系，采用相应的融合策 略。
[0024]处理完成后，便可以得到理想的基于小波变换的融合图像。
[0025]本发明基于分块SPCA多视点图像融合方法，使用SPCA的方法将图像处理的过程细 化，考虑了二维数据的空间关联性，用于灰度图像降维时有较好的效果。SPCA由于需要考虑 常规多视点图像的不同视点间存在位移差的事实，图像的预处理环节加入了必要的配准和 投影变换操作(方向可调）。因此，本发明方法在图像融合的性能和计算复杂度上都表现出 了优势。
【具体实施方式】
[0026]下面将结合具体实施例对本发明进行详细说明。
[0027] 本实施例的基于分块SPCA(方向可调的主成分分析)多视点图像融合方法，包括如 下步骤：
[0028] (1)单通道图像的SPCA分块：由于一般的待融合的图像尺寸都比较大，直接进行融 合操作(矩阵运算），计算量非常大。将大尺寸的待融合图像分割成独立的小块图像后再运 用SPCA降维操作，虽然表面上由于图像的分块导致计算的次数增加了，但图像融合总的计 算复杂度是下降的。这样，既保留了基于整幅图像方法的精确度，又大大地降低了计算的复 杂度。
[0029] PCA是一种传统的流形学习方法，它通过从样本数据中提取主要特征来达到减少 计算量的目的。假设存在K幅图像的样本集5=1^12, . . .，Ik{}，每幅图像Ik(K=l，2, . . .，k) 大小都为rXc。首先，把Ik的所有像素点按行重新排列成一个行向量Sk，Sk的大小为1XN，其 中N=r X c;然后，所有的sk组成一个ff的矩阵A = [ siS2 · · · sk]τ;再对A进行奇异值分解，求取 A最大的d个特征值所对应的特征向量α;最后，用向量的投影变换将每一个％进行投影，便 得到了原图像的d维表述。这就是灰度图像的PCA方 法。
[0030] 本发明采用的SPCA是PCA改进，相比于PCA以一维列向量为出发点，SPCA对数据的 处理是基于二维矩阵的。由于这种不同，SPCA在很大程度上能保留数据间的空间关联性，对 图像在平移、旋转等变化不敏感。理论上，可以用SPCA代替PCA对所有的单通道带融合图像 进行处理。但是，由于一般的待融合图像尺寸都比较大，直接进行融合的矩阵运算，计算量 相当大。将大尺寸的待融合图像分割成独立的小块图像后再运用SPCA，虽然表面上需要计 算的次数增加了，但总的计算复杂度是减少的。这样，既保留了基于整幅待融合方法的精确 度，又在大大地降低了计算的复杂度。具体操作时，将彩色图像分成各单色通道图像，将每 个单色通道图像A分成η个大小相同的子图像块，并用仏，16(1，2，...，n)来表示第i个子图 像块，则基于分块SPCA方法的步骤如下：
[0031] 1)计算图像样本集合心，A2，. . .，An的均值Μ = Ay .紋'
[0032] 2)对于所有的^{1，2，...，1!}，计算萬=為-|1;
[0033] 3)令Lo-(EdA)%其中Ed是dXd的单位矩阵，d是图像期望降到的维数，0是零矩 阵；
[0034] 4)令k = 0，初始化图像经过SPCA反变换回去时的均方根误差REMS (k)-% ;
[0035] 5)E
算矩阵Mr的d个最大特征值所对应的特征向量 是当 k=o 时的 Lk;
[0036] 6)令k = k+l，同时进行赋
[0037] 7)由
1十算矩阵Ml的d个最大特征值所对应的特征向量
[0038] 8)进行赋值操:「1.1、5^^1!_..、!^ )^,
[0039] 9)计
:，其中|卜| If表示矩阵 的F范数；
[0040] 10)如果REMS (k-Ι) - REMS (k )< η，那么转11)，否则，跳转到5)继续执行，其中η是 预先设定的一个阈值；
[0041 ] 11)对变换矩阵Lrxd和Rcxd分别赋值，g卩L-Lk，R-Rk;
[0042] 12)对于每一个i e {1，2, . . .，n}，由公式|^=1/1$狡计算原始灰度图像经过变换 后的灰度投影(即主成分分析图像)并返回。
[0043] (2)图像的配准：多视频视点图像由于拍摄时的光照、位置等的变化，导致相邻两 幅图像之间像素点在颜色、位置上有很大的变化，其中位置变化包括平移、缩放、旋转等，这 些变化关系直接影响了图像的配准，首先要求出表示这些变化关系的矩阵，然后保证相邻 图像在位置不变的情况进行配准，配准的精度会比较高。
[0044] 假设有两幅相邻的待融合视点图像II和12,那么II中任意一点（xl，yl)到12中对 应点(X2，y2)的变换关系可用下面的变换公式来描述[7]:
[0045]
(1)
[0046] 式中:λ是变换的尺度，a~h是相关变换的系数。单应矩阵Η定义为
[0047]
(2)
[0048]由式（2)可知：
[0049]
(3)
[0050] 为处理方便，在尺度变换不变的情况下，只考虑像素点间的水平和垂直移位。则可 以得至!Μ = θ = 1，λ=1，b = d = g = h = 0,同时有
[0051]
(4)
[0052] 式中c和f分别代表像素点的水平和垂直移位。
[0053] 继而可依据公式(4)进行配准。
[0054] 在图像配准中，粗配准只考虑了相邻图像像素点间的平移问题，当用来代表1magel，代表1magel时，可以计算出它们大致的重叠区域为（1: (m-f)，1: (n-c))和（（Ι+f): m，（1+c):n)〇
[0055] (3)图像融合:虽然两幅相邻图像中的某些区域表现的场景是相同的，但由于拍摄 视点的不同，它们表现出来的光照程度和颜色信息还是有很大不同的。所以不能将两副图 像对应部分的像素值进行简单加权求和平均。
[0056] 为了使融合图像的像素点在边界处过渡平稳，用一个3X3的算子s从它们的交界 处开始进行加权插值，其中S为：
[0057] (5)
[0058] 本发明采用小波变换的思想对重叠区进行融合，首先要对图像进行N层小波分解， 得到(3N+1)个不同频带，这些频带包括3N个高频子图像和1个低频子图像。对于高频图像部 分，直接取两幅源图像中相应的小波分解系数绝对值最大者的值作为融合图像的分解系 数，对于低频部分，处理的规则相对复杂一些，具体步骤如下：
[0059] 1)假设：
[0060] C(I)表示图像I的小波低频成分的系数矩阵；
[0061] p = (m，n)表示小波系数的空间位置；
[0062] 那么C(I，p)表示小波低频成分系数矩阵下标为(m，n)的元素的值；
[0063] 2)以P为中心选定一个小区域Q，u(I，P)表示C(I)以P为中心，在Q内的均值，G(I，P) 为C(I)在Q内的区域方差显著性，满足
[0064]
(6)
[0065] 式中:W(q)为权值，离p越远，值越小；
[0066] 3)按照式(6)分别计算图像h、图像12的区域方差显著性6(11{)、6(12，？），然后计 算它们在P点的区域方差匹配度：
[0067]
[0068] 4)设定一个匹配度阈值T，当M2(P)〈T时，融合策略为
[0069](8)r. 0··.·?. s·?· Ν
Λ.?·-；·?. <*· X ·χ[0070] 当Μ2(ρ)2Τ时，融合策略为平均策略
[0071]
[0072]
[0073]
[0074] 上述处理完成后，便可以得到理想的基于小波变换的融合图像。
【主权项】
1. 一种基于分块SPCA的多视点图像融合方法，其特征在于，包括： (1) 将彩色图像分成各单色通道图像，将每个单色通道图像分割成独立的子图像块，针 对各子图像块后分别进行SPCA，得到主成分分析图像； (2) 根据主成分分析图像计算多视点相邻两幅彩色图像之间在像素点上存在变换关 系，依据所述变换关系对多视点相邻两幅彩色图像进行配准； (3) 对配准后的多视点相邻两幅彩色图像进行基于小波的多视点图像融合，得到融合 后的图像。2. 如权利要求1所述的基于分块SPCA的多视点图像融合方法，其特征在于，所述变换关 系包括平移、缩放和角度变换。3. 如权利要求2所述的基于分块SPCA的多视点图像融合方法，其特征在于，步骤(3)在 融合前用一个3 X 3的算子S从对配准后的多视点相邻两幅彩色图像的交界处开始进行加权 插值，其中S为：4. 如权利要求3所述的基于分块SPCA的多视点图像融合方法，其特征在于，步骤(3)在 融合时当前彩色图像进行N层小波分解，得到（3N+1)个不同频带，包括3N个高频子图像和1 个低频子图像。5. 如权利要求4所述的基于分块SPCA的多视点图像融合方法，其特征在于，步骤(3)在 融合时对于高频部分，直接取两幅彩色图像中相应的小波分解系数绝对值最大者的值作为 融合图像的分解系数。6. 如权利要求5所述的基于分块SPCA的多视点图像融合方法，其特征在于，步骤(3)在 融合时对于低频部分，设定一个匹配度阈值T，计算两袋融合彩色图像在各点的区域方差匹 配度，根据区域方差匹配度与匹配度阈值T的关系，采用相应的融合策略。
【专利摘要】本发明公开了一种基于分块SPCA的多视点图像融合方法，包括：(1)将彩色图像分成各单色通道图像，将每个单色通道图像分割成独立的小块图像，针对每小块图像后分别进行SPCA，得到主成分分析图像；(2)根据主成分分析图像计算多视点相邻两幅彩色图像之间在像素点上存在变换关系，依据所述变换关系对多视点相邻两幅彩色图像进行配准；(3)对配准后的多视点相邻两幅彩色图像进行基于小波的多视点图像融合，得到融合后的图像。本发明使用SPCA的方法，将图像处理的过程细化，并且图像的预处理环节加入了必要的配准在图像融合的性能和计算复杂度上都表现出了优势。
【IPC分类】G06T5/50, G06T3/40
【公开号】CN105488778
【申请号】CN201510819511
【发明人】厉晓华, 赵磊, 方伟杰
【申请人】浙江大学
【公开日】2016年4月13日
【申请日】2015年11月23日
【技术领域】
[0001] 本发明涉及多视点视频的采集领域，尤其涉及一种基于分块SPCA多视点图像融合 方法。
【背景技术】
[0002] 传统的图像融合分为像素级融合、特征级融合和决策级融合，它们过于注重图像 被处理的层次，但忽略了方法本身所具有的特点。实际应用中，为了描述和研究方便，人们 更倾向于从对图像融合处理的手段上来命名各种方法。
[0003] 因此，研究者们分别提出了基于小波变换，金字塔分解，HIS空间，形态学，统计学， 神经网络，PCA等的图像融合。此外，也有人提出了一些被应用得相对较少，但效果比较理想 的方法，如混合像元分解法、多波长的数字全息技术法、梯度法以及模糊技术法等。另外，多 视点图像以其独特的优势，在实际应用中发挥着不可替代的优势。
[0004] 多视点图像的存储，运输是困扰人们的一个难题。因此，实现对多视点图像的融合 压缩具有十分重要的实际意义。由于多视点图像所具有的高分辨率、高信息量特点，为了后 续计算处理的方便，预先对图像进行降维也是研究的重点。同时，在融合压缩的时候，由于 不同图像间存在位移和角度的变换，所以需要对图像进行配准之后再根据具体情况进行处 理。
[0005] 现实生活中，对于某一场景，可以从不同的时刻或角度得到关于它的一组观测图 像，这些图像的整体就叫做多视点图像。人们借助多视点图像技术来实现对目标的跟踪，人 脸的识别，手势的估计，以及多用户的交流。在多视点图像的基础上发展起来的多视点视频 能够更好地将实际的场景呈现在观察者面前，更具有真实感。但是，随着相机数目的增加， 多视点视频的数据量也成倍地增加，这给视频数据的存储和传输带来了极大的困难。因此， 实现对多视点视频的高效压缩成为了人们必须要解决的难题。
[0006] 目前，对多视点视频的压缩主要以去冗余为中心，但从人眼的观察方式来说，以融 合为中心的压缩更接近人的视觉特性。由于多视点视频和多视点图像之间的派生关系，对 多视点视频的融合归根到底还是对多视点图像的融合。进行多视点图像融合，需要将原始 各视点图像中所包含的信息尽量完整地整合到一幅新的图像中去。这样，人们才能借助新 生成的图像，对原场景有更形象、直观地了解。从集合的角度来看，如果把大小为rc的图像I 看作一个有限数据集，那么每个像素点 （1，^，16{1，2，...^}，」6{1，2，...，(：}的像素值1 (i，j)都是属于该集合的一个元素，BPl = {I(〇, j) 11 < i <r，l < j < c}。
[0007] 当图像非常大时，集合I所包含的数据点也就比较多。当将I的每一个元素都看作 属于它的一个一维统计特征时，I的维数必然会很高。实践表明，对特征维数很大的图像集I 直接用传统的方法进行融合，虽然可能得到比较好的效果，但计算复杂度一般都比较高，这 对于一些追求高效率的应用程序来说是不可取的。所以，在进行融合处理之前，最好在保证 原有大尺寸、高分辨率图像的主要信息不丢失的前提下，对图像进行降维。被处理的图像， 由于数据点减少会给后续的运算处理带来极大的方便。
[0008] 多视点图像以其独特的优势，在实际应用中发挥着不可替代的优势。多视点图像 的存储，运输是困扰人们的一个难题。因此，实现对多视点图像的融合具有很强的实用价 值。
[0009] 由于多视点图像所具有的高分辨率、高信息量特点，为了后续融合计算处理的方 便，预先对待融合图像进行降维。同时，在融合的时候，由于不同图像间存在平移、旋转、放 大、缩小的变换，所以需要对图像进行高效配准以去除这些变换的影响。
【发明内容】
[0010]本发明以SPCA(方向可调的主成分分析[(/edric Vonesch Jred'eric Stauber， and Michael Unser.Steerable PCA for Rotation-Invariant Image Recognition.SIAM J. Imaging Sciences .Vol .8，No · 3，pp · 1857-1873])为基础，结合图像的变换配准技术，对 多视点图像进行融合处理，提出基于分块SPCA的多视点图像融合方法，以满足多视点图像 融合的需求。
[0011] -种基于分块SPCA的多视点图像融合方法，其特征在于，包括：
[0012] (1)将彩色图像分成各单色通道图像，将每个单色通道图像分割成独立的子图像 块，针对各子图像块后分别进行SPCA，得到主成分分析图像；
[0013] (2)根据主成分分析图像计算多视点相邻两幅彩色图像之间在像素点上存在变换 关系，依据所述变换关系对多视点相邻两幅彩色图像进行配准；
[0014] 所述变换关系包括平移、缩放和角度变换。
[0015] (3)对配准后的多视点相邻两幅彩色图像进行基于小波的多视点图像融合，得到 融合后的图像。
[0016] 步骤（1)中，由于一般的待融合的图像尺寸都比较大，直接进行融合操作(矩阵运 算），计算量非常大。将大尺寸的待融合图像分割成独立的子图像块后再运用SPCA降维操 作，虽然表面上由于图像的分块导致计算的次数增加了，但图像融合总的计算复杂度是下 降的。这样，既保留了基于整幅图像方法的精确度，又大大地降低了计算的复杂度。
[0017] 多视频视点图像由于拍摄时的光照、位置等的变化，导致相邻两幅图像之间像素 点在颜色、位置上有很大的变化，其中位置变化包括平移、缩放、旋转等，这些变化关系直接 影响了图像的配准，因此在步骤(2)中求出表示这些变化关系的矩阵，然后保证相邻图像在 位置不变的情况进行配准，配准的精度会比较高。
[0018] 虽然两幅相邻图像中的某些区域表现的场景是相同的，但由于拍摄视点的不同， 它们表现出来的光照程度和颜色信息还是有很大不同的。所以，不能将两副图像对应部分 的像素值进行简单加权求和平均。
[0019] 作为优选，为了使融合图像的像素点在边界处过渡平稳，步骤(3)在融合前用一个 3 X3的算子S从对配准后的多视点相邻两幅彩色图像的交界处开始进行加权插值，其中S 为：
[0020]
[0021 ]斗明术汁| @ 丁，」、奴Η、」夕视/W、1?像融合，步骤（3)在融合时当前彩色图像进行N层 小波分解，得到(3N+1)个不同频带，包括3N个高频子图像和1个低频子图像。
[0022] 步骤(3)在融合时对于高频部分，直接取两幅彩色图像中相应的小波分解系数绝 对值最大者的值作为融合图像的分解系数。
[0023] 步骤(3)在融合时对于低频部分，设定一个匹配度阈值T，计算两袋融合彩色图像 在各点的区域方差匹配度，根据区域方差匹配度与匹配度阈值T的关系，采用相应的融合策 略。
[0024]处理完成后，便可以得到理想的基于小波变换的融合图像。
[0025]本发明基于分块SPCA多视点图像融合方法，使用SPCA的方法将图像处理的过程细 化，考虑了二维数据的空间关联性，用于灰度图像降维时有较好的效果。SPCA由于需要考虑 常规多视点图像的不同视点间存在位移差的事实，图像的预处理环节加入了必要的配准和 投影变换操作(方向可调）。因此，本发明方法在图像融合的性能和计算复杂度上都表现出 了优势。
【具体实施方式】
[0026]下面将结合具体实施例对本发明进行详细说明。
[0027] 本实施例的基于分块SPCA(方向可调的主成分分析)多视点图像融合方法，包括如 下步骤：
[0028] (1)单通道图像的SPCA分块：由于一般的待融合的图像尺寸都比较大，直接进行融 合操作(矩阵运算），计算量非常大。将大尺寸的待融合图像分割成独立的小块图像后再运 用SPCA降维操作，虽然表面上由于图像的分块导致计算的次数增加了，但图像融合总的计 算复杂度是下降的。这样，既保留了基于整幅图像方法的精确度，又大大地降低了计算的复 杂度。
[0029] PCA是一种传统的流形学习方法，它通过从样本数据中提取主要特征来达到减少 计算量的目的。假设存在K幅图像的样本集5=1^12, . . .，Ik{}，每幅图像Ik(K=l，2, . . .，k) 大小都为rXc。首先，把Ik的所有像素点按行重新排列成一个行向量Sk，Sk的大小为1XN，其 中N=r X c;然后，所有的sk组成一个ff的矩阵A = [ siS2 · · · sk]τ;再对A进行奇异值分解，求取 A最大的d个特征值所对应的特征向量α;最后，用向量的投影变换将每一个％进行投影，便 得到了原图像的d维表述。这就是灰度图像的PCA方 法。
[0030] 本发明采用的SPCA是PCA改进，相比于PCA以一维列向量为出发点，SPCA对数据的 处理是基于二维矩阵的。由于这种不同，SPCA在很大程度上能保留数据间的空间关联性，对 图像在平移、旋转等变化不敏感。理论上，可以用SPCA代替PCA对所有的单通道带融合图像 进行处理。但是，由于一般的待融合图像尺寸都比较大，直接进行融合的矩阵运算，计算量 相当大。将大尺寸的待融合图像分割成独立的小块图像后再运用SPCA，虽然表面上需要计 算的次数增加了，但总的计算复杂度是减少的。这样，既保留了基于整幅待融合方法的精确 度，又在大大地降低了计算的复杂度。具体操作时，将彩色图像分成各单色通道图像，将每 个单色通道图像A分成η个大小相同的子图像块，并用仏，16(1，2，...，n)来表示第i个子图 像块，则基于分块SPCA方法的步骤如下：
[0031] 1)计算图像样本集合心，A2，. . .，An的均值Μ = Ay .紋'
[0032] 2)对于所有的^{1，2，...，1!}，计算萬=為-|1;
[0033] 3)令Lo-(EdA)%其中Ed是dXd的单位矩阵，d是图像期望降到的维数，0是零矩 阵；
[0034] 4)令k = 0，初始化图像经过SPCA反变换回去时的均方根误差REMS (k)-% ;
[0035] 5)E
算矩阵Mr的d个最大特征值所对应的特征向量 是当 k=o 时的 Lk;
[0036] 6)令k = k+l，同时进行赋
[0037] 7)由
1十算矩阵Ml的d个最大特征值所对应的特征向量
[0038] 8)进行赋值操:「1.1、5^^1!_..、!^ )^,
[0039] 9)计
:，其中|卜| If表示矩阵 的F范数；
[0040] 10)如果REMS (k-Ι) - REMS (k )< η，那么转11)，否则，跳转到5)继续执行，其中η是 预先设定的一个阈值；
[0041 ] 11)对变换矩阵Lrxd和Rcxd分别赋值，g卩L-Lk，R-Rk;
[0042] 12)对于每一个i e {1，2, . . .，n}，由公式|^=1/1$狡计算原始灰度图像经过变换 后的灰度投影(即主成分分析图像)并返回。
[0043] (2)图像的配准：多视频视点图像由于拍摄时的光照、位置等的变化，导致相邻两 幅图像之间像素点在颜色、位置上有很大的变化，其中位置变化包括平移、缩放、旋转等，这 些变化关系直接影响了图像的配准，首先要求出表示这些变化关系的矩阵，然后保证相邻 图像在位置不变的情况进行配准，配准的精度会比较高。
[0044] 假设有两幅相邻的待融合视点图像II和12,那么II中任意一点（xl，yl)到12中对 应点(X2，y2)的变换关系可用下面的变换公式来描述[7]:
[0045]
(1)
[0046] 式中:λ是变换的尺度，a~h是相关变换的系数。单应矩阵Η定义为
[0047]
(2)
[0048]由式（2)可知：
[0049]
(3)
[0050] 为处理方便，在尺度变换不变的情况下，只考虑像素点间的水平和垂直移位。则可 以得至!Μ = θ = 1，λ=1，b = d = g = h = 0,同时有
[0051]
(4)
[0052] 式中c和f分别代表像素点的水平和垂直移位。
[0053] 继而可依据公式(4)进行配准。
[0054] 在图像配准中，粗配准只考虑了相邻图像像素点间的平移问题，当用来代表1magel，代表1magel时，可以计算出它们大致的重叠区域为（1: (m-f)，1: (n-c))和（（Ι+f): m，（1+c):n)〇
[0055] (3)图像融合:虽然两幅相邻图像中的某些区域表现的场景是相同的，但由于拍摄 视点的不同，它们表现出来的光照程度和颜色信息还是有很大不同的。所以不能将两副图 像对应部分的像素值进行简单加权求和平均。
[0056] 为了使融合图像的像素点在边界处过渡平稳，用一个3X3的算子s从它们的交界 处开始进行加权插值，其中S为：
[0057] (5)
[0058] 本发明采用小波变换的思想对重叠区进行融合，首先要对图像进行N层小波分解， 得到(3N+1)个不同频带，这些频带包括3N个高频子图像和1个低频子图像。对于高频图像部 分，直接取两幅源图像中相应的小波分解系数绝对值最大者的值作为融合图像的分解系 数，对于低频部分，处理的规则相对复杂一些，具体步骤如下：
[0059] 1)假设：
[0060] C(I)表示图像I的小波低频成分的系数矩阵；
[0061] p = (m，n)表示小波系数的空间位置；
[0062] 那么C(I，p)表示小波低频成分系数矩阵下标为(m，n)的元素的值；
[0063] 2)以P为中心选定一个小区域Q，u(I，P)表示C(I)以P为中心，在Q内的均值，G(I，P) 为C(I)在Q内的区域方差显著性，满足
[0064]
(6)
[0065] 式中:W(q)为权值，离p越远，值越小；
[0066] 3)按照式(6)分别计算图像h、图像12的区域方差显著性6(11{)、6(12，？），然后计 算它们在P点的区域方差匹配度：
[0067]
[0068] 4)设定一个匹配度阈值T，当M2(P)〈T时，融合策略为
[0069](8)r. 0··.·?. s·?· Ν
Λ.?·-；·?. <*· X ·χ[0070] 当Μ2(ρ)2Τ时，融合策略为平均策略
[0071]
[0072]
[0073]
[0074] 上述处理完成后，便可以得到理想的基于小波变换的融合图像。
【主权项】
1. 一种基于分块SPCA的多视点图像融合方法，其特征在于，包括： (1) 将彩色图像分成各单色通道图像，将每个单色通道图像分割成独立的子图像块，针 对各子图像块后分别进行SPCA，得到主成分分析图像； (2) 根据主成分分析图像计算多视点相邻两幅彩色图像之间在像素点上存在变换关 系，依据所述变换关系对多视点相邻两幅彩色图像进行配准； (3) 对配准后的多视点相邻两幅彩色图像进行基于小波的多视点图像融合，得到融合 后的图像。2. 如权利要求1所述的基于分块SPCA的多视点图像融合方法，其特征在于，所述变换关 系包括平移、缩放和角度变换。3. 如权利要求2所述的基于分块SPCA的多视点图像融合方法，其特征在于，步骤(3)在 融合前用一个3 X 3的算子S从对配准后的多视点相邻两幅彩色图像的交界处开始进行加权 插值，其中S为：4. 如权利要求3所述的基于分块SPCA的多视点图像融合方法，其特征在于，步骤(3)在 融合时当前彩色图像进行N层小波分解，得到（3N+1)个不同频带，包括3N个高频子图像和1 个低频子图像。5. 如权利要求4所述的基于分块SPCA的多视点图像融合方法，其特征在于，步骤(3)在 融合时对于高频部分，直接取两幅彩色图像中相应的小波分解系数绝对值最大者的值作为 融合图像的分解系数。6. 如权利要求5所述的基于分块SPCA的多视点图像融合方法，其特征在于，步骤(3)在 融合时对于低频部分，设定一个匹配度阈值T，计算两袋融合彩色图像在各点的区域方差匹 配度，根据区域方差匹配度与匹配度阈值T的关系，采用相应的融合策略。
【专利摘要】本发明公开了一种基于分块SPCA的多视点图像融合方法，包括：(1)将彩色图像分成各单色通道图像，将每个单色通道图像分割成独立的小块图像，针对每小块图像后分别进行SPCA，得到主成分分析图像；(2)根据主成分分析图像计算多视点相邻两幅彩色图像之间在像素点上存在变换关系，依据所述变换关系对多视点相邻两幅彩色图像进行配准；(3)对配准后的多视点相邻两幅彩色图像进行基于小波的多视点图像融合，得到融合后的图像。本发明使用SPCA的方法，将图像处理的过程细化，并且图像的预处理环节加入了必要的配准在图像融合的性能和计算复杂度上都表现出了优势。
【IPC分类】G06T5/50, G06T3/40
【公开号】CN105488778
【申请号】CN201510819511
【发明人】厉晓华, 赵磊, 方伟杰
【申请人】浙江大学
【公开日】2016年4月13日
【申请日】2015年11月23日
最新回复(0)