基于局部线性迁移和仿射变换的图像特征匹配方法及系统的制作方法
基于局部线性迁移和仿射变换的图像特征匹配方法及系统的制作方法
【技术领域】
[0001] 本发明涉及图像特征匹配技术领域，具体地说，本发明涉及基于局部线性迀移和 仿射变换的图像特征匹配技术方案。
【背景技术】
[0002] 图像匹配的基本目标是将使用不同传感器在不同的时间和视角下获得的同一个 场景的两幅图像的相同部位进行对应。
[0003] 在过去的几十年里，学者们研究了很多方法来解决遥感图像匹配问题。这些方法 大致可以分为两类:基于区域的匹配方法和基于特征的匹配方法。前者通过搜索两幅图像 中一定区域内原始灰度值的相似程度来寻找匹配信息;后者则利用局部特征的描述子相似 性或空间几何约束来寻找匹配点对。在具有少量显著细节的情况中，灰度值提供的信息比 局部形状和结构要多，从而基于区域的方法的匹配效果更好。但是基于区域的方法计算量 大，且在图像失真和光度改变的情况下并不适用。相反，特征方法具有更好的鲁棒性，可以 处理复杂失真的图像，得到广泛的应用。
[0004] 如何寻找两幅图像中对应的匹配点，形成匹配点对，并确保匹配点对的正确性是 图像匹配方法的关键。
[0005] 基于区域的匹配方法主要有相关法、傅里叶方法和互信息法三种。相关法的主要 思想是计算两幅图像中对应窗的相似性，然后将具有最大相似程度的一对作为匹配点对。 但相关法在相似性不显著的无纹理区域无法适用，且计算复杂。傅里叶方法利用了图像在 频率域的傅里叶表示。与传统的相关方法相比，这种方法在计算效率更高并且对频率类噪 声具有很好的鲁棒性。然而，这种方法在处理具有不同谱结构的图像具有一定限制性。互信 息法尽管其匹配效果良好，但是它无法得到整个搜索空间中的全局最大值，因此不可避免 的会减低它的鲁棒性。
[0006] 基于特征的匹配方法中，通常采用一种分为两个步骤的策略。第一步，通过特征描 述子的相似程度确定一组初始的匹配点对，其中绝大多数是正确匹配，但不可避免的含有 大量的错误匹配。第二步，通过通过几何约束来去除错误的匹配，最后便可得到正确的匹配 点对和两幅图像之间变换的几何参数。这种策略的典型例子包括RANSAC方法 (M.A.Fischler and R.C.Bolles，"Random sample consensus : A paradigm for model fitting with application to image analysis and automated cartog-raphy，'， Commun · ACM，vol.24，no.6，pp.381-395，Jun.l981)、ARHV 方法（P.H.S.Torr and A.Zisserman,UMLESAC:A new robust estimator with application to estimating image geometry，'，Comput.Vis.Image Under-stand. ,νο1.78,ηο.1,ρρ.138-156, 八卩^.2000)等依赖于参数模型的方法和￥?(：方法（<1.]^， <1.21^〇，<1.1^&11，丄.￥1^1^，&11(1 Z.Tu，"Robust point matching via vector field consensus，'，IEEE Trans. Image Process ·，vo 1 · 23，no ·4，pp · 1706-1721，Apr · 2014·)、GS方法(H.Liu and S.Yan，"Common visual pattern discovery via spatially coher-ent correspondence，'，in Proc · IEEE Conf · Comput · Vis · Pattern Recog.，Jun .2010, pp .1609-1616.)和ICF方法（X · Li and Z. Hu, Rejecting misma tches by correspondence functionInt.J.Comput. Vis ., vol.89，no. 1，pp. l-17，Aug.2010) ·等基于非参数模型的方法。
[0007] 虽然这些方法在许多领域获得了成功，但是在图像中含有大量因视角变化造成的 局部失真以及图像内容较复杂时，初步匹配后会得到很多错误的初始匹配点对，当错误率 超过一定比例时，这些方法就不能有效的去除错误。因此亟需一种对初始匹配错误率具有 较强鲁棒性的匹配方法。
【发明内容】
[0008] 针对现有技术缺陷，本发明提出了一种基于局部线性迀移和仿射变换的图像特征 匹配技术方案。
[0009] 为达到上述目的，本发明采用的技术方案为一种基于局部线性迀移和仿射变换的 图像特征匹配方法，包括以下步骤，
[0010] 步骤1，建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概 率相应的模型，实现如下，
[0011] 针对待匹配图像间的仿射变换，建立变换数学模型如下，
[0012] y = t(x) =Ax+o
[0013] 其中，设两幅待匹配图像为图像a和图像b，x和y分别是图像a和图像b上像素的坐 标向量，t(x)表示仿射变换关系，A是一个2X2的仿射矩阵，〇是一个2 X 1的矩阵，表示待匹 配图像间的平移；
[0014]设已知的一组初始匹配点对中，图像a上点集为X = {X1，…，XN}τ，图像b上相应点集 为Y={yi，…，yN}T，计算其中第η对匹配点为正确匹配的后验概率?"有如下后验概率数学模 型，
[0015]
[0016] 其中，γ和。均为模型参数，e为数学常量，b为预设的系数；
[0017] 步骤2,根据点集Χ= {χι，···，χΝ}τ和Y= {yi，···，yN}T求解模型参数，包括以下子步 骤，
[0018] 步骤2.1，为每一个匹配点χη，η=1，···，Ν，分别搜索最近的K个邻居匹配点，K取预 设值；
[0019] 步骤2.2，根据步骤2.1的搜索结果，采用最小二乘法求解维度为Ν X Ν的权重矩阵 W；
[0020] 步骤2.3，通过最优化方法求解模型参数8、1?、〇、丫、〇，包括以下子步骤，
[0021 ] 步骤2.3.1，初始化，包括令γ = γ 〇，Α=Ι2Χ2,〇 = 0，Ρ = Ινχν，γ 〇为γ的预设初始 值，令当前迭代次数k=l，采用下述模型参数公式计算〇，
[0022]
[0023]其中，矩阵T=(t(xi)，…，t(XN))T，tr()表示求矩阵的迹；
[0024] 步骤2.3.2，更新矩阵P，包括采用步骤1中所得后验概率数学模型，计算得到N对匹 配点对分别为正确匹配的后验概率口1，~心，令？ = (^8化1，"_^)，(^8表示对角矩阵； [0025] 步骤2.3.3,计算参数A、o如下，
[0026] 采用下述公式计算参数A，
[0027]
[0028] 将Inxn省略记为I，矩阵Q= (I-W)TP(I-W)，λ为预设的参数；
[0029] 采用下述公式计算参数〇，
[0030] ο=μγ-Αμχ
[0031 ] 步骤2.3.4，根据步骤2.3.3计算得到的参数Α、ο，重新计算参数γ、σ如下，
[0032] 采用下述公式计算参数γ，
[0033]
[0034] 采用步骤2.3.1中模型参数公式计算σ;
[0035] 步骤2.3.5，判别收敛条件，包括计算当前的参数1^，当满足1^ = 1^1￡?或者(1^。1(：1)/ 1^0，结束迭代，1^_为最大迭代次数， ￡是收敛阈值;否则汰=1^1，返回步骤2.3.2;所述 参数L的计算公式如下，
[0036]
1234567 其中，L〇id表示上一次计算得到的L; 2 步骤3,计算初始匹配点对为正确匹配的后验概率，并根据阈值判断初始匹配点对 的 正误，实现如下， 3 将所述步骤2.3中求解的模型参数代入步骤1中所述后验概率数学模型，计算得到 第η对匹配点对为正确匹配的后验概率；当?" 2 threshold时，则认为第η对匹配点是正确匹 配；当pn〈threshold时，则认为第η对匹配点是错误的匹配，其中threshold为预设的判断阈 值。 4 而且，步骤2.2包括以下子步骤， 5 步骤2.2.1，当匹配点幻不是所述步骤2.1中搜索到的匹配点&的1(个邻居匹配点之 6 一时，则将Wij设置为0,其中匹配点Xj和匹配点Xi为点集X中的匹配点，且i，j = l，…，N，Wij表 7 示权重矩阵W第i行第j列的元素；
[0042] 步骤2.2.2，在= 1的约束条件下，采用最小二乘法求解得到使得下述代 价函数E(W)取到最小值的权重矩阵W，代价函数E(W)如下，
[0043]
[0044] 本发明还相应提供一种基于局部线性迀移和仿射变换的图像特征匹配系统，包括 以下模块，
[0045]模型构建模块，用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹 配的后验概率相应的模型，实现如下，
[0046] 针对待匹配图像间的仿射变换，建立变换数学模型如下，
[0047] y = t(x) =Ax+o
[0048] 其中，设两幅待匹配图像为图像a和图像b，x和y分别是图像a和图像b上像素的坐 标向量，t(x)表示仿射变换关系，A是一个2X2的仿射矩阵，〇是一个2 X 1的矩阵，表示待匹 配图像间的平移；
[0049]设已知的一组初始匹配点对中，图像a上点集为X = {X1，…，XN}τ，图像b上相应点集 为Y={yi，…，yN}T，计算其中第η对匹配点为正确匹配的后验概率?"有如下后验概率数学模 型，
[0050]
[0062]
[0060] 第一参数计算单元，用于计算参数A、o如下，[0061] 采用下述公式计算参数A，
[0063] 将Inxn省略记为I，矩阵Q= (I-W)TP(I-W)，λ为预设的参数；
[0064] 采用下述公式计算参数〇，
[0065] ο=μγ-Αμχ
[0066] 第二参数计算单元，用于根据第一参数计算单元计算得到的参数Α、ο,重新计算参 数γ、σ如下，
[0067] 采用下述公式计算参数γ，
[0068]
[0069] 采用初始化单元中模型参数公式计算
[0070] 迭代判断单元，用于判别收敛条件，包括计算当前的参数L，当满足k = kmax或者仏-1^)/1。1(10，结束迭代，1^为最大迭代次数，￡是收敛阈值;否则汰=1^1，命令更新单元工 作;所述参数L的计算公式如下，
[0071]
[0072] 其中，L〇id表示上一次计算得到的L;
[0073] 判断结果模块，用于计算初始匹配点对为正确匹配的后验概率，并根据阈值判断 初始匹配点对的正误，实现如下，
[0074] 将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率 数学模型，计算得到第η对匹配点对为正确匹配的后验概率；当p n 2 threshold时，则认为第 η对匹配点是正确匹配；ipn〈threSh〇ld时，则认为第η对匹配点是错误的匹配，其中 thr esho 1 d为预设的判断阈值。
[0075] 而且，权重矩阵子模块包括以下单元，
[0076] 初始赋值单元，用于当匹配点&不是所述邻居匹配点子模块中搜索到的匹配点Xl 的K个邻居匹配点之一时，则将设置为0,其中匹配点和匹配AXl为点集X中的匹配点， 且i，j = 1，…，N，Wi请示权重矩阵W第i行第j列的元素；
[0077] 求解单元，用于在的约束条件下，采用最小二乘法求解得到使得下述 代价函数E(W)取到最小值的权重矩阵W，代价函数E(W)如下，
[0078]
[0079] 本发明具有以下优点：
[0080] 1、本发明针对图像特征匹配提出了一种统一的最大似然框架。与普遍使用的参数 模型相比，这种框架可以处理非参数模型情况，应用范围更广。
[0081] 2、本发明构造了一种局部几何约束对变换模型进行优化。这种约束保存了相邻特 征点间的局部结构，因此可用来处理含有大量错误匹配的情况，具有更强的鲁棒性。
【具体实施方式】
[0082] 本方法首先对待匹配图像仿射变换进行数学建模，然后通过去除度初步建立一系 列的匹配点对中的错误的匹配来建立正确的匹配。本方法利用带隐变量的贝叶斯最大似然 估计进行数学建模。同时，还构造了一种保留相邻特征点间局部结构的几何约束，即使在初 步匹配中存在大量错误匹配的情况下，依然保持良好的鲁棒性。
[0083] 下面通过实施例对本发明技术方案进一步详细说明。
[0084] 本发明实施例所提供方法的流程主要包括3个步骤：
[0085] 步骤1，建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概 率相应的模型；
[0086] 针对待匹配图像间的仿射变换，建立变换数学模型如下：
[0087] y = t(x) =Ax+o
[0088] 其中，x和y是像素的坐标向量，即设两幅待匹配图像对包括为图像a和图像b，x和y 分别是图像a和图像b上像素的坐标向量，t(x)表示仿射变换关系，A是一个2X2的仿射矩 阵，〇是一个2X1的矩阵，表示待匹配图像间的平移；
[0089] 由于采用现有技术中的图像匹配进行初始匹配所得匹配点对难免有错误，本发明 的目的是对其中错误的去掉，则对于已知的一组初始匹配点对中图像a上点集为X = {XI，…，XN}τ，图像b上相应点集为Y = {y 1，…，yN}τ，其中点XI对应匹配点y 1，以此类推，点XN对 应匹配点yN，包含N对初始匹配点对，其中第η对匹配点对为正确匹配的后验概率?"可以由如 下后验概率数学模型计算得到：
[0090]
[0091] 其中，γ和σ均为模型参数，e为数学常量，系数b可由本领域技术人员预先指定，或 者采用可变参数，实施例采用2/5，即
[0092]
[0093]步骤2,根据已知的初始匹配点对，即点集X= {xi，···，xn}t，Y= {yi,…，yN}T，求解所 述步骤1中两个模型的参数;包含以下子步骤：
[0094]步骤2.1，为每一个匹配点χη，η=1，···，Ν，分别采用k-d树关联搜索方法搜索与其 最近的K个邻居匹配点，具体实施时，本领域技术人员可自行预设K的取值，本实施例中K取 15；
[0095]步骤2.2,根据所述步骤2.1的搜索结果，采用最小二乘法求解维度为ΝΧΝ的权重 矩阵W;
[0096] 实施例中，权重矩阵W求解如下，
[0097] 步骤2.2.1，当匹配点幻不是所述步骤2.1中搜索到的匹配点个邻居匹配点之 一时，则将Wij设置为0,其中匹配点 Xj和匹配点Xi为点集X中的匹配点，且i，j = l，…，N，Wij表 示权重矩阵W第i行第j列的元素；
[0098] 步骤2.2.2，在二1的约束条件下，采用最小二乘法求解得到使得下述代 价函数E(W)取到最小倌的权雷矩阵W,代价函数E(W)如下：
[0099]
[0100]步骤2.3,通过最优化方法求解未知的数学模型参数:Α、〇、γ、〇;
[0101] 实施例中未知的数学模型参数Α、ο、γ、σ的求解过程如下：
[0102] 步骤2.3.1，初始化参数;令参数γ = γ〇(具体实施时，本领域技术人员可以自行 设定γ的初始值γ〇,实施例取γ 0=0.9)，矩阵Α=ι2χ2(即维度为2X2、元素全部为1的单位 矩阵），参数〇 = 〇，矩阵P = Ινχν(即维度为Ν X Ν、元素全部为1的单位矩阵），当前迭代次数k = 1，采用下述模型参数公式计算σ:
[0103]
[0104]其中，矩阵T=(t(xi)，…，t(XN)) T，tr()表示求矩阵的迹；
[0105] 步骤2.3.2,更新矩阵P:
[0106] 采用步骤1中所述后验概率数学模型，计算得到第1，…，N对匹配点对分别为正确 匹配的后验概率P1，…，PN，令P = diag(pi，…，PN)，diag表示对角矩阵；
[0107] 步骤2.3.3,计算参数A、o;
[0108] 采用下述公式计算参数A:
:，
?、1，1^1即维度为~\1、元素全部为1的单位矩阵，将1~>^省略记为1，矩阵 Q=(I-W)TP(I_W)，X为一个预设的参数，具体实施时本领域技术人员可预设取值，本实施例 中取100;
[0111] 采用下述公式计算参数0:
[0112] ο=μγ-Αμχ
[0113] 步骤2.3.4,根据步骤2.3.3计算得到的参数A、o,基于当前的t(x)可重新计算参数 γ、〇;
[0114] 采用下述公式计算参数γ :
[0115]
[0116] 米用步骤? 1甲所述模型参数公式计算〇;
[0117]步骤2.3.5，判别收敛条件：
[0118] 计算当前的参数L，当满足k = kmax或者t-LoicO/Loid < ε，结束迭代；否贝IJ，即当k〈 1^￡?且(1^。1(〇凡。1〇1>￡，1^ = 1^+1，回到步骤2.3.2，具体实施时，本领域技术人员可自选预设 最大迭代次数kmax的取值，本实施例的取值为50;
[0119]其中，ε是收敛阈值，具体实施时本领域技术人员可预设取值，例如取0.0001，Uid 表示上一次执行步骤2.3.5计算得到的L，首次执行步骤2.3.5时，可以令Uld为一个较大的 初始值，例如10的6次方，之后执行即可采用上次执行执行步骤2.3.5的计算结果。L的计算 公式如下：
[0120]
[0121] 步骤3,计算初始匹配点对为正确匹配的后验概率，并根据阈值判断初始匹配点对 的正误；
[0122] 将所述步骤2.3中求解的参数代入步骤1中所述后验概率数学模型，计算得到第η 对匹配点对为正确匹配的后验概率；当pn 2 threshold时，则认为第η对匹配点是正确匹配； 当pn〈threshold时，则认为第η对匹配点是错误的匹配，其中threshold为判断阈值，具体实 施时，本领域技术人员可自选预设判断阈值的取值，本实施例中取〇. 5。
[0123] 具体实施时，以上流程可采用软件方式实现自动运行。还可以采用模块化方式提 供相应系统，本发明实施例还相应提供一种基于局部线性迀移和仿射变换的图像特征匹配 系统，包括以下模块，
[0124] 模型构建模块，用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹 配的后验概率相应的模型，实现如下，
[0125] 针对待匹配图像间的仿射变换，建立变换数学模型如下，
[0126] y = t(x) =Ax+o
[0127] 其中，设两幅待匹配图像为图像a和图像b，x和y分别是图像a和图像b上像素的坐 标向量，t(x)表示仿射变换关系，A是一个2X2的仿射矩阵，〇是一个2 X 1的矩阵，表示待匹 配图像间的平移；
[0128] 设已知的一组初始匹配点对中，图像a上点集为X={X1，…，χΝ}τ，图像b上相应点集 为Y={ yi，…，yN}T，计算其中第η对匹配点为正确匹配的后验概率?"有如下后验概率数学模 型，
[0129]
[0130] 其中，γ和σ均为模型参数，e为数学常量，b为预设的系数；
[0131] 参数求解模块，用于根据点集Χ= {χι，···，xn}t和Y= {yi,…，yN}T求解模型参数，包 括以下子模块，
[0132] 邻居匹配点子模块，用于为每一个匹配点Χη，η=1，···，Ν，分别搜索最近的K个邻居 匹配点，Κ取预设值；
[0133] 权重矩阵子模块，用于根据邻居匹配点子模块的搜索结果，采用最小二乘法求解 维度为NX Ν的权重矩阵W;
[0134] 最优化求解子模块，用于通过最优化方法求解模型参数s、R、o、γ、〇,包括以下单 元，
[0135] 初始化单元，用于令γ = γ 〇，Α=Ι2Χ2,〇 = 0，Ρ=Ινχν，γ 〇为γ的预设初始值，令当 前迭代次数k= 1，采用下述模型参数公式计算〇，
[0136]
[0137] 其中，矩阵T=(t(xi)，…，t(XN))T，tr()表示求矩阵的迹；
[0138] 更新单元，用于更新矩阵P，包括采用模型构建模块中所得后验概率数学模型，计 算得到N对匹配点对分别为正确匹配的后验概率pi,…，PN，令P = diag(pi,…，PN)，diag表示 对角矩阵；
[0139] 第一参数计算单元，用于计算参数A、o如下，
[0140] 采用下述公式计算参数A，
[0141]
[0142] 将Inxn省略记为I，矩阵Q= (I-W)TP(I-W)，λ为预设的参数；
[0143] 采用下述公式计算参数〇，
[0144] ο=μγ-Αμχ
[0145] 第二参数计算单元，用于根据第一参数计算单元计算得到的参数Α、ο,重新计算参 数γ、σ如下，
[0146] 采用下述公式计算参数γ，
[0147]
[0148] yivrrrmcrru于?τ?吳型参数公式计算σ;
[0149]迭代判断单元，用于判别收敛条件，包括计算当前的参数L，当满足k = kmax或者(L- 1^)/1。1(1〇，结束迭代，1^为最大迭代次数，￡是收敛阈值;否则汰=1^1，命令更新单元工 作;所述参数L的计算公式如下，
[0150]
[0151]其中，Loid表示上一次计算得到的L;
[0152] 判断结果模块，用于计算初始匹配点对为正确匹配的后验概率，并根据阈值判断 初始匹配点对的正误，实现如下，
[0153] 将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率 数学模型，计算得到第η对匹配点对为正确匹配的后验概率；当p n 2 threshold时，则认为第 η对匹配点是正确匹配；ipn〈threSh〇ld时，则认为第η对匹配点是错误的匹配，其中 thr esho 1 d为预设的判断阈值。
[0154] 进一步地，权重矩阵子模块包括以下单元，
[0155]初始赋值单元，用于当匹配点不是所述邻居匹配点子模块中搜索到的匹配点Xl 的K个邻居匹配点之一时，则将軋设置为0,其中匹配点和匹配点^为点集X中的匹配点， 且i，j = 1，…，谦示权重矩阵W第i行第j列的元素；
[0156] 求解单元，用于在的约束条件下，采用最小二乘法求解得到使得下述 代价函数E(W)取到最小值的权重矩阵W，代价函数E(W)如下，
[0157]
[0158] 选取RANSAC、ICF、GS方法与本发明进行图像匹配的对比。对比结果如下表，其中正 确率是指方法最后给出的匹配点对中是正确匹配点对的比例;遗漏率是指方法在筛选过程 中把正确匹配点对判断为错误匹配点对的比例。可以看到本方法用时最短，准确率最高，遗 漏率最低。
[0159]方法效果对比表
[0160]
[0161]本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领 域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似方式替代， 但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。
【主权项】
1. 一种基于局部线性迀移和仿射变换的图像特征匹配方法，其特征在于:包括以下步 骤， 步骤1，建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相 应的模型，实现如下， 针对待匹配图像间的刚性几何变换，建立变换数学模型如下， y = t(x) = sRx+o 其中，设两幅待匹配图像为图像a和图像b，x和y分别是图像a 和图像b上像素的坐标向 量，t(x)表示刚性几何变换关系，s表示待匹配图像间的尺度比例，R是一个2 X 2的矩阵，表 示待匹配图像间的旋转，〇是一个2X1的矩阵，表示待匹配图像间的平移； 设已知的一组初始匹配点对中，图像a上点集为X= {X1，…，χΝ}τ，图像b上相应点集为Y = {yi，…，yN}T，计算其中第η对匹配点为正确匹配的后验概率p n有如下后验概率数学模型，其中，丫和σ均为模型参数，e为数学常量，b为预设的系数； 步骤2,根据点集Χ={Χ1，···，χΝ}3ΡΥ={71，···， 7Ν}τ求解模型参数，包括以下子步骤， 步骤2.1，为每一个匹配点Xn，n= 1，…，Ν，分别搜索最近的K个邻居匹配点，K取预设值； 步骤2.2，根据步骤2.1的搜索结果，采用最小二乘法求解维度为N XN的权重矩阵W; 步骤2.3,通过最优化方法求解模型参数s、R、o、γ、〇,包括以下子步骤， 步骤2.3.1，初始化，包括令丫 = 丫〇，1?=12\2,〇 = 0，？=1_，丫()为丫的预设初始值，令 当前迭代次数k=l，采用下述模型参数公式计算〇，其中，T=(t(xi)，…，t(XN))T，tr()表示求矩阵的迹； 步骤2.3.2，更新矩阵P，包括采用步骤1中所得后验概率数学模型，计算得到N对匹配点 对分别为正确匹配的后验概率口1，~心，令？ = (^8化1，"_4〃），(^8表示对角矩阵； 步骤2.3.3,计算参数s、R、o如下， 采用下述公式计算参数s，其中，矩阵将Inxn省略记为I，矩阵Q= (I-W)tP(I-W)，λ为预设的参数； 采用下述公式计算参数R， R=UDVt 其中，D = diag(l，det(UVT))，det()表示矩阵的行列式，矩阵U和V通过奇异值分解获得； 采用下述公式计算参数〇， 〇-y-y-sRy-x 步骤2.3.4,根据步骤2.3.3计算得到的参数s、R、o,重新计算参数γ、σ如下， 采用下述公式计算参数γ，采用步骤2.3.1中模型参数公式计算〇; 步骤2.3.5,判别收敛条件，包括计算当前的参数L，当满足k = kmax或者(L-Uid)/Uid < ε，结束迭代，kmax为最大迭代次数，ε是收敛阈值;否则，k = k+l，返回步骤2.3.2;所述参数L 的计算公式如下，其中，Uid表示上一次计算得到的L; 步骤3,计算初始匹配点对为正确匹配的后验概率，并根据阈值判断初始匹配点对的正 误，实现如下， 将所述步骤2.3中求解的模型参数代入步骤1中所述后验概率数学模型，计算得到第η 对匹配点对为正确匹配的后验概率；当pn 2 threshold时，则认为第η对匹配点是正确匹配； 当pn〈 thre sho I d时，则认为第η对匹配点是错误的匹配，其中thre sho I d为预设的判断阈值。2. 根据权利要求1所述基于局部线性迀移和仿射变换的图像特征匹配方法，其特征在 于:步骤2.2包括以下子步骤， 步骤2.2.1，当匹配点以不是所述步骤2.1中搜索到的匹配点^的1(个邻居匹配点之一 时，则将Wij设置为0,其中匹配点Xj和匹配点Xi为点集X中的匹配点，且i J = I，···，Ν，Ιυ表示 权重矩阵W第i行第j列的元素； 步骤2.2.2，在的约束条件下，采用最小二乘法求解得到使得下述代价函 数E(W)取到最小值的权重矩阵W，代价函数E(W)如下，3. -种基于局部线性迀移和仿射变换的图像特征匹配系统，其特征在于:包括以下模 块， 模型构建模块，用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的 后验概率相应的模型，实现如下， 针对待匹配图像间的刚性几何变换，建立变换数学模型如下， y = t(x) = sRx+o 其中，设两幅待匹配图像为图像a和图像b，x和y分别是图像a和图像b上像素的坐标向 量，t(x)表示刚性几何变换关系，s表示待匹配图像间的尺度比例，R是一个2 X 2的矩阵，表 示待匹配图像间的旋转，〇是一个2X1的矩阵，表示待匹配图像间的平移； 设已知的一组初始匹配点对中，图像a上点集为X= {X1，…，χΝ}τ，图像b上相应点集为Y = {yi，…，yN}T，计算其中第η对匹配点为正确匹配的后验概率p n有如下后验概率数学模型，其中，丫和σ均为模型参数，e为数学常量，b为预设的系数； 参数求解模块，用于根据点集X= U1，…，xn}WPY= {yi，…，yN}T求解模型参数，包括以 下子模块， 邻居匹配点子模块，用于为每一个匹配点χη，η=1，···，Ν，分别搜索最近的K个邻居匹配 点，K取预设值； 权重矩阵子模块，用于根据邻居匹配点子模块的搜索结果，采用最小二乘法求解维度 为N X N的权重矩阵W; 最优化求解子模块，用于通过最优化方法求解模型参数s、R、o、γ、〇,包括以下单元， 初始化单元，用于令γ = γ Q，R= 12X2,〇 = O，P = Inxn，γ ο为γ的预设初始值，令当前迭 代次数k= 1，采用下述模型参数公式计算σ，其中，T=(t(xi)，…，t(XN))T，tr()表示求矩阵的迹； 更新单元，用于更新矩阵P，包括采用模型构建模块中所得后验概率数学模型，计算得 至丨JN对匹配点对分别为正确匹配的后验概率pi，…，Pn，令P = diag(pi,…，pN)，diag表示对角 矩阵； 第一参数计算单元，用于计算参数s、R、o如下， 采用下述公式计算参数s，将Inxn省略记为I，矩阵Q= (I-W)tP(I-W)，λ为预设的参数； 采用下述公式计算参数R， R=UDVt 其中，D = diag(l，det(UVT))，det()表示矩阵的行列式，矩阵U和V通过奇异值分解获得； 采用下述公式计算参数O， 〇-y-y-sRy-x 第二参数计算单元，用于根据第一参数计算单元计算得到的参数S、R、o,重新计算参数 γ、σ如下， 采用下述公式计算参数γ，采用初始化单元中模型参数公式计算σ; 迭代判断单元，用于判别收敛条件，包括计算当前的参数L，当满足 1^)/1。1(1〇，结束迭代，1^为最大迭代次数，￡是收敛阈值;否则汰=1^1，命令更新单元工 作;所述参数L的计算公式如下，其中，Uid表示上一次计算得到的L; 判断结果模块，用于计算初始匹配点对为正确匹配的后验概率，并根据阈值判断初始 匹配点对的正误，实现如下， 将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率数学 模型，计算得到第η对匹配点对为正确匹配的后验概率；当pn 2 threshold时，则认为第η对 匹配点是正确匹配；当Pn〈threshold时，则认为第η对匹配点是错误的匹配，其中threshold 为预设的判断阈值。4.根据权利要求3所述基于局部线性迀移和仿射变换的图像特征匹配系统，其特征在 于:权重矩阵子模块包括以下单元， 初始赋值单元，用于当匹配点幻不是所述邻居匹配点子模块中搜索到的匹配点个 邻居匹配点之一时，则将軋设置为0,其中匹配点Xj和匹配点^为点集X中的匹配点，且i J =1，…，NJ1谦示权重矩阵W第i行第j列的元素； 求解单元，用于在的约束条件下，采用最小二乘法求解得到使得下述代价 函数E(W)取到最小值的权重矩阵W，代价函数E(W)如下，
【专利摘要】本发明提出了一种基于局部线性迁移和仿射变换的图像特征匹配方法及系统，用于通过去除初始匹配点对中的错误的匹配来建立正确的匹配，包括针对待匹配图像间的仿射变换建立待匹配图像间几何变换相应的模型，并建立匹配点对为正确匹配的后验概率相应的模型，基于最近邻居匹配点、最小二乘法、最优化方法求解模型参数；计算初始匹配点对为正确匹配的后验概率，并根据阈值判断初始匹配点对的正误。本方法针对待匹配图像之间存在仿射变换的情况进行了建模，大幅降低了匹配的错误率，即使在初步匹配中存在大量错误匹配的情况下，依然保持良好的鲁棒性。
【IPC分类】G06T3/00
【公开号】CN105488754
【申请号】CN201510799813
【发明人】樊凡, 马泳, 黄珺, 马佳义, 梅晓光
【申请人】武汉大学
【公开日】2016年4月13日
【申请日】2015年11月19日
【技术领域】
[0001] 本发明涉及图像特征匹配技术领域，具体地说，本发明涉及基于局部线性迀移和 仿射变换的图像特征匹配技术方案。
【背景技术】
[0002] 图像匹配的基本目标是将使用不同传感器在不同的时间和视角下获得的同一个 场景的两幅图像的相同部位进行对应。
[0003] 在过去的几十年里，学者们研究了很多方法来解决遥感图像匹配问题。这些方法 大致可以分为两类:基于区域的匹配方法和基于特征的匹配方法。前者通过搜索两幅图像 中一定区域内原始灰度值的相似程度来寻找匹配信息;后者则利用局部特征的描述子相似 性或空间几何约束来寻找匹配点对。在具有少量显著细节的情况中，灰度值提供的信息比 局部形状和结构要多，从而基于区域的方法的匹配效果更好。但是基于区域的方法计算量 大，且在图像失真和光度改变的情况下并不适用。相反，特征方法具有更好的鲁棒性，可以 处理复杂失真的图像，得到广泛的应用。
[0004] 如何寻找两幅图像中对应的匹配点，形成匹配点对，并确保匹配点对的正确性是 图像匹配方法的关键。
[0005] 基于区域的匹配方法主要有相关法、傅里叶方法和互信息法三种。相关法的主要 思想是计算两幅图像中对应窗的相似性，然后将具有最大相似程度的一对作为匹配点对。 但相关法在相似性不显著的无纹理区域无法适用，且计算复杂。傅里叶方法利用了图像在 频率域的傅里叶表示。与传统的相关方法相比，这种方法在计算效率更高并且对频率类噪 声具有很好的鲁棒性。然而，这种方法在处理具有不同谱结构的图像具有一定限制性。互信 息法尽管其匹配效果良好，但是它无法得到整个搜索空间中的全局最大值，因此不可避免 的会减低它的鲁棒性。
[0006] 基于特征的匹配方法中，通常采用一种分为两个步骤的策略。第一步，通过特征描 述子的相似程度确定一组初始的匹配点对，其中绝大多数是正确匹配，但不可避免的含有 大量的错误匹配。第二步，通过通过几何约束来去除错误的匹配，最后便可得到正确的匹配 点对和两幅图像之间变换的几何参数。这种策略的典型例子包括RANSAC方法 (M.A.Fischler and R.C.Bolles，"Random sample consensus : A paradigm for model fitting with application to image analysis and automated cartog-raphy，'， Commun · ACM，vol.24，no.6，pp.381-395，Jun.l981)、ARHV 方法（P.H.S.Torr and A.Zisserman,UMLESAC:A new robust estimator with application to estimating image geometry，'，Comput.Vis.Image Under-stand. ,νο1.78,ηο.1,ρρ.138-156, 八卩^.2000)等依赖于参数模型的方法和￥?(：方法（<1.]^， <1.21^〇，<1.1^&11，丄.￥1^1^，&11(1 Z.Tu，"Robust point matching via vector field consensus，'，IEEE Trans. Image Process ·，vo 1 · 23，no ·4，pp · 1706-1721，Apr · 2014·)、GS方法(H.Liu and S.Yan，"Common visual pattern discovery via spatially coher-ent correspondence，'，in Proc · IEEE Conf · Comput · Vis · Pattern Recog.，Jun .2010, pp .1609-1616.)和ICF方法（X · Li and Z. Hu, Rejecting misma tches by correspondence functionInt.J.Comput. Vis ., vol.89，no. 1，pp. l-17，Aug.2010) ·等基于非参数模型的方法。
[0007] 虽然这些方法在许多领域获得了成功，但是在图像中含有大量因视角变化造成的 局部失真以及图像内容较复杂时，初步匹配后会得到很多错误的初始匹配点对，当错误率 超过一定比例时，这些方法就不能有效的去除错误。因此亟需一种对初始匹配错误率具有 较强鲁棒性的匹配方法。
【发明内容】
[0008] 针对现有技术缺陷，本发明提出了一种基于局部线性迀移和仿射变换的图像特征 匹配技术方案。
[0009] 为达到上述目的，本发明采用的技术方案为一种基于局部线性迀移和仿射变换的 图像特征匹配方法，包括以下步骤，
[0010] 步骤1，建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概 率相应的模型，实现如下，
[0011] 针对待匹配图像间的仿射变换，建立变换数学模型如下，
[0012] y = t(x) =Ax+o
[0013] 其中，设两幅待匹配图像为图像a和图像b，x和y分别是图像a和图像b上像素的坐 标向量，t(x)表示仿射变换关系，A是一个2X2的仿射矩阵，〇是一个2 X 1的矩阵，表示待匹 配图像间的平移；
[0014]设已知的一组初始匹配点对中，图像a上点集为X = {X1，…，XN}τ，图像b上相应点集 为Y={yi，…，yN}T，计算其中第η对匹配点为正确匹配的后验概率?"有如下后验概率数学模 型，
[0015]
[0016] 其中，γ和。均为模型参数，e为数学常量，b为预设的系数；
[0017] 步骤2,根据点集Χ= {χι，···，χΝ}τ和Y= {yi，···，yN}T求解模型参数，包括以下子步 骤，
[0018] 步骤2.1，为每一个匹配点χη，η=1，···，Ν，分别搜索最近的K个邻居匹配点，K取预 设值；
[0019] 步骤2.2，根据步骤2.1的搜索结果，采用最小二乘法求解维度为Ν X Ν的权重矩阵 W；
[0020] 步骤2.3，通过最优化方法求解模型参数8、1?、〇、丫、〇，包括以下子步骤，
[0021 ] 步骤2.3.1，初始化，包括令γ = γ 〇，Α=Ι2Χ2,〇 = 0，Ρ = Ινχν，γ 〇为γ的预设初始 值，令当前迭代次数k=l，采用下述模型参数公式计算〇，
[0022]
[0023]其中，矩阵T=(t(xi)，…，t(XN))T，tr()表示求矩阵的迹；
[0024] 步骤2.3.2，更新矩阵P，包括采用步骤1中所得后验概率数学模型，计算得到N对匹 配点对分别为正确匹配的后验概率口1，~心，令？ = (^8化1，"_^)，(^8表示对角矩阵； [0025] 步骤2.3.3,计算参数A、o如下，
[0026] 采用下述公式计算参数A，
[0027]
[0028] 将Inxn省略记为I，矩阵Q= (I-W)TP(I-W)，λ为预设的参数；
[0029] 采用下述公式计算参数〇，
[0030] ο=μγ-Αμχ
[0031 ] 步骤2.3.4，根据步骤2.3.3计算得到的参数Α、ο，重新计算参数γ、σ如下，
[0032] 采用下述公式计算参数γ，
[0033]
[0034] 采用步骤2.3.1中模型参数公式计算σ;
[0035] 步骤2.3.5，判别收敛条件，包括计算当前的参数1^，当满足1^ = 1^1￡?或者(1^。1(：1)/ 1^0，结束迭代，1^_为最大迭代次数， ￡是收敛阈值;否则汰=1^1，返回步骤2.3.2;所述 参数L的计算公式如下，
[0036]
1234567 其中，L〇id表示上一次计算得到的L; 2 步骤3,计算初始匹配点对为正确匹配的后验概率，并根据阈值判断初始匹配点对 的 正误，实现如下， 3 将所述步骤2.3中求解的模型参数代入步骤1中所述后验概率数学模型，计算得到 第η对匹配点对为正确匹配的后验概率；当?" 2 threshold时，则认为第η对匹配点是正确匹 配；当pn〈threshold时，则认为第η对匹配点是错误的匹配，其中threshold为预设的判断阈 值。 4 而且，步骤2.2包括以下子步骤， 5 步骤2.2.1，当匹配点幻不是所述步骤2.1中搜索到的匹配点&的1(个邻居匹配点之 6 一时，则将Wij设置为0,其中匹配点Xj和匹配点Xi为点集X中的匹配点，且i，j = l，…，N，Wij表 7 示权重矩阵W第i行第j列的元素；
[0042] 步骤2.2.2，在= 1的约束条件下，采用最小二乘法求解得到使得下述代 价函数E(W)取到最小值的权重矩阵W，代价函数E(W)如下，
[0043]
[0044] 本发明还相应提供一种基于局部线性迀移和仿射变换的图像特征匹配系统，包括 以下模块，
[0045]模型构建模块，用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹 配的后验概率相应的模型，实现如下，
[0046] 针对待匹配图像间的仿射变换，建立变换数学模型如下，
[0047] y = t(x) =Ax+o
[0048] 其中，设两幅待匹配图像为图像a和图像b，x和y分别是图像a和图像b上像素的坐 标向量，t(x)表示仿射变换关系，A是一个2X2的仿射矩阵，〇是一个2 X 1的矩阵，表示待匹 配图像间的平移；
[0049]设已知的一组初始匹配点对中，图像a上点集为X = {X1，…，XN}τ，图像b上相应点集 为Y={yi，…，yN}T，计算其中第η对匹配点为正确匹配的后验概率?"有如下后验概率数学模 型，
[0050]
[0062]
[0060] 第一参数计算单元，用于计算参数A、o如下，[0061] 采用下述公式计算参数A，
[0063] 将Inxn省略记为I，矩阵Q= (I-W)TP(I-W)，λ为预设的参数；
[0064] 采用下述公式计算参数〇，
[0065] ο=μγ-Αμχ
[0066] 第二参数计算单元，用于根据第一参数计算单元计算得到的参数Α、ο,重新计算参 数γ、σ如下，
[0067] 采用下述公式计算参数γ，
[0068]
[0069] 采用初始化单元中模型参数公式计算
[0070] 迭代判断单元，用于判别收敛条件，包括计算当前的参数L，当满足k = kmax或者仏-1^)/1。1(10，结束迭代，1^为最大迭代次数，￡是收敛阈值;否则汰=1^1，命令更新单元工 作;所述参数L的计算公式如下，
[0071]
[0072] 其中，L〇id表示上一次计算得到的L;
[0073] 判断结果模块，用于计算初始匹配点对为正确匹配的后验概率，并根据阈值判断 初始匹配点对的正误，实现如下，
[0074] 将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率 数学模型，计算得到第η对匹配点对为正确匹配的后验概率；当p n 2 threshold时，则认为第 η对匹配点是正确匹配；ipn〈threSh〇ld时，则认为第η对匹配点是错误的匹配，其中 thr esho 1 d为预设的判断阈值。
[0075] 而且，权重矩阵子模块包括以下单元，
[0076] 初始赋值单元，用于当匹配点&不是所述邻居匹配点子模块中搜索到的匹配点Xl 的K个邻居匹配点之一时，则将设置为0,其中匹配点和匹配AXl为点集X中的匹配点， 且i，j = 1，…，N，Wi请示权重矩阵W第i行第j列的元素；
[0077] 求解单元，用于在的约束条件下，采用最小二乘法求解得到使得下述 代价函数E(W)取到最小值的权重矩阵W，代价函数E(W)如下，
[0078]
[0079] 本发明具有以下优点：
[0080] 1、本发明针对图像特征匹配提出了一种统一的最大似然框架。与普遍使用的参数 模型相比，这种框架可以处理非参数模型情况，应用范围更广。
[0081] 2、本发明构造了一种局部几何约束对变换模型进行优化。这种约束保存了相邻特 征点间的局部结构，因此可用来处理含有大量错误匹配的情况，具有更强的鲁棒性。
【具体实施方式】
[0082] 本方法首先对待匹配图像仿射变换进行数学建模，然后通过去除度初步建立一系 列的匹配点对中的错误的匹配来建立正确的匹配。本方法利用带隐变量的贝叶斯最大似然 估计进行数学建模。同时，还构造了一种保留相邻特征点间局部结构的几何约束，即使在初 步匹配中存在大量错误匹配的情况下，依然保持良好的鲁棒性。
[0083] 下面通过实施例对本发明技术方案进一步详细说明。
[0084] 本发明实施例所提供方法的流程主要包括3个步骤：
[0085] 步骤1，建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概 率相应的模型；
[0086] 针对待匹配图像间的仿射变换，建立变换数学模型如下：
[0087] y = t(x) =Ax+o
[0088] 其中，x和y是像素的坐标向量，即设两幅待匹配图像对包括为图像a和图像b，x和y 分别是图像a和图像b上像素的坐标向量，t(x)表示仿射变换关系，A是一个2X2的仿射矩 阵，〇是一个2X1的矩阵，表示待匹配图像间的平移；
[0089] 由于采用现有技术中的图像匹配进行初始匹配所得匹配点对难免有错误，本发明 的目的是对其中错误的去掉，则对于已知的一组初始匹配点对中图像a上点集为X = {XI，…，XN}τ，图像b上相应点集为Y = {y 1，…，yN}τ，其中点XI对应匹配点y 1，以此类推，点XN对 应匹配点yN，包含N对初始匹配点对，其中第η对匹配点对为正确匹配的后验概率?"可以由如 下后验概率数学模型计算得到：
[0090]
[0091] 其中，γ和σ均为模型参数，e为数学常量，系数b可由本领域技术人员预先指定，或 者采用可变参数，实施例采用2/5，即
[0092]
[0093]步骤2,根据已知的初始匹配点对，即点集X= {xi，···，xn}t，Y= {yi,…，yN}T，求解所 述步骤1中两个模型的参数;包含以下子步骤：
[0094]步骤2.1，为每一个匹配点χη，η=1，···，Ν，分别采用k-d树关联搜索方法搜索与其 最近的K个邻居匹配点，具体实施时，本领域技术人员可自行预设K的取值，本实施例中K取 15；
[0095]步骤2.2,根据所述步骤2.1的搜索结果，采用最小二乘法求解维度为ΝΧΝ的权重 矩阵W;
[0096] 实施例中，权重矩阵W求解如下，
[0097] 步骤2.2.1，当匹配点幻不是所述步骤2.1中搜索到的匹配点个邻居匹配点之 一时，则将Wij设置为0,其中匹配点 Xj和匹配点Xi为点集X中的匹配点，且i，j = l，…，N，Wij表 示权重矩阵W第i行第j列的元素；
[0098] 步骤2.2.2，在二1的约束条件下，采用最小二乘法求解得到使得下述代 价函数E(W)取到最小倌的权雷矩阵W,代价函数E(W)如下：
[0099]
[0100]步骤2.3,通过最优化方法求解未知的数学模型参数:Α、〇、γ、〇;
[0101] 实施例中未知的数学模型参数Α、ο、γ、σ的求解过程如下：
[0102] 步骤2.3.1，初始化参数;令参数γ = γ〇(具体实施时，本领域技术人员可以自行 设定γ的初始值γ〇,实施例取γ 0=0.9)，矩阵Α=ι2χ2(即维度为2X2、元素全部为1的单位 矩阵），参数〇 = 〇，矩阵P = Ινχν(即维度为Ν X Ν、元素全部为1的单位矩阵），当前迭代次数k = 1，采用下述模型参数公式计算σ:
[0103]
[0104]其中，矩阵T=(t(xi)，…，t(XN)) T，tr()表示求矩阵的迹；
[0105] 步骤2.3.2,更新矩阵P:
[0106] 采用步骤1中所述后验概率数学模型，计算得到第1，…，N对匹配点对分别为正确 匹配的后验概率P1，…，PN，令P = diag(pi，…，PN)，diag表示对角矩阵；
[0107] 步骤2.3.3,计算参数A、o;
[0108] 采用下述公式计算参数A:
:，
?、1，1^1即维度为~\1、元素全部为1的单位矩阵，将1~>^省略记为1，矩阵 Q=(I-W)TP(I_W)，X为一个预设的参数，具体实施时本领域技术人员可预设取值，本实施例 中取100;
[0111] 采用下述公式计算参数0:
[0112] ο=μγ-Αμχ
[0113] 步骤2.3.4,根据步骤2.3.3计算得到的参数A、o,基于当前的t(x)可重新计算参数 γ、〇;
[0114] 采用下述公式计算参数γ :
[0115]
[0116] 米用步骤? 1甲所述模型参数公式计算〇;
[0117]步骤2.3.5，判别收敛条件：
[0118] 计算当前的参数L，当满足k = kmax或者t-LoicO/Loid < ε，结束迭代；否贝IJ，即当k〈 1^￡?且(1^。1(〇凡。1〇1>￡，1^ = 1^+1，回到步骤2.3.2，具体实施时，本领域技术人员可自选预设 最大迭代次数kmax的取值，本实施例的取值为50;
[0119]其中，ε是收敛阈值，具体实施时本领域技术人员可预设取值，例如取0.0001，Uid 表示上一次执行步骤2.3.5计算得到的L，首次执行步骤2.3.5时，可以令Uld为一个较大的 初始值，例如10的6次方，之后执行即可采用上次执行执行步骤2.3.5的计算结果。L的计算 公式如下：
[0120]
[0121] 步骤3,计算初始匹配点对为正确匹配的后验概率，并根据阈值判断初始匹配点对 的正误；
[0122] 将所述步骤2.3中求解的参数代入步骤1中所述后验概率数学模型，计算得到第η 对匹配点对为正确匹配的后验概率；当pn 2 threshold时，则认为第η对匹配点是正确匹配； 当pn〈threshold时，则认为第η对匹配点是错误的匹配，其中threshold为判断阈值，具体实 施时，本领域技术人员可自选预设判断阈值的取值，本实施例中取〇. 5。
[0123] 具体实施时，以上流程可采用软件方式实现自动运行。还可以采用模块化方式提 供相应系统，本发明实施例还相应提供一种基于局部线性迀移和仿射变换的图像特征匹配 系统，包括以下模块，
[0124] 模型构建模块，用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹 配的后验概率相应的模型，实现如下，
[0125] 针对待匹配图像间的仿射变换，建立变换数学模型如下，
[0126] y = t(x) =Ax+o
[0127] 其中，设两幅待匹配图像为图像a和图像b，x和y分别是图像a和图像b上像素的坐 标向量，t(x)表示仿射变换关系，A是一个2X2的仿射矩阵，〇是一个2 X 1的矩阵，表示待匹 配图像间的平移；
[0128] 设已知的一组初始匹配点对中，图像a上点集为X={X1，…，χΝ}τ，图像b上相应点集 为Y={ yi，…，yN}T，计算其中第η对匹配点为正确匹配的后验概率?"有如下后验概率数学模 型，
[0129]
[0130] 其中，γ和σ均为模型参数，e为数学常量，b为预设的系数；
[0131] 参数求解模块，用于根据点集Χ= {χι，···，xn}t和Y= {yi,…，yN}T求解模型参数，包 括以下子模块，
[0132] 邻居匹配点子模块，用于为每一个匹配点Χη，η=1，···，Ν，分别搜索最近的K个邻居 匹配点，Κ取预设值；
[0133] 权重矩阵子模块，用于根据邻居匹配点子模块的搜索结果，采用最小二乘法求解 维度为NX Ν的权重矩阵W;
[0134] 最优化求解子模块，用于通过最优化方法求解模型参数s、R、o、γ、〇,包括以下单 元，
[0135] 初始化单元，用于令γ = γ 〇，Α=Ι2Χ2,〇 = 0，Ρ=Ινχν，γ 〇为γ的预设初始值，令当 前迭代次数k= 1，采用下述模型参数公式计算〇，
[0136]
[0137] 其中，矩阵T=(t(xi)，…，t(XN))T，tr()表示求矩阵的迹；
[0138] 更新单元，用于更新矩阵P，包括采用模型构建模块中所得后验概率数学模型，计 算得到N对匹配点对分别为正确匹配的后验概率pi,…，PN，令P = diag(pi,…，PN)，diag表示 对角矩阵；
[0139] 第一参数计算单元，用于计算参数A、o如下，
[0140] 采用下述公式计算参数A，
[0141]
[0142] 将Inxn省略记为I，矩阵Q= (I-W)TP(I-W)，λ为预设的参数；
[0143] 采用下述公式计算参数〇，
[0144] ο=μγ-Αμχ
[0145] 第二参数计算单元，用于根据第一参数计算单元计算得到的参数Α、ο,重新计算参 数γ、σ如下，
[0146] 采用下述公式计算参数γ，
[0147]
[0148] yivrrrmcrru于?τ?吳型参数公式计算σ;
[0149]迭代判断单元，用于判别收敛条件，包括计算当前的参数L，当满足k = kmax或者(L- 1^)/1。1(1〇，结束迭代，1^为最大迭代次数，￡是收敛阈值;否则汰=1^1，命令更新单元工 作;所述参数L的计算公式如下，
[0150]
[0151]其中，Loid表示上一次计算得到的L;
[0152] 判断结果模块，用于计算初始匹配点对为正确匹配的后验概率，并根据阈值判断 初始匹配点对的正误，实现如下，
[0153] 将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率 数学模型，计算得到第η对匹配点对为正确匹配的后验概率；当p n 2 threshold时，则认为第 η对匹配点是正确匹配；ipn〈threSh〇ld时，则认为第η对匹配点是错误的匹配，其中 thr esho 1 d为预设的判断阈值。
[0154] 进一步地，权重矩阵子模块包括以下单元，
[0155]初始赋值单元，用于当匹配点不是所述邻居匹配点子模块中搜索到的匹配点Xl 的K个邻居匹配点之一时，则将軋设置为0,其中匹配点和匹配点^为点集X中的匹配点， 且i，j = 1，…，谦示权重矩阵W第i行第j列的元素；
[0156] 求解单元，用于在的约束条件下，采用最小二乘法求解得到使得下述 代价函数E(W)取到最小值的权重矩阵W，代价函数E(W)如下，
[0157]
[0158] 选取RANSAC、ICF、GS方法与本发明进行图像匹配的对比。对比结果如下表，其中正 确率是指方法最后给出的匹配点对中是正确匹配点对的比例;遗漏率是指方法在筛选过程 中把正确匹配点对判断为错误匹配点对的比例。可以看到本方法用时最短，准确率最高，遗 漏率最低。
[0159]方法效果对比表
[0160]
[0161]本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领 域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似方式替代， 但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。
【主权项】
1. 一种基于局部线性迀移和仿射变换的图像特征匹配方法，其特征在于:包括以下步 骤， 步骤1，建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相 应的模型，实现如下， 针对待匹配图像间的刚性几何变换，建立变换数学模型如下， y = t(x) = sRx+o 其中，设两幅待匹配图像为图像a和图像b，x和y分别是图像a 和图像b上像素的坐标向 量，t(x)表示刚性几何变换关系，s表示待匹配图像间的尺度比例，R是一个2 X 2的矩阵，表 示待匹配图像间的旋转，〇是一个2X1的矩阵，表示待匹配图像间的平移； 设已知的一组初始匹配点对中，图像a上点集为X= {X1，…，χΝ}τ，图像b上相应点集为Y = {yi，…，yN}T，计算其中第η对匹配点为正确匹配的后验概率p n有如下后验概率数学模型，其中，丫和σ均为模型参数，e为数学常量，b为预设的系数； 步骤2,根据点集Χ={Χ1，···，χΝ}3ΡΥ={71，···， 7Ν}τ求解模型参数，包括以下子步骤， 步骤2.1，为每一个匹配点Xn，n= 1，…，Ν，分别搜索最近的K个邻居匹配点，K取预设值； 步骤2.2，根据步骤2.1的搜索结果，采用最小二乘法求解维度为N XN的权重矩阵W; 步骤2.3,通过最优化方法求解模型参数s、R、o、γ、〇,包括以下子步骤， 步骤2.3.1，初始化，包括令丫 = 丫〇，1?=12\2,〇 = 0，？=1_，丫()为丫的预设初始值，令 当前迭代次数k=l，采用下述模型参数公式计算〇，其中，T=(t(xi)，…，t(XN))T，tr()表示求矩阵的迹； 步骤2.3.2，更新矩阵P，包括采用步骤1中所得后验概率数学模型，计算得到N对匹配点 对分别为正确匹配的后验概率口1，~心，令？ = (^8化1，"_4〃），(^8表示对角矩阵； 步骤2.3.3,计算参数s、R、o如下， 采用下述公式计算参数s，其中，矩阵将Inxn省略记为I，矩阵Q= (I-W)tP(I-W)，λ为预设的参数； 采用下述公式计算参数R， R=UDVt 其中，D = diag(l，det(UVT))，det()表示矩阵的行列式，矩阵U和V通过奇异值分解获得； 采用下述公式计算参数〇， 〇-y-y-sRy-x 步骤2.3.4,根据步骤2.3.3计算得到的参数s、R、o,重新计算参数γ、σ如下， 采用下述公式计算参数γ，采用步骤2.3.1中模型参数公式计算〇; 步骤2.3.5,判别收敛条件，包括计算当前的参数L，当满足k = kmax或者(L-Uid)/Uid < ε，结束迭代，kmax为最大迭代次数，ε是收敛阈值;否则，k = k+l，返回步骤2.3.2;所述参数L 的计算公式如下，其中，Uid表示上一次计算得到的L; 步骤3,计算初始匹配点对为正确匹配的后验概率，并根据阈值判断初始匹配点对的正 误，实现如下， 将所述步骤2.3中求解的模型参数代入步骤1中所述后验概率数学模型，计算得到第η 对匹配点对为正确匹配的后验概率；当pn 2 threshold时，则认为第η对匹配点是正确匹配； 当pn〈 thre sho I d时，则认为第η对匹配点是错误的匹配，其中thre sho I d为预设的判断阈值。2. 根据权利要求1所述基于局部线性迀移和仿射变换的图像特征匹配方法，其特征在 于:步骤2.2包括以下子步骤， 步骤2.2.1，当匹配点以不是所述步骤2.1中搜索到的匹配点^的1(个邻居匹配点之一 时，则将Wij设置为0,其中匹配点Xj和匹配点Xi为点集X中的匹配点，且i J = I，···，Ν，Ιυ表示 权重矩阵W第i行第j列的元素； 步骤2.2.2，在的约束条件下，采用最小二乘法求解得到使得下述代价函 数E(W)取到最小值的权重矩阵W，代价函数E(W)如下，3. -种基于局部线性迀移和仿射变换的图像特征匹配系统，其特征在于:包括以下模 块， 模型构建模块，用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的 后验概率相应的模型，实现如下， 针对待匹配图像间的刚性几何变换，建立变换数学模型如下， y = t(x) = sRx+o 其中，设两幅待匹配图像为图像a和图像b，x和y分别是图像a和图像b上像素的坐标向 量，t(x)表示刚性几何变换关系，s表示待匹配图像间的尺度比例，R是一个2 X 2的矩阵，表 示待匹配图像间的旋转，〇是一个2X1的矩阵，表示待匹配图像间的平移； 设已知的一组初始匹配点对中，图像a上点集为X= {X1，…，χΝ}τ，图像b上相应点集为Y = {yi，…，yN}T，计算其中第η对匹配点为正确匹配的后验概率p n有如下后验概率数学模型，其中，丫和σ均为模型参数，e为数学常量，b为预设的系数； 参数求解模块，用于根据点集X= U1，…，xn}WPY= {yi，…，yN}T求解模型参数，包括以 下子模块， 邻居匹配点子模块，用于为每一个匹配点χη，η=1，···，Ν，分别搜索最近的K个邻居匹配 点，K取预设值； 权重矩阵子模块，用于根据邻居匹配点子模块的搜索结果，采用最小二乘法求解维度 为N X N的权重矩阵W; 最优化求解子模块，用于通过最优化方法求解模型参数s、R、o、γ、〇,包括以下单元， 初始化单元，用于令γ = γ Q，R= 12X2,〇 = O，P = Inxn，γ ο为γ的预设初始值，令当前迭 代次数k= 1，采用下述模型参数公式计算σ，其中，T=(t(xi)，…，t(XN))T，tr()表示求矩阵的迹； 更新单元，用于更新矩阵P，包括采用模型构建模块中所得后验概率数学模型，计算得 至丨JN对匹配点对分别为正确匹配的后验概率pi，…，Pn，令P = diag(pi,…，pN)，diag表示对角 矩阵； 第一参数计算单元，用于计算参数s、R、o如下， 采用下述公式计算参数s，将Inxn省略记为I，矩阵Q= (I-W)tP(I-W)，λ为预设的参数； 采用下述公式计算参数R， R=UDVt 其中，D = diag(l，det(UVT))，det()表示矩阵的行列式，矩阵U和V通过奇异值分解获得； 采用下述公式计算参数O， 〇-y-y-sRy-x 第二参数计算单元，用于根据第一参数计算单元计算得到的参数S、R、o,重新计算参数 γ、σ如下， 采用下述公式计算参数γ，采用初始化单元中模型参数公式计算σ; 迭代判断单元，用于判别收敛条件，包括计算当前的参数L，当满足 1^)/1。1(1〇，结束迭代，1^为最大迭代次数，￡是收敛阈值;否则汰=1^1，命令更新单元工 作;所述参数L的计算公式如下，其中，Uid表示上一次计算得到的L; 判断结果模块，用于计算初始匹配点对为正确匹配的后验概率，并根据阈值判断初始 匹配点对的正误，实现如下， 将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率数学 模型，计算得到第η对匹配点对为正确匹配的后验概率；当pn 2 threshold时，则认为第η对 匹配点是正确匹配；当Pn〈threshold时，则认为第η对匹配点是错误的匹配，其中threshold 为预设的判断阈值。4.根据权利要求3所述基于局部线性迀移和仿射变换的图像特征匹配系统，其特征在 于:权重矩阵子模块包括以下单元， 初始赋值单元，用于当匹配点幻不是所述邻居匹配点子模块中搜索到的匹配点个 邻居匹配点之一时，则将軋设置为0,其中匹配点Xj和匹配点^为点集X中的匹配点，且i J =1，…，NJ1谦示权重矩阵W第i行第j列的元素； 求解单元，用于在的约束条件下，采用最小二乘法求解得到使得下述代价 函数E(W)取到最小值的权重矩阵W，代价函数E(W)如下，
【专利摘要】本发明提出了一种基于局部线性迁移和仿射变换的图像特征匹配方法及系统，用于通过去除初始匹配点对中的错误的匹配来建立正确的匹配，包括针对待匹配图像间的仿射变换建立待匹配图像间几何变换相应的模型，并建立匹配点对为正确匹配的后验概率相应的模型，基于最近邻居匹配点、最小二乘法、最优化方法求解模型参数；计算初始匹配点对为正确匹配的后验概率，并根据阈值判断初始匹配点对的正误。本方法针对待匹配图像之间存在仿射变换的情况进行了建模，大幅降低了匹配的错误率，即使在初步匹配中存在大量错误匹配的情况下，依然保持良好的鲁棒性。
【IPC分类】G06T3/00
【公开号】CN105488754
【申请号】CN201510799813
【发明人】樊凡, 马泳, 黄珺, 马佳义, 梅晓光
【申请人】武汉大学
【公开日】2016年4月13日
【申请日】2015年11月19日
最新回复(0)