基于流场的虚拟图像拼接方法
基于流场的虚拟图像拼接方法
【技术领域】
[0001 ]本发明涉及一种基于流场的虚拟图像拼接方法。
【背景技术】
[0002] 随着数码摄像机越来越普遍，越来越多的用户能够体验数码产品，自动图像数字 处理技术也成为技术研究人员探索的热潮;红眼消除和颜色校正两个很流行的图像处理方 法已经被纳入商业软件程序包，主要被摄影学家应用；另一个很普遍的应用就是图像拼接 技术，即从有相同场景的多个有重叠部分的图像中产生一个高质量的全景图像。
[0003] 从计算机的发明到现在，经过几十年的时间，信息技术已经从无到有，数字化信息 已经渗透到人类生活密切相关的各个领域，人类正向高度信息化的社会迈进;长期以来，人 们一直追求直观，简单而且有效的信息传递方式，这就促使了多媒体技术的高速发展，成为 了信息技术中热点研究方向之一;据研究，人们仅有不到20%的信息是通过视觉以外的途 径获得的，视觉信息的重要性不言而喻；图像是视觉信息中最重要的一类，其技术研究重点 主要是使自然景物的表征更加逼真和清晰。
[0004] 图像可以将表达的信息用最直白的形式展现出来，同时含有比文字更丰富的内 容，因此它已经成为人们交流的主要工具，人们接触到的信息几乎都是以图像的形式呈现 的；但是图像在放大，变换和特写以及3D投影时，会受到各种因素的干扰，从而使得图像在 虚拟位置的图像的质量下降，图像细节模糊，不能达到高标准高质量的图像要求，不能根据 用户设定得到局部的超高清图像，因此需要使用某种技术来改善图像放大融合质量，提高 图像可视效果。国内外对于虚拟视频的研究始于上世纪90年代，国际方面，比较有影响力的 是日本名古屋大学的基于光线空间的自由视点电视(FTV Free Viewpoint Television)系 统、斯坦福大学的Light Field系统、德国HHI研究所的基于模型的自由视点视频方案、三菱 MERL实验室的面向存储和传输的交互式自由视点视频系统，欧洲的3DTV计划;此外，微软、 卡内基梅隆大学等也在多视点系统实现上开展了广泛的工作。
[0005] 国内的研究机构对多视点视频技术的研究也取得了一定的成就，清华大学较早地 展开了自由视点视频技术的研究，主要包括在光场处理和交互式多视点视频上的研究；宁 波大学提出了包括光线空间数据压缩和插值、多视点视频编码，多视点视频颜色校正、 Wyner-ziv编码等方面的一系列算法。
[0006] 视点绘制技术作为多视点视频技术中的关键技术，不断有新的算法提出;Mor i等 人提出了先由参考视点绘制出虚拟视点深度图，再反向映射的算法，该算法能够获得良好 的主观质量和PSNR。
[0007] S. Zinger等人在Mori所提算法的基础上进一步提出了通过对在深度图进行滤波， 比较滤波前后的变化区域找到不可靠区域，并对其反向映射的算法，该算法较Mori所提的 算法在PSNR和图像轮廓边缘上均有提升，但这两种方案均需要将全图映射多次，计算量大， 耗时长;Kwan-Jung Oh等提出一种填补空洞的方法，在区分出前景背景的基础上，用空洞周 围的背景点来填补空洞。这种方法局限于只能填补小洞;P.Merkle等人提出了对图像分块 处理的算法，其算法有较好的PSNR性能，但轮廓边缘的效果不如前两种算法;Ya-Mei Feng 等人提出了不对称参考视点的算法，其算法能够很大程度上减少数据量，并获得高质量的 图像，但在遮挡情况复杂的环境下可靠性不够;Karsten Miiller和A1 joscha Smolic等人提 出的算法中，使用分层视频（leveled depth video，LDV)能够减少传输的数据量，并且通过 边缘提取能够有效去除伪影现象，但分层视频需要预处理，降低了实时性，而且其边缘检测 的方法将一部分可靠区域划分到了不可靠区域中，增加了额外的开销。
【发明内容】
[0008] 本发明的目的在于克服现有技术的不足，提供一种无深度信息的全景特写的基于 流场的虚拟图像拼接方法，让用户指定虚拟视点位置，指定需放大的感兴趣区域，有效的处 理导航与定位中虚拟视点的位置、虚拟视角处与相机拍摄点的流场映射关系、虚拟视点处 图像信息、分频率高聚焦图像融合等问题，保证拼接之后的图像质量。本发明还解决目前视 角下遮挡带来的无图像问题，完成面向虚拟特写视点的拼接，由于在融合过程中采用了迭 代插值技术，故融合后图像不再需要填补的空洞。该方法能够精确有效的估计导航与定位 中虚拟视点的位置，与虚拟视角下看到的指定区域内的聚焦图像信息。
[0009] 本发明的目的是通过以下技术方案来实现的：基于流场的虚拟图像拼接方法，它 包括以下步骤：
[0010] S1:根据局部能量最优化算法，计算出相机拍摄的两张图片图片1到图片2的流场 h、图片2到图片1的流场12;
[0011] S2:用户根据喜好框选区域，将图片1中所述区域运用缩放变换，简单放大为图片 3,得到图片1到图片3的流场15;同时，将图片2所述区域运用缩放变换，简单放大为图片4， 得到图片2到图片4的流场1 6;
[0012] S3:将流场h和流场15合成流场13，图片1经流场13变化插值后得到图片5;同时，将 流场1 2和流场16合成流场14,图片2经流场14变化插值后得到图片6;
[0013] S4:根据流场几何关系，I5+Ii = l3+I7 和 16+12 = 14+18,运用 broxopticalflow 函数计 算出图片5到图片6的流场17和图片6到图片5的流场18;
[0014] S5:运用融合方法融合图片5和图片6,得到最终的聚焦融合图像图片7。
[0015] 所述的步骤S1基于以下条件：
[0016] (1)亮度恒定，同一点随着时间的变化，其亮度不会发生改变；
[0017] (2)图像中景物运动为小运动，时间的变化不会引起位置的剧烈变化，因此灰度才 能对位置求偏导；
[0018] (3)空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一 致，因此可以求出像素点的梯度VI(x)，即VI(x)为像素的偏导数；
[0019] 所述的步骤S1包括以下子步骤：
[0020] S11:运用条件(3)，令I#PI2分别为图片1中的点与图片2中对应与该点的匹配点的 像素值，点X坐标(x，y) T，最优流场向量w: = (u，v)T，定义匹配点之间的像素差Ec^or:
[0021]
[0022]其中、= ε用于处理遮挡带来的误差，I2(x+w(x))为图片2匹配点像 素的灰度值，Ιι(χ)为图片1像素点的灰度值；
[0023] 结合梯度来对能量函数进行限制，因此定义相邻两对匹配点之间的梯度关系差
Egradient ：
[0024]
[0025] 其中|VI2(X+w(X))-VI1(x)|为像素点与匹配点之间的梯度差；
[0026] 此外为了增强匹配的精准程度，定义流场的平滑程度Ε_。*，即流场间的梯度：
[0027]
[0028] 其中|Vu(x) |表示流场u方向的梯度，|Vv(x) |表示流场ν方向的梯度；
[0029] 通过以上三项的约束得到局部能量函数：
[0030] E(w) -Ecolor+ 7" Egradient+ClEsmooth
[0031] 式中γ，α表示为惩罚值，其值为经验值；
[0032] S12:建立步骤S11中的能量函数，根据局部能量最优原理，求解局部能量函数的最 小值；
[0033 ] S13:根据步骤S12，求解出使得局部能量最小的流场w: = (u，ν)τ，作为更加精确的 流场，为之后的图像融合做基础；
[0034] S14:运用S13中方法求得图1到图2的流场I i和图2到图1的流场12。
[0035] 所述的步骤S2包括以下子步骤：
[0036] S21:用户在图片1框选感兴趣区域ABCD，以A为原点，AB方向为y轴、AC方向为X轴建 立坐标系；
[0037] S22:用户将图片1中所述感兴趣区域简单放大，放大倍数β由用户指定，放大后的 区域为A'B'C'D'；从视平面垂直于ΑΑ'连线方向看，放大后的图像为图片3;
[0038] S23:在感兴趣区域AB⑶上任取一点E(x，y)，放大后的区域A'B'C'D'图中对应点为 E'（ik，i3y)，由此得出图片1放大为图片3的流场15;
[0039] S24:根据步骤S21~S23相同的方法，得到将图片2放大为图片4后的流场16。
[0040] 所述的步骤S3包括以下子步骤：
[0041] S31:由几何关系，1415 = 13和I2+I6 = l4,求得图片1到图片5的流场13和图片2到图 片6的流场14;
[0042] S32:再根据求得的流场13和流场14,将图片1和图片2分别放大到虚拟视点处，采用 双线性插值法，用Telea的FMM算法对虚拟视点处放大的图像插值后，生成高清图图片5和图 片6〇
[0043] 所述的步骤S5包括以下子步骤：
[0044] S51:分别以图片5和图片6两幅图像作为基准图，估计流场17和流场18,计算两幅图 像的遮挡部分，通过比较遮挡区域大小，确定基准图像，分析遮挡区域的分布情况，在避开 遮挡区域的同时，选择没有遮挡或者是遮挡部分较少部分作为图像融合区域；
[0045] S52:构建与融合区域等大的中间视图；
[0046] S53:根据估计的光流矢量，计算中间视图对应像素点的几何坐标及像素值，得到 高质量融合图像;当待拼接区域很大的时候，只需要根据遮挡部分缩小融合区域，其他部分 只需要保持原有图像部分，保证的图像的融合质量。
[0047] 本发明的有益效果是：
[0048] (1)虚拟视点的位置需要由特写要求决定，即由用户喜好确定，特写的灵活性强。
[0049] (2)虚拟视角下特写区域由用户框选，增强定位与导航中的灵活性。
[0050] (3)在多个光流方程的约束下可以求出相机拍摄点到任意虚拟视点的光流，由此 利用流场技术估计在虚拟视点处看到图像的信息。
[0051] (4)运用虚拟视点技术导航能避开眼前图像的遮挡，直接看到你想到达的任意虚 拟视点处的图像。
[0052] (5)求光流用于最终图像融合时运用broxopti calf low函数提高了光流计算的准 确性和稳定性。
[0053] (6)最后图像融合时采用的高质量融合方法，该方法将光流场引入到图像融合中， 通过对光流场取逆，同时构建中间视图，确定融合区域的像素几何坐标及像素值。能够有效 的处理图像融合中遮挡、鬼影、视差以及不连续点等问题，保证图像融合后的质量。
【附图说明】
[0054]图1为本发明方法流程图；
[0055] 图2为流场关系图；
[0056] 图3为用户框选区域放大过程示意图；
[0057]图4为放大过程流场关系图；
[0058] 图5为高质量融合流程图。 【具体实施方式】
[0059] 下面结合附图进一步详细描述本发明的技术方案:如图1和图2所示，基于流场的 虚拟图像拼接方法，它包括以下步骤：
[0060] S1:根据局部能量最优化算法，计算出更加精确的原始流场，计算出相机拍摄的两 张图片图片1到图片2的流场h、图片2到图片1的流场1 2;
[0061] 所述的步骤S1基于以下条件：
[0062] (1)亮度恒定，同一点随着时间的变化，其亮度不会发生改变；
[0063] (2)图像中景物运动为小运动，时间的变化不会引起位置的剧烈变化，因此灰度才 能对位置求偏导；
[0064] (3)空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一 致，因此可以求出像素点的梯度VI(x)，即VI(x)为像素的偏导数；
[0065] 所述的步骤S1包括以下子步骤：
[0066] S11:运用条件(3)，令UPI2分别为图片1中的点与图片2中对应与该点的匹配点的 像素值，点X坐标(x，y) T，最优流场向量w: = (u，v)T，定义匹配点之间的像素差Ec^or:
[0067]
[0068] 其中= 用于处理遮挡带来的误差，ε等于〇.〇〇l;I2(x+w(x))为图 片2匹配点像素的灰度值，h(x)为图片1像素点的灰度值；
[0069] 由于光照的影响，单纯根据灰度最相近的原则来匹配并不可靠，因此我们需要结 合梯度来对能量函数进行限制，因此定义相邻两对匹配点之间的梯度关系差E gradlent:
[0070]
[0071] 其中为像素点与匹配点之间的梯度差；
[0072] 此外为了增强匹配的精准程度，定义流场的平滑程度Ε_。*，即流场间的梯度：
[0073]
[0074] 其中|Vu(x) |表示流场u方向的梯度，|Vv(x) |表示流场ν方向的梯度；
[0075] 通过以上三项的约束得到局部能量函数：
[0076] E(w) -Ecolor+ 7" Egradient+ClEsmooth
[0077] 式中γ，α表示为惩罚值，其值为经验值；
[0078] S12:建立步骤SI 1中的能量函数，根据局部能量最优原理，求解局部能量函数的最 小值；
[0079 ] S13:根据步骤S12，求解出使得局部能量最小的流场w: = (u，ν)τ，作为更加精确的 流场，为之后的图像融合做基础；
[0080] S14:运用S13中方法求得图1到图2的流场h和图2到图1的流场12。
[0081] S2:用户根据喜好框选区域，将图片1中所述区域运用缩放变换，简单放大为图片 3,得到图片1到图片3的流场15;同时，将图片2所述区域运用缩放变换，简单放大为图片4， 得到图片2到图片4的流场1 6;
[0082] 所述的步骤S2包括以下子步骤：
[0083] S21:用户在图片1框选感兴趣区域ABCD，以A为原点，AB方向为y轴、AC方向为X轴建 立坐标系；
[0084] S22:如图3所示，用户将图片1中所述感兴趣区域简单放大，放大倍数β由用户指 定，放大后的区域为A'B'C'D'；从视平面垂直于ΑΑ'连线方向看，放大后的图像为图片3; [0085] S23:如图4所示，在感兴趣区域AB⑶上任取一点E(X，y)，放大后的区域A' B ' C' D '图 中对应点为E'（ik，i3y)，由此得出图片1放大为图片3的流场15;
[0086] S24:根据步骤S21~S23相同的方法，得到将图片2放大为图片4后的流场16。
[0087] S3:将流场h和流场15合成流场13,图片1经流场13变化插值后得到图片5;同时，将 流场12和流场16合成流场14,图片2经流场14变化插值后得到图片6;
[0088] 所述的步骤S3包括以下子步骤：
[0089] S31:由几何关系，1415 = 13和I2+I6 = l4,求得图片1到图片5的流场13和图片2到图 片6的流场14;
[0090] S32:再根据求得的流场13和流场14,将图片1和图片2分别放大到虚拟视点处，由于 放大后图像会出现空洞，采用双线性插值法，用Te 1 ea的FMM算法对虚拟视点处放大的图像 插值后，生成高清图图片5和图片6。
[0091 ] S4:根据流场几何关系，Ιδ+Ιι = ?3+?7 和 16+12 = 14+18,运用 broxopticalf low 函数计 算出图片5到图片6的流场17和图片6到图片5的流场18;
[0092] S5:运用融合方法融合图片5和图片6,得到最终的聚焦融合图像图片7。
[0093] 如图5所示，所述的步骤S5包括以下子步骤：
[0094] S51:分别以图片5和图片6两幅图像作为基准图，估计流场17和流场18,计算两幅图 像的遮挡部分，通过比较遮挡区域大小，确定基准图像；
[0095] S52:分析遮挡区域的分布情况，在避开遮挡区域的同时，选择没有遮挡或者是遮 挡部分较少部分作为图像融合区域；
[0096] S52:构建与融合区域等大的中间视图；
[0097] S53:根据估计的光流矢量，计算中间视图对应像素点的几何坐标及像素值，得到 高质量融合图像;当待拼接区域很大的时候，只需要根据遮挡部分缩小融合区域，其他部分 只需要保持原有图像部分，保证的图像的融合质量。
【主权项】
1. 基于流场的虚拟图像拼接方法，其特征在于:它包括以下步骤： SI:根据局部能量最优化算法，计算出相机拍摄的两张图片图片1到图片2的流场I1、图 片2到图片1的流场I2; S2:用户根据喜好框选区域，将图片1中所述区域运用缩放变换，简单放大为图片3,得 到图片1到图片3的流场I5;同时，将图片2所述区域运用缩放变换，简单放大为图片4,得到 图片2到图片4的流场I 6; S3:将流场I1和流场I5合成流场I3，图片1经流场I3变化插值后得到图片5;同时，将流场 I2和流场I6合成流场14,图片2经流场I4变化插值后得到图片6; S4:根据流场几何关系，I5+I1 = I3+I7和16+12= 14+18,运用broxopticalf low函数计算出 图片5到图片6的流场17和图片6到图片5的流场I8; S5:根据流场I7和流场18,运用融合方法融合图片5和图片6,得到最终的聚焦融合图像 图片7。2. 根据权利要求1所述的基于流场的虚拟图像拼接方法，其特征在于:所述的步骤Sl基 于以下条件： (1) 亮度恒定，同一点随着时间的变化，其亮度不会发生改变； (2) 图像中景物运动为小运动，时间的变化不会引起位置的剧烈变化，因此灰度才能对 位置求偏导； (3) 空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致，因 此可以求出像素点的梯度VI(X)，即VI(X)为像素的偏导数； 所述的步骤Sl包括以下子步骤： S11:运用条件(3)，令IjPI2分别为图片1中的点与图片2中对应与该点的匹配点的像素 值，点X坐标(X，y )T，最优流场向量W : = (U，V)T，定义匹配点之间的像素差Ecxjlcxr :其中ε用于处理遮挡带来的误差，I2(x+w(x))为图片2匹配点像素的灰 度值，Ιι(χ)为图片1像素点的灰度值； 结合梯度来对能量函数进行限制，因此定义相邻两对匹配点之间的梯度关系差 Egradient ：其中I VI2(^w(X))-VI1(X) I为像素点与匹配点之间的梯度差； 此外为了增强匹配的精准程度，定义流场的平滑程度Es_th，即流场间的梯度：其中I Vu(X) I表示流场u方向的梯度，I Vv(X) I表示流场V方向的梯度； 通过以上三项的约束得到局部能量函数： E (W ) -Ecolor+ 7" Egradient+ClEsmooth 式中γ，α表示为惩罚值，其值为经验值； S12:建立步骤SI 1中的能量函数，根据局部能量最优原理，求解局部能量函数的最小 值； Sl 3:根据步骤Sl 2，求解出使得局部能量最小的流场W: = (u，V )τ，作为更加精确的流场， 为之后的图像融合做基础； S14:运用S13中方法求得图1至I個2的流场I i和图2至I個1的流场12。3. 根据权利要求1所述的基于流场的虚拟图像拼接方法，其特征在于:所述的步骤S2包 括以下子步骤： S21:用户在图片1框选感兴趣区域ABCD，以A为原点，AB方向为y轴、AC方向为X轴建立坐 标系； S22:用户将图片1中所述感兴趣区域简单放大，放大倍数β由用户指定，放大后的区域 为A'B'C'D'；从视平面垂直于ΑΑ'连线方向看，放大后的图像为图片3; S23:在感兴趣区域AB⑶上任取一点E(X，y)，放大后的区域A' B' C' D '图中对应点为E '（β x，i3y)，由此得出图片1放大为图片3的流场I5; S24:根据步骤S21~S23相同的方法，得到将图片2放大为图片4后的流场16。4. 根据权利要求1所述的基于流场的虚拟图像拼接方法，其特征在于:所述的步骤S3包 括以下子步骤： S31:由几何关系，IdI5 = I3和12+16=14,求得图片1到图片5的流场I3和图片2至I個片6的 流场14; S32:再根据求得的流场I3和流场14,将图片1和图片2分别放大到虚拟视点处，采用双线 性插值法，用Telea的FMM算法对虚拟视点处放大的图像插值后，生成高清图图片5和图片6。5. 根据权利要求1所述的基于流场的虚拟图像拼接方法，其特征在于:所述的步骤S5包 括以下子步骤： S51:分别以图片5和图片6两幅图像作为基准图，估计流场I7和流场18,计算两幅图像的 遮挡部分，通过比较遮挡区域大小，确定基准图像，分析遮挡区域的分布情况，在避开遮挡 区域的同时，选择没有遮挡或者是遮挡部分较少部分作为图像融合区域； S52:构建与融合区域等大的中间视图； S53:根据估计的光流矢量，计算中间视图对应像素点的几何坐标及像素值，得到高质 量融合图像;当待拼接区域很大的时候，只需要根据遮挡部分缩小融合区域，其他部分只需 要保持原有图像部分，保证的图像的融合质量。
【专利摘要】本发明公开了一种基于流场的虚拟图像拼接方法，让用户指定虚拟视点位置，指定需放大的感兴趣区域，有效的处理导航与定位中虚拟视点的位置、虚拟视角处与相机拍摄点的流场映射关系、虚拟视点处图像信息、分频率高聚焦图像融合等问题，保证拼接之后的图像质量。本发明还解决目前视角下遮挡带来的无图像问题，完成面向虚拟特写视点的拼接，由于在融合过程中采用了迭代插值技术，故融合后图像不再需要填补的空洞。该方法能够精确有效的估计导航与定位中虚拟视点的位置，与虚拟视角下看到的指定区域内的聚焦图像信息。
【IPC分类】G06T3/40, G06T5/50
【公开号】CN105488760
【申请号】CN201510903486
【发明人】程洪, 王泽 , 白欣逸, 罗骜, 杨路
【申请人】电子科技大学
【公开日】2016年4月13日
【申请日】2015年12月8日
【技术领域】
[0001 ]本发明涉及一种基于流场的虚拟图像拼接方法。
【背景技术】
[0002] 随着数码摄像机越来越普遍，越来越多的用户能够体验数码产品，自动图像数字 处理技术也成为技术研究人员探索的热潮;红眼消除和颜色校正两个很流行的图像处理方 法已经被纳入商业软件程序包，主要被摄影学家应用；另一个很普遍的应用就是图像拼接 技术，即从有相同场景的多个有重叠部分的图像中产生一个高质量的全景图像。
[0003] 从计算机的发明到现在，经过几十年的时间，信息技术已经从无到有，数字化信息 已经渗透到人类生活密切相关的各个领域，人类正向高度信息化的社会迈进;长期以来，人 们一直追求直观，简单而且有效的信息传递方式，这就促使了多媒体技术的高速发展，成为 了信息技术中热点研究方向之一;据研究，人们仅有不到20%的信息是通过视觉以外的途 径获得的，视觉信息的重要性不言而喻；图像是视觉信息中最重要的一类，其技术研究重点 主要是使自然景物的表征更加逼真和清晰。
[0004] 图像可以将表达的信息用最直白的形式展现出来，同时含有比文字更丰富的内 容，因此它已经成为人们交流的主要工具，人们接触到的信息几乎都是以图像的形式呈现 的；但是图像在放大，变换和特写以及3D投影时，会受到各种因素的干扰，从而使得图像在 虚拟位置的图像的质量下降，图像细节模糊，不能达到高标准高质量的图像要求，不能根据 用户设定得到局部的超高清图像，因此需要使用某种技术来改善图像放大融合质量，提高 图像可视效果。国内外对于虚拟视频的研究始于上世纪90年代，国际方面，比较有影响力的 是日本名古屋大学的基于光线空间的自由视点电视(FTV Free Viewpoint Television)系 统、斯坦福大学的Light Field系统、德国HHI研究所的基于模型的自由视点视频方案、三菱 MERL实验室的面向存储和传输的交互式自由视点视频系统，欧洲的3DTV计划;此外，微软、 卡内基梅隆大学等也在多视点系统实现上开展了广泛的工作。
[0005] 国内的研究机构对多视点视频技术的研究也取得了一定的成就，清华大学较早地 展开了自由视点视频技术的研究，主要包括在光场处理和交互式多视点视频上的研究；宁 波大学提出了包括光线空间数据压缩和插值、多视点视频编码，多视点视频颜色校正、 Wyner-ziv编码等方面的一系列算法。
[0006] 视点绘制技术作为多视点视频技术中的关键技术，不断有新的算法提出;Mor i等 人提出了先由参考视点绘制出虚拟视点深度图，再反向映射的算法，该算法能够获得良好 的主观质量和PSNR。
[0007] S. Zinger等人在Mori所提算法的基础上进一步提出了通过对在深度图进行滤波， 比较滤波前后的变化区域找到不可靠区域，并对其反向映射的算法，该算法较Mori所提的 算法在PSNR和图像轮廓边缘上均有提升，但这两种方案均需要将全图映射多次，计算量大， 耗时长;Kwan-Jung Oh等提出一种填补空洞的方法，在区分出前景背景的基础上，用空洞周 围的背景点来填补空洞。这种方法局限于只能填补小洞;P.Merkle等人提出了对图像分块 处理的算法，其算法有较好的PSNR性能，但轮廓边缘的效果不如前两种算法;Ya-Mei Feng 等人提出了不对称参考视点的算法，其算法能够很大程度上减少数据量，并获得高质量的 图像，但在遮挡情况复杂的环境下可靠性不够;Karsten Miiller和A1 joscha Smolic等人提 出的算法中，使用分层视频（leveled depth video，LDV)能够减少传输的数据量，并且通过 边缘提取能够有效去除伪影现象，但分层视频需要预处理，降低了实时性，而且其边缘检测 的方法将一部分可靠区域划分到了不可靠区域中，增加了额外的开销。
【发明内容】
[0008] 本发明的目的在于克服现有技术的不足，提供一种无深度信息的全景特写的基于 流场的虚拟图像拼接方法，让用户指定虚拟视点位置，指定需放大的感兴趣区域，有效的处 理导航与定位中虚拟视点的位置、虚拟视角处与相机拍摄点的流场映射关系、虚拟视点处 图像信息、分频率高聚焦图像融合等问题，保证拼接之后的图像质量。本发明还解决目前视 角下遮挡带来的无图像问题，完成面向虚拟特写视点的拼接，由于在融合过程中采用了迭 代插值技术，故融合后图像不再需要填补的空洞。该方法能够精确有效的估计导航与定位 中虚拟视点的位置，与虚拟视角下看到的指定区域内的聚焦图像信息。
[0009] 本发明的目的是通过以下技术方案来实现的：基于流场的虚拟图像拼接方法，它 包括以下步骤：
[0010] S1:根据局部能量最优化算法，计算出相机拍摄的两张图片图片1到图片2的流场 h、图片2到图片1的流场12;
[0011] S2:用户根据喜好框选区域，将图片1中所述区域运用缩放变换，简单放大为图片 3,得到图片1到图片3的流场15;同时，将图片2所述区域运用缩放变换，简单放大为图片4， 得到图片2到图片4的流场1 6;
[0012] S3:将流场h和流场15合成流场13，图片1经流场13变化插值后得到图片5;同时，将 流场1 2和流场16合成流场14,图片2经流场14变化插值后得到图片6;
[0013] S4:根据流场几何关系，I5+Ii = l3+I7 和 16+12 = 14+18,运用 broxopticalflow 函数计 算出图片5到图片6的流场17和图片6到图片5的流场18;
[0014] S5:运用融合方法融合图片5和图片6,得到最终的聚焦融合图像图片7。
[0015] 所述的步骤S1基于以下条件：
[0016] (1)亮度恒定，同一点随着时间的变化，其亮度不会发生改变；
[0017] (2)图像中景物运动为小运动，时间的变化不会引起位置的剧烈变化，因此灰度才 能对位置求偏导；
[0018] (3)空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一 致，因此可以求出像素点的梯度VI(x)，即VI(x)为像素的偏导数；
[0019] 所述的步骤S1包括以下子步骤：
[0020] S11:运用条件(3)，令I#PI2分别为图片1中的点与图片2中对应与该点的匹配点的 像素值，点X坐标(x，y) T，最优流场向量w: = (u，v)T，定义匹配点之间的像素差Ec^or:
[0021]
[0022]其中、= ε用于处理遮挡带来的误差，I2(x+w(x))为图片2匹配点像 素的灰度值，Ιι(χ)为图片1像素点的灰度值；
[0023] 结合梯度来对能量函数进行限制，因此定义相邻两对匹配点之间的梯度关系差
Egradient ：
[0024]
[0025] 其中|VI2(X+w(X))-VI1(x)|为像素点与匹配点之间的梯度差；
[0026] 此外为了增强匹配的精准程度，定义流场的平滑程度Ε_。*，即流场间的梯度：
[0027]
[0028] 其中|Vu(x) |表示流场u方向的梯度，|Vv(x) |表示流场ν方向的梯度；
[0029] 通过以上三项的约束得到局部能量函数：
[0030] E(w) -Ecolor+ 7" Egradient+ClEsmooth
[0031] 式中γ，α表示为惩罚值，其值为经验值；
[0032] S12:建立步骤S11中的能量函数，根据局部能量最优原理，求解局部能量函数的最 小值；
[0033 ] S13:根据步骤S12，求解出使得局部能量最小的流场w: = (u，ν)τ，作为更加精确的 流场，为之后的图像融合做基础；
[0034] S14:运用S13中方法求得图1到图2的流场I i和图2到图1的流场12。
[0035] 所述的步骤S2包括以下子步骤：
[0036] S21:用户在图片1框选感兴趣区域ABCD，以A为原点，AB方向为y轴、AC方向为X轴建 立坐标系；
[0037] S22:用户将图片1中所述感兴趣区域简单放大，放大倍数β由用户指定，放大后的 区域为A'B'C'D'；从视平面垂直于ΑΑ'连线方向看，放大后的图像为图片3;
[0038] S23:在感兴趣区域AB⑶上任取一点E(x，y)，放大后的区域A'B'C'D'图中对应点为 E'（ik，i3y)，由此得出图片1放大为图片3的流场15;
[0039] S24:根据步骤S21~S23相同的方法，得到将图片2放大为图片4后的流场16。
[0040] 所述的步骤S3包括以下子步骤：
[0041] S31:由几何关系，1415 = 13和I2+I6 = l4,求得图片1到图片5的流场13和图片2到图 片6的流场14;
[0042] S32:再根据求得的流场13和流场14,将图片1和图片2分别放大到虚拟视点处，采用 双线性插值法，用Telea的FMM算法对虚拟视点处放大的图像插值后，生成高清图图片5和图 片6〇
[0043] 所述的步骤S5包括以下子步骤：
[0044] S51:分别以图片5和图片6两幅图像作为基准图，估计流场17和流场18,计算两幅图 像的遮挡部分，通过比较遮挡区域大小，确定基准图像，分析遮挡区域的分布情况，在避开 遮挡区域的同时，选择没有遮挡或者是遮挡部分较少部分作为图像融合区域；
[0045] S52:构建与融合区域等大的中间视图；
[0046] S53:根据估计的光流矢量，计算中间视图对应像素点的几何坐标及像素值，得到 高质量融合图像;当待拼接区域很大的时候，只需要根据遮挡部分缩小融合区域，其他部分 只需要保持原有图像部分，保证的图像的融合质量。
[0047] 本发明的有益效果是：
[0048] (1)虚拟视点的位置需要由特写要求决定，即由用户喜好确定，特写的灵活性强。
[0049] (2)虚拟视角下特写区域由用户框选，增强定位与导航中的灵活性。
[0050] (3)在多个光流方程的约束下可以求出相机拍摄点到任意虚拟视点的光流，由此 利用流场技术估计在虚拟视点处看到图像的信息。
[0051] (4)运用虚拟视点技术导航能避开眼前图像的遮挡，直接看到你想到达的任意虚 拟视点处的图像。
[0052] (5)求光流用于最终图像融合时运用broxopti calf low函数提高了光流计算的准 确性和稳定性。
[0053] (6)最后图像融合时采用的高质量融合方法，该方法将光流场引入到图像融合中， 通过对光流场取逆，同时构建中间视图，确定融合区域的像素几何坐标及像素值。能够有效 的处理图像融合中遮挡、鬼影、视差以及不连续点等问题，保证图像融合后的质量。
【附图说明】
[0054]图1为本发明方法流程图；
[0055] 图2为流场关系图；
[0056] 图3为用户框选区域放大过程示意图；
[0057]图4为放大过程流场关系图；
[0058] 图5为高质量融合流程图。 【具体实施方式】
[0059] 下面结合附图进一步详细描述本发明的技术方案:如图1和图2所示，基于流场的 虚拟图像拼接方法，它包括以下步骤：
[0060] S1:根据局部能量最优化算法，计算出更加精确的原始流场，计算出相机拍摄的两 张图片图片1到图片2的流场h、图片2到图片1的流场1 2;
[0061] 所述的步骤S1基于以下条件：
[0062] (1)亮度恒定，同一点随着时间的变化，其亮度不会发生改变；
[0063] (2)图像中景物运动为小运动，时间的变化不会引起位置的剧烈变化，因此灰度才 能对位置求偏导；
[0064] (3)空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一 致，因此可以求出像素点的梯度VI(x)，即VI(x)为像素的偏导数；
[0065] 所述的步骤S1包括以下子步骤：
[0066] S11:运用条件(3)，令UPI2分别为图片1中的点与图片2中对应与该点的匹配点的 像素值，点X坐标(x，y) T，最优流场向量w: = (u，v)T，定义匹配点之间的像素差Ec^or:
[0067]
[0068] 其中= 用于处理遮挡带来的误差，ε等于〇.〇〇l;I2(x+w(x))为图 片2匹配点像素的灰度值，h(x)为图片1像素点的灰度值；
[0069] 由于光照的影响，单纯根据灰度最相近的原则来匹配并不可靠，因此我们需要结 合梯度来对能量函数进行限制，因此定义相邻两对匹配点之间的梯度关系差E gradlent:
[0070]
[0071] 其中为像素点与匹配点之间的梯度差；
[0072] 此外为了增强匹配的精准程度，定义流场的平滑程度Ε_。*，即流场间的梯度：
[0073]
[0074] 其中|Vu(x) |表示流场u方向的梯度，|Vv(x) |表示流场ν方向的梯度；
[0075] 通过以上三项的约束得到局部能量函数：
[0076] E(w) -Ecolor+ 7" Egradient+ClEsmooth
[0077] 式中γ，α表示为惩罚值，其值为经验值；
[0078] S12:建立步骤SI 1中的能量函数，根据局部能量最优原理，求解局部能量函数的最 小值；
[0079 ] S13:根据步骤S12，求解出使得局部能量最小的流场w: = (u，ν)τ，作为更加精确的 流场，为之后的图像融合做基础；
[0080] S14:运用S13中方法求得图1到图2的流场h和图2到图1的流场12。
[0081] S2:用户根据喜好框选区域，将图片1中所述区域运用缩放变换，简单放大为图片 3,得到图片1到图片3的流场15;同时，将图片2所述区域运用缩放变换，简单放大为图片4， 得到图片2到图片4的流场1 6;
[0082] 所述的步骤S2包括以下子步骤：
[0083] S21:用户在图片1框选感兴趣区域ABCD，以A为原点，AB方向为y轴、AC方向为X轴建 立坐标系；
[0084] S22:如图3所示，用户将图片1中所述感兴趣区域简单放大，放大倍数β由用户指 定，放大后的区域为A'B'C'D'；从视平面垂直于ΑΑ'连线方向看，放大后的图像为图片3; [0085] S23:如图4所示，在感兴趣区域AB⑶上任取一点E(X，y)，放大后的区域A' B ' C' D '图 中对应点为E'（ik，i3y)，由此得出图片1放大为图片3的流场15;
[0086] S24:根据步骤S21~S23相同的方法，得到将图片2放大为图片4后的流场16。
[0087] S3:将流场h和流场15合成流场13,图片1经流场13变化插值后得到图片5;同时，将 流场12和流场16合成流场14,图片2经流场14变化插值后得到图片6;
[0088] 所述的步骤S3包括以下子步骤：
[0089] S31:由几何关系，1415 = 13和I2+I6 = l4,求得图片1到图片5的流场13和图片2到图 片6的流场14;
[0090] S32:再根据求得的流场13和流场14,将图片1和图片2分别放大到虚拟视点处，由于 放大后图像会出现空洞，采用双线性插值法，用Te 1 ea的FMM算法对虚拟视点处放大的图像 插值后，生成高清图图片5和图片6。
[0091 ] S4:根据流场几何关系，Ιδ+Ιι = ?3+?7 和 16+12 = 14+18,运用 broxopticalf low 函数计 算出图片5到图片6的流场17和图片6到图片5的流场18;
[0092] S5:运用融合方法融合图片5和图片6,得到最终的聚焦融合图像图片7。
[0093] 如图5所示，所述的步骤S5包括以下子步骤：
[0094] S51:分别以图片5和图片6两幅图像作为基准图，估计流场17和流场18,计算两幅图 像的遮挡部分，通过比较遮挡区域大小，确定基准图像；
[0095] S52:分析遮挡区域的分布情况，在避开遮挡区域的同时，选择没有遮挡或者是遮 挡部分较少部分作为图像融合区域；
[0096] S52:构建与融合区域等大的中间视图；
[0097] S53:根据估计的光流矢量，计算中间视图对应像素点的几何坐标及像素值，得到 高质量融合图像;当待拼接区域很大的时候，只需要根据遮挡部分缩小融合区域，其他部分 只需要保持原有图像部分，保证的图像的融合质量。
【主权项】
1. 基于流场的虚拟图像拼接方法，其特征在于:它包括以下步骤： SI:根据局部能量最优化算法，计算出相机拍摄的两张图片图片1到图片2的流场I1、图 片2到图片1的流场I2; S2:用户根据喜好框选区域，将图片1中所述区域运用缩放变换，简单放大为图片3,得 到图片1到图片3的流场I5;同时，将图片2所述区域运用缩放变换，简单放大为图片4,得到 图片2到图片4的流场I 6; S3:将流场I1和流场I5合成流场I3，图片1经流场I3变化插值后得到图片5;同时，将流场 I2和流场I6合成流场14,图片2经流场I4变化插值后得到图片6; S4:根据流场几何关系，I5+I1 = I3+I7和16+12= 14+18,运用broxopticalf low函数计算出 图片5到图片6的流场17和图片6到图片5的流场I8; S5:根据流场I7和流场18,运用融合方法融合图片5和图片6,得到最终的聚焦融合图像 图片7。2. 根据权利要求1所述的基于流场的虚拟图像拼接方法，其特征在于:所述的步骤Sl基 于以下条件： (1) 亮度恒定，同一点随着时间的变化，其亮度不会发生改变； (2) 图像中景物运动为小运动，时间的变化不会引起位置的剧烈变化，因此灰度才能对 位置求偏导； (3) 空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致，因 此可以求出像素点的梯度VI(X)，即VI(X)为像素的偏导数； 所述的步骤Sl包括以下子步骤： S11:运用条件(3)，令IjPI2分别为图片1中的点与图片2中对应与该点的匹配点的像素 值，点X坐标(X，y )T，最优流场向量W : = (U，V)T，定义匹配点之间的像素差Ecxjlcxr :其中ε用于处理遮挡带来的误差，I2(x+w(x))为图片2匹配点像素的灰 度值，Ιι(χ)为图片1像素点的灰度值； 结合梯度来对能量函数进行限制，因此定义相邻两对匹配点之间的梯度关系差 Egradient ：其中I VI2(^w(X))-VI1(X) I为像素点与匹配点之间的梯度差； 此外为了增强匹配的精准程度，定义流场的平滑程度Es_th，即流场间的梯度：其中I Vu(X) I表示流场u方向的梯度，I Vv(X) I表示流场V方向的梯度； 通过以上三项的约束得到局部能量函数： E (W ) -Ecolor+ 7" Egradient+ClEsmooth 式中γ，α表示为惩罚值，其值为经验值； S12:建立步骤SI 1中的能量函数，根据局部能量最优原理，求解局部能量函数的最小 值； Sl 3:根据步骤Sl 2，求解出使得局部能量最小的流场W: = (u，V )τ，作为更加精确的流场， 为之后的图像融合做基础； S14:运用S13中方法求得图1至I個2的流场I i和图2至I個1的流场12。3. 根据权利要求1所述的基于流场的虚拟图像拼接方法，其特征在于:所述的步骤S2包 括以下子步骤： S21:用户在图片1框选感兴趣区域ABCD，以A为原点，AB方向为y轴、AC方向为X轴建立坐 标系； S22:用户将图片1中所述感兴趣区域简单放大，放大倍数β由用户指定，放大后的区域 为A'B'C'D'；从视平面垂直于ΑΑ'连线方向看，放大后的图像为图片3; S23:在感兴趣区域AB⑶上任取一点E(X，y)，放大后的区域A' B' C' D '图中对应点为E '（β x，i3y)，由此得出图片1放大为图片3的流场I5; S24:根据步骤S21~S23相同的方法，得到将图片2放大为图片4后的流场16。4. 根据权利要求1所述的基于流场的虚拟图像拼接方法，其特征在于:所述的步骤S3包 括以下子步骤： S31:由几何关系，IdI5 = I3和12+16=14,求得图片1到图片5的流场I3和图片2至I個片6的 流场14; S32:再根据求得的流场I3和流场14,将图片1和图片2分别放大到虚拟视点处，采用双线 性插值法，用Telea的FMM算法对虚拟视点处放大的图像插值后，生成高清图图片5和图片6。5. 根据权利要求1所述的基于流场的虚拟图像拼接方法，其特征在于:所述的步骤S5包 括以下子步骤： S51:分别以图片5和图片6两幅图像作为基准图，估计流场I7和流场18,计算两幅图像的 遮挡部分，通过比较遮挡区域大小，确定基准图像，分析遮挡区域的分布情况，在避开遮挡 区域的同时，选择没有遮挡或者是遮挡部分较少部分作为图像融合区域； S52:构建与融合区域等大的中间视图； S53:根据估计的光流矢量，计算中间视图对应像素点的几何坐标及像素值，得到高质 量融合图像;当待拼接区域很大的时候，只需要根据遮挡部分缩小融合区域，其他部分只需 要保持原有图像部分，保证的图像的融合质量。
【专利摘要】本发明公开了一种基于流场的虚拟图像拼接方法，让用户指定虚拟视点位置，指定需放大的感兴趣区域，有效的处理导航与定位中虚拟视点的位置、虚拟视角处与相机拍摄点的流场映射关系、虚拟视点处图像信息、分频率高聚焦图像融合等问题，保证拼接之后的图像质量。本发明还解决目前视角下遮挡带来的无图像问题，完成面向虚拟特写视点的拼接，由于在融合过程中采用了迭代插值技术，故融合后图像不再需要填补的空洞。该方法能够精确有效的估计导航与定位中虚拟视点的位置，与虚拟视角下看到的指定区域内的聚焦图像信息。
【IPC分类】G06T3/40, G06T5/50
【公开号】CN105488760
【申请号】CN201510903486
【发明人】程洪, 王泽 , 白欣逸, 罗骜, 杨路
【申请人】电子科技大学
【公开日】2016年4月13日
【申请日】2015年12月8日
最新回复(0)