一种基于移动前景下全景图实时生成系统及其方法
一种基于移动前景下全景图实时生成系统及其方法
【技术领域】
[0001] 本发明属于电子摄像技术领域，尤其涉及一种基于移动前景下全景图实时生成系 统的及其方法。
【背景技术】
[0002] 随着人民生活水平的提高，以及我国休假制度的完善，人们拥有了更长更多的假 期，而假期外出旅游成为了越来越多的人们度过假期的第一选择，已经成为一种时尚的消 费方式。在景点游玩免不了和美景留影，但是周围走动的人流、车辆等各种穿插在景点间的 移动物体，大大降低了图片的质量，造成了图片中非主角人物的"抢镜"以及美景被遮挡破 坏。而现有的相机应用并没有一个很好的方法解决上述问题。
[0003] 另外现有的全景图实时生成系统在全景图的生成过程中，通常会因存在着周围移 动的人流、车量等移动物体，而造成"抢镜"及美景被遮挡破坏，因而大大降低了全景图的质 量。
[0004] 现有的解决上述问题的方法基本上是后期对图片的PS处理，而数码相机、手机相 机暂无相关的功能或应用能做到实时处理。
【发明内容】
[0005] 为了解决上述技术问题，本发明的主要目的在于提供一种基于移动前景下全景图 实时生成方法、全景图实时生成系统及适于移动端运算的基于背景差分法的动态前景移除 方法。
[0006] 本发明一种基于移动前景下全景图实时生成方法，应用于相机的全景照相模式， 其包含：
[0007] 1)将移动摄像设备移动至一角度；
[0008] 2)通过移动摄像设备的摄像头采集数帧图像;步骤12,将数帧图片利用背景提取 步骤进行前景去除操作；
[0009] 其中，该背景提取步骤是基于背景差分法的动态前景移除算法，其是利用YUV颜色 空间和RGB颜色空间的转换公式：
[0010]
[0011] 通过YUV颜色空间转换处理将采集到的数帧图片分别转换为YUV图像，然后对所获 得的YUV图像亮度采用高斯统计平均值进行处理，割出背景目标的明亮度，接着加上相应的 u，V分量，再利用YUV颜色空间和RGB颜色空间的反变换公式：
[0012]
[0013]还原RGB背景模型而获得除去前景的图片。
[0014] 其中，所述数帧图片为至少4张，较佳的所述数帧图片为8张。
[0015] 其中，所述对所获得的YUV图像亮度采用高斯统计平均值进行处理是包括：
[0016] 对YUV颜色空间中的亮度值进行统计，任意一段时间t内，亮度值会出现一个很小 的集中区，近似于该点的背景明亮度值，为保证取值的准确性，进一步选择连续N个时间段， 再对各段求平均值，作为最终的背景明亮度值；
[0017] 某干高斯统计的计筧公式为：
[0018]
[0019]
[0020]
[0021]
[0022]
[0023] 其中，所述基于移动前景下全景图实时生成方法，还包括步骤：
[0024] 3)重复步骤1)及2)，以获得多幅不同角度的除去前景的图片，
[0025] 4)图片拼接步骤，其包含：
[0026] 41)图像预处理；
[0027] 42)特征提取；
[0028]该步骤是采用SIFT算法，首先在尺度空间进行特征检测，并确定特征点的位置和 特征点所处的尺度，然后使用特征点邻域梯度的主方向作为该点的方向特征，以实现算子 对尺度和方向的无关性;一幅图像SIFT特征向量的生成算法总共包括尺度空间极值检测， 精炼特征点位置，设置特征点方向，生成SIFT特征描述符及特征点匹配；
[0029] 43)求解变换矩阵；
[0030] 该步骤是采用RANSAC算法对图像变换矩阵Η进行求解与精炼，假设待拼接图像为I (x，y)和F (Υ，y')，则他们之间的投影变换关系为：
[0031]
[0032]其中（x，y，l)和(X7 ，1)分别表示图像I(x，y)和疒（X7 )上的第i个匹配特征 点的齐次坐标，这里的变换矩阵Η有8个自由度，由于对于每一对特征点可以得到2个线性方 程组，所以理论上只需4对匹配特征点就可以算出Η，一般的特征误差满足正态分布，设定一 个阈值d，误差大于d的匹配点对确定为外点，舍去不参与变换矩阵Η的求解，误差小于d的匹 配点对记为内点保留，最后取内点最多的变换矩阵Η作为非线性优化的初值；
[0033] 44)图像融合，以获得全景图；
[0034] 根据前面步骤算出的拼接图像之间的变换矩阵之后，就可以对相应的图像进行变 换来确定图像间的重叠区域，并将待融合的图像注册到一幅新的空白图像中形成拼接图。
[0035] 本发明还提供了一种基于移动前景下全景图实时生成系统，其包含：
[0036]移动摄像设备；
[0037]背景提取及路人移除模块，该模块借助移动摄像设备采集数帧图像并获取除去前 景的图片；
[0038] 图片拼接模块，该模块将上述除去前景的图片融合，以获得并输出全景图。
[0039] 本发明的一种适于移动端运算的基于背景差分法的动态前景移除方法，包括：
[0040] 1)预处理阶段，首先将RGB色彩空间转换为YUV色彩空间，以便只对Y分量进行运 算；
[0041 ]利用YUV颜色空间和RGB颜色空间的转换公式：
[0042]
[0043]通过YUV颜色空间转换处理将采集到的数帧图片分别转换为YUV图像，
[0044] 2)高斯统计平均值处理:对YUV颜色空间中的亮度值进行统计，任意一段时间t内， 亮度值会出现一个很小的集中区，近似于该点的背景明亮度值;为保证取值的准确性，进一 步选择连续N个时间段，再对各段求平均值，作为最终的背景明亮度值；
[0045] 其中，基于高斯统计的计算公式为：
[0046]
[0047]
[0048]
[0049]
[0050]
[0051] 3)还原RGB背景模型，
[0052] 将经上述平均化处理，利用分割出的背景目标的明亮度，加上相应的U，V分量，再 利用YUV颜色空间和RGB颜色空间的反变换公式：
[0053]
[0054] 职?寸丁、fTJivmj R 方、'丨天王。
[0055] 本发明的有益效果为：
[0056] 在背景提取方面，是基于背景差分法的运动检测算法，能够较为有效地克服背景 变化的影响，获取背景模型，并具有算法复杂度低、运算量小、时间快的特点，非常适用于移 动端图像处理。在图像拼接方面，基于SIFT特征点的图像拼接方法具有很强的匹配率，通过 SIFT算法提取特征，接着使用RANSAC方法进一步提纯匹配对，得到单应性矩阵，使匹配精度 更高，从而得出的拼接图像更加平滑。综合上述两方面，本发明能够很好地得到去除了前景 的全景图片。
【附图说明】
[0057] 图1为本发明一实施例中输入RGB的示意图；
[0058] 图2为本发明一实施例中输出YUV的示意图；
[0059] 图3为待背景提取的输入的第1帧的示意图；
[0060] 图4为待背景提取的输入的第4帧的示意图；
[0061 ]图5为待背景提取的输入的第7帧的示意图；
[0062] 图6为背景提取后的输出的示意图；
[0063] 图7为左图特征点不意图；
[0064] 图8为右图特征点不意图；
[0065]图9为特征点匹配图的示意图；
[0066] 图10为待拼接的输入图像(左)的示意图；
[0067] 图11为待拼接的输入图像(中）的示意图；
[0068]图12为待拼接的输入图像(右)的示意图；
[0069] 图13为背景拼接后的输出的示意图；
[0070] 图 14为本发明一具体实施例的流程示意图。
【具体实施方式】
[0071] 为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施 例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本发 明，并不用于限定本发明。
[0072] 参见图14,为本发明一具体实施例的流程示意图本，发明是为了提出一种创新的 拍照模式，主要应用于手机等移动拍照设备，其结合了路人移除模式和全景照相模式，能够 实现在车流、人流较多的景点获得一张完美的风景图，并提出了一种背景模型提取的方法， 使得提取背景的时间更快，效果更好，且能在现有移动照相设备上流畅的运转。同时优化了 图片拼接算法，使得本发明的应用场景可以扩展到无人机环拍等场合。
[0073]本实施例是以3个不同角度并有部分重叠的图像来获得全景图像为例。
[0074]该系统使用时，是包含如下步骤：
[0075] 1)步骤10,将手机(或者其他移动摄像设备)移动至角度1;
[0076] 2)步骤11，通过摄像头采集8张图片;步骤12,将8张图片进行前景去除操作；
[0077] 3)步骤20,将手机平行移动至角度2,并保证角度1、2的图像有部分重合；
[0078] 4)步骤21，通过摄像头采集8张图片;步骤22,将8张图片进行前景去除操作；
[0079] 5)步骤30,通过摄像头采集8张图片;步骤32,将8张图片进行前景去除操作；
[0080] 6)步骤41，将步骤12、22、32获得的三张除去前景的图片进行拼接，以获得步骤42 的全景图。
[0081] 其中最主要的功能的实现主要是两个部分：
[0082] -、利用采集的多张图片(本本实施例是以8张为例），然后进行前景(路人、过路车 辆等)移除，也就是背景模型的提取；
[0083]二、对除去前景的图片(背景模型）的拼接。
[0084] 具体来说：
[0085] 一、背景模型的提取
[0086] 背景模型提取的准确与否直接关系到最终拼接结果的准确性。背景图像的描述模 型即背景模型，它是背景差分法分割前景目标的基础。背景模型有单模态和多模态两种:前 者在每个背景点上的颜色分布比较集中，可以用单个概率分布模型来描述;后者的分布则 比较分散，如水平的波纹，需要用多个分布模型来共同描述。
[0087]目前，常用的背景模型的获取方法包括光流分析法、RGB颜色空间模型、中间值法、 概率密度函数模型、单高斯及多高斯模型、背景差分法等，这些模型或存在背景模型模糊， 或存在运算量过大，或存在易受背景变化影响等问题。由于我们是要在移动端进行数据的 运算，因此背景模型的提取既要考虑到环境随时间推移的时域变化，又要降低提取的数据 量。因此，本发明提出了一种可以利用YUV型色彩空间进行预处理的方法。
[0088]在本发明实施例中，参见图1、2,背景模型的提取的方法是通过YUV颜色空间转换 处理，然后采用高斯统计平均值处理。
[0089] 1、YUV颜色空间转换处理步骤：
[0090] -般来说，对于相对静态的背景，如校园、写字楼等，可以人为控制流动，从而迅速 获取背景模型;但对于像公路、车站、机场等车流、人流较大的地方，很难获得一个静态的背 景模型。根据这些场合的特点，可以假设车、人等运动目标时刻处于运动中，不会长时间的 停留在某一位置上，而树木、公共设施物品等则处于相对的静止状态。由此，假设背景中任 意一点像素的明亮度Y值为θ (Θ e (〇，255))。当有运动物体经过时，所经过位置的亮度值会 发生变化。
[0091] 如图1所示，在步骤12、22、32中，首先输入获取的RGB图像，并转换为YUV图像，而输 出图2的YUV图像。
[0092]其中，YUV颜色空间和RGB颜色空间的转换关系为：
[0093]
[0094] 其中R，G，BE[0,255];
[0095] 2、对所获得的YUV图像亮度采用高斯统计平均值进行处理：
[0096]对YUV颜色空间中的亮度值进行统计，任意一段时间t内，亮度值会出现一个很小 的集中区，近似于该点的背景明亮度值。为保证取值的准确性，进一步选择连续N个时间段， 再对各段求平均值，作为最终的背景明亮度值。
[0097] 基于高斯统计的计筧公式为：
[0098]
[0099]
[0100]
[0101]
[0102]
[0103] 通过上述平均化处理，颜色空间中的Y分量能够有效地分割出背景目标的明亮度， 加上相应的U，V分量，可利用YUV颜色空间和RGB颜色空间的反变换公式：
[0104]
[0105] 从而能够有效地还原RGB背景模型，从而在提取背景的过程中，不易受运动目标的 影响。
[0106] 请参见图4-6,是本实施例的实施示意图；分别为待背景提取的输入图像(第1帧）、 待背景提取的输入图像(第7帧)及背景提取后的输出图像(即为除去前景的图片）。
[0107] 在步骤12、22、32中，分别是以第一帧输入的图像为基础，然后叠加后续图像的参 数以准确的将前景图像(移动的路人或其他移动的物体)切割移除。其中为了确保能识别移 动物体，需要采用数帧图像进行叠加处理，由于路人移动较慢，为了获取足够的信息，至少 每次要捕捉不低于4帧的图像，经反复测试，以8帧较佳，过多的图像将会使移动照相设备的 处理器不堪重负。
[0108] 二、背景模型的拼接
[0109] 为了获得步骤42的全景图，需要经过多个角度进行带有局部重叠的拍摄，然后进 行拼接，在此步骤中，图像拼接是将一组相互间重叠部分的图像序列进行空间匹配对准，经 过重采样后合成一幅包含各个图像序列信息的宽视角场景的、完整的、高清的新图像技术， 最重要的两个部分是图像匹配和图像融合。
[0110] 对于图像匹配，本发明采用了基于SIFT特征点的图像拼接方法。该方法很好的利 用了 SIFT特征点良好的尺度、旋转、光照等不变性来实现图像拼接中图像匹配的问题，并利 用RANSAC算法来消除误配点，以提高匹配效率和准确性。
[0111] 对于图像融合，本发明运用像素简单加权融合的方法平滑拼接缝隙，最终实现了 光照和尺度变化条件下的无缝图像拼接。
[0112] 在本发明实施例中，背景模型的拼接的方法是包含图像预处理，特征提取SIFT算 法，求解变换矩阵，图像融合。
[0113] 其中：
[0114] (1)图像预处理，图像预处理的目的就是为了保证图像匹配的准确性。图像预处理 大致可以分为图像的几何校正和图像去噪两个部分。
[0115] 当相机镜头旋转至下一场景时，镜头中设置的各项参数不可能均不变，因此，对拍 摄的图像中的同一区域进行匹配时会出现无匹配的情况，这就要对图像进行几何校正处 理。本发明采用的是双线性插值法，实验证明其效果和运行时间对于移动端来说达到了一 个很好的平衡点。
[0116] 当相机拍摄的过程中，会产生一定的噪声，这样会影响图像的配准过程，因此还要 在预处理中抑制噪声，减小噪声对图像配准的影响。由于图像中主要存在的是高斯噪声，而 均值滤波对高斯噪声敏感，并且运算速度较快，所以本发明采用均值滤波去噪。
[0117] (2)特征提取特，参见图7、8、9,分别为左图特征点示意图、右图特征点示意图、特 征点匹配图的示意图；征提取的SIFT算法，首先在尺度空间进行特征检测，并确定特征点的 位置和特征点所处的尺度，然后使用特征点邻域梯度的主方向作为该点的方向特征，以实 现算子对尺度和方向的无关性。一幅图像SIFT特征向量的生成算法总共包括尺度空间极值 检测，精炼特征点位置，设置特征点方向，生成SIFT特征描述符，特征点匹配。
[0118] (3)求解变换矩阵，为了 提高图像配准的精度，本实施例采用了 RANSAC算法对图像 变换矩阵Η进行求解与精炼。假设待拼接图像为I(x，y)和)，则他们之间的投影变换 关系为：
[0119]
[0120]其中（x，y，l)和(X7 ，1)分别表示图像I(x，y)和疒（X7 )上的第i个匹配特征 点的齐次坐标。这里的变换矩阵Η有8个自由度，由于对于每一对特征点可以得到2个线性方 程组，所以理论上只需4对匹配特征点就可以算出Η。一般的特征误差满足正态分布，设定一 个阈值d，误差大于d的匹配点对确定为外点，舍去不参与变换矩阵Η的求解，误差小于d的匹 配点对记为内点保留。最后取内点最多的变换矩阵Η作为非线性优化的初值。
[0121] (4)图像融合，根据前面算出的拼接图像之间的变换矩阵之后，就可以对相应的图 像进行变换来确定图像间的重叠区域，并将待融合的图像注册到一幅新的空白图像中形成 拼接图。
[0122] 由于普通的手持照相机在拍摄图片时会自动选取曝光参数，这会使输入图像间存 在亮度差异，导致拼接后的图像缝合线两端出现明显的明暗变化。因此，在融合过程中需要 对缝合线进行处理。
[0123] 采用快速简单的加权平滑算法处理拼接缝问题，即利用OpenCV库中的函数 cvAddffeighted(const CvArr*srcl,double alpha,const CvArr*src2,double beta, double gamma，CvArr dst)来对拼接图像进行融合运算。其中srcl为第一个原数组，alpha 为第一个数组元素的权值，src2为第二个原数组，beta为第二个数组元素的权值，dst为输 出数组，gamma为添加的常数项。
[0124] 计算方法为：
[0125] dst(I)= srcl(I)*alpha+src2(I)*beta+gamma
[0126] 其中，所有的数组必须有相同的类型和相同的大小。
[0127] 如图10-12所示，分别为待拼接的输入图像(左、中、右)示意图，利用本发明的方法 拼接后如图13所示背景拼接后的输出的示意图。
[0128] 本发明的背景提取步骤，是基于背景差分法的运动检测算法，其能够较为有效地 克服背景变化的影响，获取背景模型，并具有算法复杂度低、运算量小、时间快的特点，非常 适用于移动端图像处理。
[0129] 而在图像拼接步骤，是基于SIFT特征点的图像拼接方法，其具有很强的匹配率，通 过SIFT算法提取特征，接着使用RANSAC方法进一步提纯匹配对，得到单应性矩阵，使匹配精 度更高，从而得出的拼接图像更加平滑。因而，本发明通过数帧图片(八帧图像)很好地还原 静态背景，不受移动物体的影响，且具有快速、运算量小、背景模型清晰的优点。本发明的技 术方案实现了相机应用中能够很好地得到去除了前景的全景图片。
【主权项】
1. 一种基于移动前景下全景图实时生成方法，应用于相机的全景照相模式，其特征在 于包含： 1) 将移动摄像设备移动至一角度； 2) 通过移动摄像设备的摄像头采集数帧图像;步骤12,将数帧图片利用背景提取步骤 进行前景去除操作； 其中，该背景提取步骤是基于背景差分法的动态前景移除算法，其是利用YUV颜色空间 和RGB颜色空间的转换公式：通过YUV颜色空间转换处理将采集到的数帧图片分别转换为YUV图像，然后对所获得的 YUV图像亮度采用高斯统计平均值进行处理，割出背景目标的明亮度，接着加上相应的U，V 分量，再利用YUV颜色空间和RGB颜色空间的反变换公式：还原RGB背景模型而获得除去前景的图片。2. 根据权利要求1所述的基于移动前景下全景图实时生成方法，其特征在于，所述数帧 图片为至少4张。3. 根据权利要求1所述的基于移动前景下全景图实时生成方法，其特征在于，所述数帧 图片为8张。4. 根据权利要求1所述的基于移动前景下全景图实时生成方法，其特征在于，所述对所 获得的YUV图像亮度采用高斯统计平均值进行处理是包括： 对YUV颜色空间中的亮度值进行统计，任意一段时间t内，亮度值会出现一个很小的集 中区，近似于该点的背景明亮度值;为保证取值的准确性，进一步选择连续N个时间段，再对 各段求平均值，作为最终的背景明亮度值； 其中，基于高斯统计的计算公式为：O5. 根据权利要求1所述的基于移动前景下全景图实时生成方法，其特征在于，其还包括 步骤： 3) 重复步骤1)及2)，以获得多幅不同角度的除去前景的图片， 4)图片拼接步骤，其包含： 41) 图像预处理； 42) 特征提取； 该步骤是采用SIFT算法，首先在尺度空间进行特征检测，并确定特征点的位置和特征 点所处的尺度，然后使用特征点邻域梯度的主方向作为该点的方向特征，以实现算子对尺 度和方向的无关性;一幅图像SlFT特征向量的生成算法总共包括尺度空间极值检测，精炼 特征点位置，设置特征点方向，生成SIFT特征描述符及特征点匹配； 43) 求解变换矩阵； 该步骤是采用RANSAC算法对图像变换矩阵H进行求解与精炼;假设待拼接图像为I(x， y)和F (Y，y')，则他们之间的投影变换关系为：其中（x，y，l)和(X人/，1)分别表示图像I(x，y)和]^ (X人/ )上的第i个匹配特征点的 齐次坐标，这里的变换矩阵H有8个自由度，由于对于每一对特征点可以得到2个线性方程 组，所以理论上只需4对匹配特征点就可以算出H，一般的特征误差满足正态分布，设定一个 阈值d，误差大于d的匹配点对确定为外点，舍去不参与变换矩阵H的求解，误差小于d的匹配 点对记为内点保留，最后取内点最多的变换矩阵H作为非线性优化的初值； 44) 图像融合，以获得全景图； 根据前面步骤算出的拼接图像之间的变换矩阵之后，对相应的图像进行变换来确定图 像间的重叠区域，并将待融合的图像注册到一幅新的空白图像中形成拼接图。6. -种应用上述任一权利要求所述方法的基于移动前景下全景图实时生成系统，其特 征在于，该系统包含： 移动摄像设备； 背景提取及路人移除模块，该模块借助移动摄像设备采集数帧图像并获取除去前景的 图片； 图片拼接模块，该模块将上述除去前景的图片融合，以获得并输出全景图。7. -种适于移动端运算的基于背景差分法的动态前景移除方法，其特征在于，包括： 1) 预处理阶段，首先将RGB色彩空间转换为YUV色彩空间，以便只对Y分量进行运算； 利用YUV颜色空间和RGB颜色空间的转换公式：通过YUV颜色空间转换处理将采集到的数帧图片分别转换为YUV图像； 2) 高斯统计平均值处理:对YUV颜色空间中的亮度值进行统计，任意一段时间t内，亮度 值会出现一个很小的集中区，近似于该点的背景明亮度值;为保证取值的准确性，进一步选 择连续N个时间段，再对各段求平均值，作为最终的背景明亮度值； 其中，基于高斯统计的计算公式为：3)还原RGB背景模型， 将经上述平均化处理，利用分割出的背景目标的明亮度，加上相应的U，V分量，再利用 YUV颜色空间和RGB颜色空间的反变换公式：获得还原的RGB背景模型。
【专利摘要】本发明提供了一种基于移动前景下全景图实时生成系统及其方法。其采用基于背景差分法的动态前景移除算法，能够通过八帧图像很好地还原静态背景，不受移动物体的影响，且具有快速、运算量小、背景模型清晰的优点。同时，结合现有的相机应用里的全景照相模式，一种基于SIFT特征点的图像拼接方法，能够很好的利用SIFT特征点良好的尺度、旋转、光照等不变性来实现图像拼接中图像匹配的问题，并利用RANSAC算法来消除误配点，提高匹配效率和准确性，获得一幅移除了路人后的全景图片。
【IPC分类】G06T5/50, G06T3/40
【公开号】CN105488777
【申请号】CN201510784947
【发明人】吴沂楠, 兰雨晴, 梁堉, 黄彬洋
【申请人】兰雨晴
【公开日】2016年4月13日
【申请日】2015年11月16日
【技术领域】
[0001] 本发明属于电子摄像技术领域，尤其涉及一种基于移动前景下全景图实时生成系 统的及其方法。
【背景技术】
[0002] 随着人民生活水平的提高，以及我国休假制度的完善，人们拥有了更长更多的假 期，而假期外出旅游成为了越来越多的人们度过假期的第一选择，已经成为一种时尚的消 费方式。在景点游玩免不了和美景留影，但是周围走动的人流、车辆等各种穿插在景点间的 移动物体，大大降低了图片的质量，造成了图片中非主角人物的"抢镜"以及美景被遮挡破 坏。而现有的相机应用并没有一个很好的方法解决上述问题。
[0003] 另外现有的全景图实时生成系统在全景图的生成过程中，通常会因存在着周围移 动的人流、车量等移动物体，而造成"抢镜"及美景被遮挡破坏，因而大大降低了全景图的质 量。
[0004] 现有的解决上述问题的方法基本上是后期对图片的PS处理，而数码相机、手机相 机暂无相关的功能或应用能做到实时处理。
【发明内容】
[0005] 为了解决上述技术问题，本发明的主要目的在于提供一种基于移动前景下全景图 实时生成方法、全景图实时生成系统及适于移动端运算的基于背景差分法的动态前景移除 方法。
[0006] 本发明一种基于移动前景下全景图实时生成方法，应用于相机的全景照相模式， 其包含：
[0007] 1)将移动摄像设备移动至一角度；
[0008] 2)通过移动摄像设备的摄像头采集数帧图像;步骤12,将数帧图片利用背景提取 步骤进行前景去除操作；
[0009] 其中，该背景提取步骤是基于背景差分法的动态前景移除算法，其是利用YUV颜色 空间和RGB颜色空间的转换公式：
[0010]
[0011] 通过YUV颜色空间转换处理将采集到的数帧图片分别转换为YUV图像，然后对所获 得的YUV图像亮度采用高斯统计平均值进行处理，割出背景目标的明亮度，接着加上相应的 u，V分量，再利用YUV颜色空间和RGB颜色空间的反变换公式：
[0012]
[0013]还原RGB背景模型而获得除去前景的图片。
[0014] 其中，所述数帧图片为至少4张，较佳的所述数帧图片为8张。
[0015] 其中，所述对所获得的YUV图像亮度采用高斯统计平均值进行处理是包括：
[0016] 对YUV颜色空间中的亮度值进行统计，任意一段时间t内，亮度值会出现一个很小 的集中区，近似于该点的背景明亮度值，为保证取值的准确性，进一步选择连续N个时间段， 再对各段求平均值，作为最终的背景明亮度值；
[0017] 某干高斯统计的计筧公式为：
[0018]
[0019]
[0020]
[0021]
[0022]
[0023] 其中，所述基于移动前景下全景图实时生成方法，还包括步骤：
[0024] 3)重复步骤1)及2)，以获得多幅不同角度的除去前景的图片，
[0025] 4)图片拼接步骤，其包含：
[0026] 41)图像预处理；
[0027] 42)特征提取；
[0028]该步骤是采用SIFT算法，首先在尺度空间进行特征检测，并确定特征点的位置和 特征点所处的尺度，然后使用特征点邻域梯度的主方向作为该点的方向特征，以实现算子 对尺度和方向的无关性;一幅图像SIFT特征向量的生成算法总共包括尺度空间极值检测， 精炼特征点位置，设置特征点方向，生成SIFT特征描述符及特征点匹配；
[0029] 43)求解变换矩阵；
[0030] 该步骤是采用RANSAC算法对图像变换矩阵Η进行求解与精炼，假设待拼接图像为I (x，y)和F (Υ，y')，则他们之间的投影变换关系为：
[0031]
[0032]其中（x，y，l)和(X7 ，1)分别表示图像I(x，y)和疒（X7 )上的第i个匹配特征 点的齐次坐标，这里的变换矩阵Η有8个自由度，由于对于每一对特征点可以得到2个线性方 程组，所以理论上只需4对匹配特征点就可以算出Η，一般的特征误差满足正态分布，设定一 个阈值d，误差大于d的匹配点对确定为外点，舍去不参与变换矩阵Η的求解，误差小于d的匹 配点对记为内点保留，最后取内点最多的变换矩阵Η作为非线性优化的初值；
[0033] 44)图像融合，以获得全景图；
[0034] 根据前面步骤算出的拼接图像之间的变换矩阵之后，就可以对相应的图像进行变 换来确定图像间的重叠区域，并将待融合的图像注册到一幅新的空白图像中形成拼接图。
[0035] 本发明还提供了一种基于移动前景下全景图实时生成系统，其包含：
[0036]移动摄像设备；
[0037]背景提取及路人移除模块，该模块借助移动摄像设备采集数帧图像并获取除去前 景的图片；
[0038] 图片拼接模块，该模块将上述除去前景的图片融合，以获得并输出全景图。
[0039] 本发明的一种适于移动端运算的基于背景差分法的动态前景移除方法，包括：
[0040] 1)预处理阶段，首先将RGB色彩空间转换为YUV色彩空间，以便只对Y分量进行运 算；
[0041 ]利用YUV颜色空间和RGB颜色空间的转换公式：
[0042]
[0043]通过YUV颜色空间转换处理将采集到的数帧图片分别转换为YUV图像，
[0044] 2)高斯统计平均值处理:对YUV颜色空间中的亮度值进行统计，任意一段时间t内， 亮度值会出现一个很小的集中区，近似于该点的背景明亮度值;为保证取值的准确性，进一 步选择连续N个时间段，再对各段求平均值，作为最终的背景明亮度值；
[0045] 其中，基于高斯统计的计算公式为：
[0046]
[0047]
[0048]
[0049]
[0050]
[0051] 3)还原RGB背景模型，
[0052] 将经上述平均化处理，利用分割出的背景目标的明亮度，加上相应的U，V分量，再 利用YUV颜色空间和RGB颜色空间的反变换公式：
[0053]
[0054] 职?寸丁、fTJivmj R 方、'丨天王。
[0055] 本发明的有益效果为：
[0056] 在背景提取方面，是基于背景差分法的运动检测算法，能够较为有效地克服背景 变化的影响，获取背景模型，并具有算法复杂度低、运算量小、时间快的特点，非常适用于移 动端图像处理。在图像拼接方面，基于SIFT特征点的图像拼接方法具有很强的匹配率，通过 SIFT算法提取特征，接着使用RANSAC方法进一步提纯匹配对，得到单应性矩阵，使匹配精度 更高，从而得出的拼接图像更加平滑。综合上述两方面，本发明能够很好地得到去除了前景 的全景图片。
【附图说明】
[0057] 图1为本发明一实施例中输入RGB的示意图；
[0058] 图2为本发明一实施例中输出YUV的示意图；
[0059] 图3为待背景提取的输入的第1帧的示意图；
[0060] 图4为待背景提取的输入的第4帧的示意图；
[0061 ]图5为待背景提取的输入的第7帧的示意图；
[0062] 图6为背景提取后的输出的示意图；
[0063] 图7为左图特征点不意图；
[0064] 图8为右图特征点不意图；
[0065]图9为特征点匹配图的示意图；
[0066] 图10为待拼接的输入图像(左)的示意图；
[0067] 图11为待拼接的输入图像(中）的示意图；
[0068]图12为待拼接的输入图像(右)的示意图；
[0069] 图13为背景拼接后的输出的示意图；
[0070] 图 14为本发明一具体实施例的流程示意图。
【具体实施方式】
[0071] 为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施 例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本发 明，并不用于限定本发明。
[0072] 参见图14,为本发明一具体实施例的流程示意图本，发明是为了提出一种创新的 拍照模式，主要应用于手机等移动拍照设备，其结合了路人移除模式和全景照相模式，能够 实现在车流、人流较多的景点获得一张完美的风景图，并提出了一种背景模型提取的方法， 使得提取背景的时间更快，效果更好，且能在现有移动照相设备上流畅的运转。同时优化了 图片拼接算法，使得本发明的应用场景可以扩展到无人机环拍等场合。
[0073]本实施例是以3个不同角度并有部分重叠的图像来获得全景图像为例。
[0074]该系统使用时，是包含如下步骤：
[0075] 1)步骤10,将手机(或者其他移动摄像设备)移动至角度1;
[0076] 2)步骤11，通过摄像头采集8张图片;步骤12,将8张图片进行前景去除操作；
[0077] 3)步骤20,将手机平行移动至角度2,并保证角度1、2的图像有部分重合；
[0078] 4)步骤21，通过摄像头采集8张图片;步骤22,将8张图片进行前景去除操作；
[0079] 5)步骤30,通过摄像头采集8张图片;步骤32,将8张图片进行前景去除操作；
[0080] 6)步骤41，将步骤12、22、32获得的三张除去前景的图片进行拼接，以获得步骤42 的全景图。
[0081] 其中最主要的功能的实现主要是两个部分：
[0082] -、利用采集的多张图片(本本实施例是以8张为例），然后进行前景(路人、过路车 辆等)移除，也就是背景模型的提取；
[0083]二、对除去前景的图片(背景模型）的拼接。
[0084] 具体来说：
[0085] 一、背景模型的提取
[0086] 背景模型提取的准确与否直接关系到最终拼接结果的准确性。背景图像的描述模 型即背景模型，它是背景差分法分割前景目标的基础。背景模型有单模态和多模态两种:前 者在每个背景点上的颜色分布比较集中，可以用单个概率分布模型来描述;后者的分布则 比较分散，如水平的波纹，需要用多个分布模型来共同描述。
[0087]目前，常用的背景模型的获取方法包括光流分析法、RGB颜色空间模型、中间值法、 概率密度函数模型、单高斯及多高斯模型、背景差分法等，这些模型或存在背景模型模糊， 或存在运算量过大，或存在易受背景变化影响等问题。由于我们是要在移动端进行数据的 运算，因此背景模型的提取既要考虑到环境随时间推移的时域变化，又要降低提取的数据 量。因此，本发明提出了一种可以利用YUV型色彩空间进行预处理的方法。
[0088]在本发明实施例中，参见图1、2,背景模型的提取的方法是通过YUV颜色空间转换 处理，然后采用高斯统计平均值处理。
[0089] 1、YUV颜色空间转换处理步骤：
[0090] -般来说，对于相对静态的背景，如校园、写字楼等，可以人为控制流动，从而迅速 获取背景模型;但对于像公路、车站、机场等车流、人流较大的地方，很难获得一个静态的背 景模型。根据这些场合的特点，可以假设车、人等运动目标时刻处于运动中，不会长时间的 停留在某一位置上，而树木、公共设施物品等则处于相对的静止状态。由此，假设背景中任 意一点像素的明亮度Y值为θ (Θ e (〇，255))。当有运动物体经过时，所经过位置的亮度值会 发生变化。
[0091] 如图1所示，在步骤12、22、32中，首先输入获取的RGB图像，并转换为YUV图像，而输 出图2的YUV图像。
[0092]其中，YUV颜色空间和RGB颜色空间的转换关系为：
[0093]
[0094] 其中R，G，BE[0,255];
[0095] 2、对所获得的YUV图像亮度采用高斯统计平均值进行处理：
[0096]对YUV颜色空间中的亮度值进行统计，任意一段时间t内，亮度值会出现一个很小 的集中区，近似于该点的背景明亮度值。为保证取值的准确性，进一步选择连续N个时间段， 再对各段求平均值，作为最终的背景明亮度值。
[0097] 基于高斯统计的计筧公式为：
[0098]
[0099]
[0100]
[0101]
[0102]
[0103] 通过上述平均化处理，颜色空间中的Y分量能够有效地分割出背景目标的明亮度， 加上相应的U，V分量，可利用YUV颜色空间和RGB颜色空间的反变换公式：
[0104]
[0105] 从而能够有效地还原RGB背景模型，从而在提取背景的过程中，不易受运动目标的 影响。
[0106] 请参见图4-6,是本实施例的实施示意图；分别为待背景提取的输入图像(第1帧）、 待背景提取的输入图像(第7帧)及背景提取后的输出图像(即为除去前景的图片）。
[0107] 在步骤12、22、32中，分别是以第一帧输入的图像为基础，然后叠加后续图像的参 数以准确的将前景图像(移动的路人或其他移动的物体)切割移除。其中为了确保能识别移 动物体，需要采用数帧图像进行叠加处理，由于路人移动较慢，为了获取足够的信息，至少 每次要捕捉不低于4帧的图像，经反复测试，以8帧较佳，过多的图像将会使移动照相设备的 处理器不堪重负。
[0108] 二、背景模型的拼接
[0109] 为了获得步骤42的全景图，需要经过多个角度进行带有局部重叠的拍摄，然后进 行拼接，在此步骤中，图像拼接是将一组相互间重叠部分的图像序列进行空间匹配对准，经 过重采样后合成一幅包含各个图像序列信息的宽视角场景的、完整的、高清的新图像技术， 最重要的两个部分是图像匹配和图像融合。
[0110] 对于图像匹配，本发明采用了基于SIFT特征点的图像拼接方法。该方法很好的利 用了 SIFT特征点良好的尺度、旋转、光照等不变性来实现图像拼接中图像匹配的问题，并利 用RANSAC算法来消除误配点，以提高匹配效率和准确性。
[0111] 对于图像融合，本发明运用像素简单加权融合的方法平滑拼接缝隙，最终实现了 光照和尺度变化条件下的无缝图像拼接。
[0112] 在本发明实施例中，背景模型的拼接的方法是包含图像预处理，特征提取SIFT算 法，求解变换矩阵，图像融合。
[0113] 其中：
[0114] (1)图像预处理，图像预处理的目的就是为了保证图像匹配的准确性。图像预处理 大致可以分为图像的几何校正和图像去噪两个部分。
[0115] 当相机镜头旋转至下一场景时，镜头中设置的各项参数不可能均不变，因此，对拍 摄的图像中的同一区域进行匹配时会出现无匹配的情况，这就要对图像进行几何校正处 理。本发明采用的是双线性插值法，实验证明其效果和运行时间对于移动端来说达到了一 个很好的平衡点。
[0116] 当相机拍摄的过程中，会产生一定的噪声，这样会影响图像的配准过程，因此还要 在预处理中抑制噪声，减小噪声对图像配准的影响。由于图像中主要存在的是高斯噪声，而 均值滤波对高斯噪声敏感，并且运算速度较快，所以本发明采用均值滤波去噪。
[0117] (2)特征提取特，参见图7、8、9,分别为左图特征点示意图、右图特征点示意图、特 征点匹配图的示意图；征提取的SIFT算法，首先在尺度空间进行特征检测，并确定特征点的 位置和特征点所处的尺度，然后使用特征点邻域梯度的主方向作为该点的方向特征，以实 现算子对尺度和方向的无关性。一幅图像SIFT特征向量的生成算法总共包括尺度空间极值 检测，精炼特征点位置，设置特征点方向，生成SIFT特征描述符，特征点匹配。
[0118] (3)求解变换矩阵，为了 提高图像配准的精度，本实施例采用了 RANSAC算法对图像 变换矩阵Η进行求解与精炼。假设待拼接图像为I(x，y)和)，则他们之间的投影变换 关系为：
[0119]
[0120]其中（x，y，l)和(X7 ，1)分别表示图像I(x，y)和疒（X7 )上的第i个匹配特征 点的齐次坐标。这里的变换矩阵Η有8个自由度，由于对于每一对特征点可以得到2个线性方 程组，所以理论上只需4对匹配特征点就可以算出Η。一般的特征误差满足正态分布，设定一 个阈值d，误差大于d的匹配点对确定为外点，舍去不参与变换矩阵Η的求解，误差小于d的匹 配点对记为内点保留。最后取内点最多的变换矩阵Η作为非线性优化的初值。
[0121] (4)图像融合，根据前面算出的拼接图像之间的变换矩阵之后，就可以对相应的图 像进行变换来确定图像间的重叠区域，并将待融合的图像注册到一幅新的空白图像中形成 拼接图。
[0122] 由于普通的手持照相机在拍摄图片时会自动选取曝光参数，这会使输入图像间存 在亮度差异，导致拼接后的图像缝合线两端出现明显的明暗变化。因此，在融合过程中需要 对缝合线进行处理。
[0123] 采用快速简单的加权平滑算法处理拼接缝问题，即利用OpenCV库中的函数 cvAddffeighted(const CvArr*srcl,double alpha,const CvArr*src2,double beta, double gamma，CvArr dst)来对拼接图像进行融合运算。其中srcl为第一个原数组，alpha 为第一个数组元素的权值，src2为第二个原数组，beta为第二个数组元素的权值，dst为输 出数组，gamma为添加的常数项。
[0124] 计算方法为：
[0125] dst(I)= srcl(I)*alpha+src2(I)*beta+gamma
[0126] 其中，所有的数组必须有相同的类型和相同的大小。
[0127] 如图10-12所示，分别为待拼接的输入图像(左、中、右)示意图，利用本发明的方法 拼接后如图13所示背景拼接后的输出的示意图。
[0128] 本发明的背景提取步骤，是基于背景差分法的运动检测算法，其能够较为有效地 克服背景变化的影响，获取背景模型，并具有算法复杂度低、运算量小、时间快的特点，非常 适用于移动端图像处理。
[0129] 而在图像拼接步骤，是基于SIFT特征点的图像拼接方法，其具有很强的匹配率，通 过SIFT算法提取特征，接着使用RANSAC方法进一步提纯匹配对，得到单应性矩阵，使匹配精 度更高，从而得出的拼接图像更加平滑。因而，本发明通过数帧图片(八帧图像)很好地还原 静态背景，不受移动物体的影响，且具有快速、运算量小、背景模型清晰的优点。本发明的技 术方案实现了相机应用中能够很好地得到去除了前景的全景图片。
【主权项】
1. 一种基于移动前景下全景图实时生成方法，应用于相机的全景照相模式，其特征在 于包含： 1) 将移动摄像设备移动至一角度； 2) 通过移动摄像设备的摄像头采集数帧图像;步骤12,将数帧图片利用背景提取步骤 进行前景去除操作； 其中，该背景提取步骤是基于背景差分法的动态前景移除算法，其是利用YUV颜色空间 和RGB颜色空间的转换公式：通过YUV颜色空间转换处理将采集到的数帧图片分别转换为YUV图像，然后对所获得的 YUV图像亮度采用高斯统计平均值进行处理，割出背景目标的明亮度，接着加上相应的U，V 分量，再利用YUV颜色空间和RGB颜色空间的反变换公式：还原RGB背景模型而获得除去前景的图片。2. 根据权利要求1所述的基于移动前景下全景图实时生成方法，其特征在于，所述数帧 图片为至少4张。3. 根据权利要求1所述的基于移动前景下全景图实时生成方法，其特征在于，所述数帧 图片为8张。4. 根据权利要求1所述的基于移动前景下全景图实时生成方法，其特征在于，所述对所 获得的YUV图像亮度采用高斯统计平均值进行处理是包括： 对YUV颜色空间中的亮度值进行统计，任意一段时间t内，亮度值会出现一个很小的集 中区，近似于该点的背景明亮度值;为保证取值的准确性，进一步选择连续N个时间段，再对 各段求平均值，作为最终的背景明亮度值； 其中，基于高斯统计的计算公式为：O5. 根据权利要求1所述的基于移动前景下全景图实时生成方法，其特征在于，其还包括 步骤： 3) 重复步骤1)及2)，以获得多幅不同角度的除去前景的图片， 4)图片拼接步骤，其包含： 41) 图像预处理； 42) 特征提取； 该步骤是采用SIFT算法，首先在尺度空间进行特征检测，并确定特征点的位置和特征 点所处的尺度，然后使用特征点邻域梯度的主方向作为该点的方向特征，以实现算子对尺 度和方向的无关性;一幅图像SlFT特征向量的生成算法总共包括尺度空间极值检测，精炼 特征点位置，设置特征点方向，生成SIFT特征描述符及特征点匹配； 43) 求解变换矩阵； 该步骤是采用RANSAC算法对图像变换矩阵H进行求解与精炼;假设待拼接图像为I(x， y)和F (Y，y')，则他们之间的投影变换关系为：其中（x，y，l)和(X人/，1)分别表示图像I(x，y)和]^ (X人/ )上的第i个匹配特征点的 齐次坐标，这里的变换矩阵H有8个自由度，由于对于每一对特征点可以得到2个线性方程 组，所以理论上只需4对匹配特征点就可以算出H，一般的特征误差满足正态分布，设定一个 阈值d，误差大于d的匹配点对确定为外点，舍去不参与变换矩阵H的求解，误差小于d的匹配 点对记为内点保留，最后取内点最多的变换矩阵H作为非线性优化的初值； 44) 图像融合，以获得全景图； 根据前面步骤算出的拼接图像之间的变换矩阵之后，对相应的图像进行变换来确定图 像间的重叠区域，并将待融合的图像注册到一幅新的空白图像中形成拼接图。6. -种应用上述任一权利要求所述方法的基于移动前景下全景图实时生成系统，其特 征在于，该系统包含： 移动摄像设备； 背景提取及路人移除模块，该模块借助移动摄像设备采集数帧图像并获取除去前景的 图片； 图片拼接模块，该模块将上述除去前景的图片融合，以获得并输出全景图。7. -种适于移动端运算的基于背景差分法的动态前景移除方法，其特征在于，包括： 1) 预处理阶段，首先将RGB色彩空间转换为YUV色彩空间，以便只对Y分量进行运算； 利用YUV颜色空间和RGB颜色空间的转换公式：通过YUV颜色空间转换处理将采集到的数帧图片分别转换为YUV图像； 2) 高斯统计平均值处理:对YUV颜色空间中的亮度值进行统计，任意一段时间t内，亮度 值会出现一个很小的集中区，近似于该点的背景明亮度值;为保证取值的准确性，进一步选 择连续N个时间段，再对各段求平均值，作为最终的背景明亮度值； 其中，基于高斯统计的计算公式为：3)还原RGB背景模型， 将经上述平均化处理，利用分割出的背景目标的明亮度，加上相应的U，V分量，再利用 YUV颜色空间和RGB颜色空间的反变换公式：获得还原的RGB背景模型。
【专利摘要】本发明提供了一种基于移动前景下全景图实时生成系统及其方法。其采用基于背景差分法的动态前景移除算法，能够通过八帧图像很好地还原静态背景，不受移动物体的影响，且具有快速、运算量小、背景模型清晰的优点。同时，结合现有的相机应用里的全景照相模式，一种基于SIFT特征点的图像拼接方法，能够很好的利用SIFT特征点良好的尺度、旋转、光照等不变性来实现图像拼接中图像匹配的问题，并利用RANSAC算法来消除误配点，提高匹配效率和准确性，获得一幅移除了路人后的全景图片。
【IPC分类】G06T5/50, G06T3/40
【公开号】CN105488777
【申请号】CN201510784947
【发明人】吴沂楠, 兰雨晴, 梁堉, 黄彬洋
【申请人】兰雨晴
【公开日】2016年4月13日
【申请日】2015年11月16日
最新回复(0)