一种基于六摄像机环视的柱面全景生成装置及方法
一种基于六摄像机环视的柱面全景生成装置及方法
【技术领域】
[0001] 本发明涉及图像处理和机器视觉领域，尤其涉及一种基于六摄像机环视的柱面全 景生成装置及方法。
【背景技术】
[0002] 视觉感知是最重要的信息获取方式之一。随着社会的发展，监控领域的需求越来 越高，尤其需要监控一些像机场，火车站，十字路口，商业街等大范围区域，若使用单个摄像 头，由于视野范围小，需要多个监控点协同且需要监控人员不停的切换视频进行观察，但这 样很容易使人疲劳。运用全景成像技术可以获得单视点在周围360度观察方向上的场景信 息，使得观察者能够更快更准确的感知周围场景的变化，比以往传统的监控技术有着很大 进步。
[0003] 获取全景图像的方法有三种：（1)旋转式，由摄像机旋转一周拍摄的一系列图像， 再经过拼接和融合获得全景图像，但旋转需要时间而不能实时监控；（2)反射式，由凹面反 射镜把周围景象反射到摄像机的镜头中，一次性完成180度的成像，但畸变十分严重，不符 合人眼观察规律；（3)拼接式，需要多摄像机呈水平环形放置，同时采集图像，再进行图像 拼接和融合，构建一幅360度环视的全景图像。
[0004] 鱼眼镜头是一种超广角镜头，水平视角可达180度，因此常用鱼眼图像构建全景 视图。但是缺点是鱼眼摄像机的视角越大，畸变越严重，观测范围也就越短，不适用于远距 离的全景监控。相对的，多摄像机合成的全景视图具有较高的分辨率，适合应用于大范围场 景的监控，但是对硬件计算能力和算法的实时性要求较高，多摄像机的装配精度往往对全 景合成成像效果有很大影响。
【发明内容】
[0005] 针对上述问题，本发明提供了一种基于六摄像机环视的柱面全景生成方法及装 置，旨在解决现有全景生成技术方案实时性不高、畸变严重等技术问题。
[0006] 本发明的技术方案由以下部分构成： 1)硬件装置。将6个具有90度水平视角且为固定焦距的鱼眼摄像机，安装在类似正六 棱柱机壳的每一面的中心上，保证6个摄像机水平呈环形均匀放置，且相邻摄像机视野之 间的重叠区域为30度视角范围。
[0007] 2)摄像机标定。采用张正友标定法对6个摄像机进行标定得到相机的内部参数。
[0008] 3)图像采集。同时采集6个摄像机的一幅图像。
[0009] 4)畸变校正。采集到的图像有一定程度的畸变，需要畸变校正处理，本发明采用的 算法是逆向除法模型，将校正和插值算法进行了融合统一，在保证相同校正精度的情况下， 减少了算法运行时间，提高了实时性。
[0010] 5)柱面投影。对6幅经过校正后的图像进行柱面投影，投影到统一的柱面上，投影 角度为90度。
[0011] 6)特征点检测与匹配。经过柱面投影后，对具有重叠区域相邻图像，进行特征点 检测与匹配，采用SIFT特征点检测算法(尺度不变特征转换，Scale-invariant feature transform)，为了减少算法用时，且由于重叠区域大约为图片大小的三分之一，所以确定兴 趣区域为重叠部分所在二分之一图像部分，只对兴趣区域进行特征点检测与匹配。对于高 分辨率的图像，检测出的匹配特征点可能达到超过1000对，耗时较长，因此可以采用金字 塔压缩的方法先对原始图像进行压缩再进行SIFT特征点检测与匹配。
[0012] 7)计算重叠区域大小。为了消除匹配特征点坐标的随机误差和粗大误差，采用平 均值法计算出最佳匹配位置的坐标。由最佳匹配坐标和图片长宽等参数，根据平面几何关 系，可以计算出重叠区域的宽度r，和上下平移参数_r。
[0013] 8)图像拼接。传统拼接方式是由匹配特征点来计算平移参数，将两幅图像统一到 同一坐标系下，进行平移拼接，再对重合区域进行融合。本发明采用的是基于特征点匹配确 定融合区域的拼接算法，可以一次性完成融合和拼接两个步骤。
[0014] 9)图像融合。为了解决因拍摄角度不同引起的曝光差异问题，必须要进行图像融 合，本发明采用了渐入渐出的融合方法，实现了公共区域融合的平滑过渡，得到过渡自然的 柱面全景图像。
[0015] 10)全景显示。最后利用循环对六幅图片完成柱面全景合成，对单幅360度柱面全 景图像，可以通过平面显示设备如显示器、投影仪显示出来。
[0016] 本发明的技术方案是这样实现的： 步骤一：摄像机的标定； 采用张正友标定法对6个90度鱼眼相机进行标定，得到相机的内参矩阵，尽管是6个 同一型号的摄像机，但是由于光学元件的差异和装配精度不足等问题，会造成摄像机内部 参数不尽相同，所以必须对6个相机进行标定，为后续的畸变校正处理提供必要的内部参 数。
[0017] 步骤二：图像采集； 通过六摄像机的环视装置开始采集图像。把同一时刻采集到的图像传输到计算机中进 行下一步处理。
[0018] 步骤三：畸变校正处理； 对采集来的六幅图像进行畸变校正处理，建立基于向后映射法的除法模型，该模型用 来描述第一次校正图像中的像素点到第一次校正图像中心的距离与校正图像中的像素点 与校正图像中心的距离的线性关系，该模型的输入为第一次校正图像中像素点的坐标，该 模型的输出为基于向后映射法的除法模型的校正算子。经过校正后的图像，消除了桶形畸 变，更符合人眼观察的视觉效果，同时能够提高拼接效果，避免出现重影问题。
[0019] 步骤四：对六幅校正后的图像进行柱面投影； 柱面全景图是将通过把多摄像机环形采集的图像投影到柱面坐标下，在对得到的图像 进行柱面投影变换，得到在同一坐标空间的图像序列。柱面全景图的产生和显示都比较简 单，还可以实现水平360度的视觉浏览。而且柱面全景图展开是一个矩形图像，可以直接存 储在计算机上。
[0020] 步骤五：特征点检测与匹配； 对经柱面投影后的两幅具有重叠区域的图像进行SIFT特征点检测与匹配，主要计算 步骤为：（1)构建尺度空间；（2)尺度空间极值检测；（3)关键点的定位；（4)确定关键点的 方向；（5)生成特征点描述子；（6)匹配关键点。
[0021] 在经典算法中，SITF算法是遍历了整个图像，是对全局进行检测，相对特征点的 数量就较多，运算量也很大，速度就慢。这是因为提取SIFT特征是在多尺度空间完成的， 还要需要和高斯核进行多次卷积，而且为了产生精确的特征描述符，还需要对直方图进行 多次加权运算。而且，为了增加算法的鲁棒性，算法还要检测尽可能多的关键点，这也给拼 接算法带来了很大的负担，降低了运算速率。为了降低消耗的时间，采用了如下的方法 ： 从图像拍摄数量知道相邻两幅图像的旋转角度60°，重合30°，通过第一幅图像的右半 部分和第二幅图像的左半部分进行SIFT特征点的提取，搜索。此时，程序在检测特征点时 就避免了在非重合区域进行特征点的提取，有效的节省了图像的拼接时间，从而提高实时 性。对于高分辨率的图像，还可以进行金字塔压缩，再进行检测。这种改进是可行的，在不 影响算法精度的条件下节约了算法的匹配时间。
[0022] 步骤六：对两幅图像进行拼接； 采用基于特征点匹配确定融合区域的图像拼接方法，主要步骤如下： 1)由步骤四得到的两幅图像中匹配的SIFT特征点坐标 ，用平均值法计算出最佳匹配 点的坐标，通过这个坐标和相关平面几何关系，计算出重叠区域的宽度r，和上下平移参数
[0023] 2)由重叠区域宽度々，把待拼接的两幅图像分成A图与B图不重叠的部分，和A、B 图的重叠部分，融合后四个区域变成三个区域，也就同时进行融合和拼接。
[0024] 步骤七：对重叠区域进行图像融合； 采用渐入渐出的融合方法，完成拼缝的过渡融合，形成过渡自然的拼接图像。
[0025] 步骤八：循环处理与全景显示； 完成两幅具有重叠区域的图像完成配准拼接和融合过后，作为待拼接图像之一，再与 下一幅图像进行配准拼接融合，当完成六幅图像的拼接后就可以形成一幅具有360度视角 的环状柱面全景视图，显示部分用简单的平面显示法，显示设备为平面显示器。
[0026] 本发明提出的一种基于六摄像机环视的柱面全景生成方法，是一种新颖的基于多 摄像机环视的拼接式全景生成方法。在畸变校正、特征点检测、图像拼接算法方面，进行了 相关改进，适合本发明的使用；尤其采用了一种基于点匹配确定融合区域的拼接算法，同时 完成融合和拼接，提高了实时性，为全景视频的生成提供了可能。也为使用者提供了一幅高 分辨率、具有360度视野的自然全景图像，更符合人眼的观察规律，避免对多个摄像机的监 控画面进行切换，减轻了人的工作量。
【附图说明】
[0027] 图1为六摄像机环视装置的示意图； 图2为模块组成示意图； 图3为柱面全景图像生成方法实施步骤图； 图4为本发明的180度鱼眼图像经过逆向除法畸变校正算法处理后的效果图，左图为 鱼眼摄像相机拍摄的原始图像，右图为校正后的图像； 图5为本发明的柱面投影示意图； 图6为柱面投影7K意图的侧视图与俯视图； 图7为本发明的SIFT特征点检测算法中高斯差分构建尺度空间的示意图； 图8为本发明的SIFT特征点检测算法中检测空间极值的示意图； 图9为本发明的SIFT特征点检测算法中生成特征点描述子的示意图； 图10为本发明的由最佳匹配坐标计算重叠区域宽度r与上下平移参数崩示意图； 图11为本发明的基于点匹配确定融合区域拼接算法的操作示意图。
【具体实施方式】
[0028] 下面结合附图对本发明的【具体实施方式】进行详细说明。
[0029] 本发明的实施方式的软件环境为windows 7系统，仿真环境为MATLAB R2012b，处 理器为酷睿i5_3230。
[0030] 本发明的六摄像机环视的柱面全景生成装置与方法，用于采集图像的装置如图1 所示：将六个具有90度水平视角且焦距固定的鱼眼摄像机，安装在类似正六棱柱机壳的每 一面的中心上，使六个摄像机水平呈环形均匀放置，保证摄像机的光轴在一个水平高度上， 且相邻摄像机视野之间的重叠区域为30度视角范围。
[0031] 本发明的柱面全景生成方法框架，如图3所示，具体实施步骤如下： 步骤1 :由于畸变校正中需要用要摄像机的内部参数，所以要提前进行摄像机的标定。 本发明中采用经典的张正友平面棋盘标定法，首先制作了黑白棋盘标定版，用摄像机从不 同角度拍摄标定板得到一系列图像，再使用MATLAB标定工具箱calibration_v24进行处 理，对每个获得的图像提取图像上网格的角点；由标定板与图像棋盘角点的对应关系，就可 确定一个单应性矩阵，这样就能够进行摄像机定标，求出相应的内参矩阵H。对其中一个鱼 眼摄像机(分辨率为720*480)进行相机标定后得到的内参矩阵如下：
式中：1??丨表示主点坐标，即图像坐标系原点在像素坐标系下的坐标表示； ?^:条 称为像素尺寸因子，分别表示每一个像素在与方向上的物理尺寸；/为镜头焦距。
[0032] 步骤2:图像采集； 通过六摄像机的环视装置开始采集图像。用多路图像采集卡，把同一时刻采集到的图 像传输到计算机中进行下一步处理。
[0033] 步骤3 :畸变校正处理； 逆向模型是在正向校正模型的基础上改进的。正向模型校正方法，即对源图像的坐标 进行映射变换求出对应的目标图像的坐标后，将源图像坐标处的像素属性复制到目标图像 坐标处，正向模型算法带来的直接结果是需要对校正后的图像进行插值处理。正向除法校 正模型的表达式为： (2) 式中：/)代表理想图像中某一点的坐标向量，表示畸变图像中某一点的坐标向量，分 母中的|·|Ρ表示畸变图像中某一点距离畸变中心的距离，Z表示待求参数，决定着对畸 变曲线的拟合精度。
[0034] 根据逆向求解的基本思想，可以对除法模型公式（2)进行变形得到（3):
(3) 假设校正前后主点坐标和物理尺寸因子是相等，逆向求解表达式（3)可以得到最终的 模型表达式（4):
(4) 式中：校正前后像素坐标系下对应点为||:_^和|__，物理坐标系下为_:_和 ，距离轴心的距离为~_和~,像素尺寸因子为》_:。
[0035] 这种方法运用了用逆向思维对鱼眼图像进行校正，避免了插值处理，提高了运行 速度。在MATLAB上做了逆向除法校正的仿真实验，效果如图4所示。
[0036] 步骤4 :柱面投影处理； 在图像拼接过程中，直接对环形拍摄的图像序列进行拼接，会破坏实际景物的结构特 性，为了解决这一问题，需要对原始图像进行投影处理。为保证实际景象在视觉上保持连贯 性，需要图像都投影到同一平面下，相比立方体和球面投影，柱面投影简单且便于显示与储 存，因此采用柱面投影方法。柱面投影是将空间看作一个圆柱体，将图像投影到柱面坐标系 下。首先确定柱面投影的两个参数投影焦距沒P单幅投影角度
式中：/为相机的像素焦距；〃为单幅投影角度，由环绕一周拍摄的图像数量Λ和重 合度^7决定。
[0037] 投影算法是一种数学运算，在图像变换时，坐标可能是非整数，而图像中的坐标 只能定义在整数上，所以必须有取整预算。一般有向前映射法(像素移交)和向后映射法(像 素填充)。本发明使用的是，向后映射的方法。柱面投影变换的核心是投影变换公式，将图 像平面点坐标映射到柱面坐标变换公式为：
[0038] 其中表示投影后的像素坐标，表示原图的像素坐标；0表示投 影角，K /?示原始图像的像素长宽大小。本发明使用6个水平视角为90度的摄像机，分 辨率为720*480,重叠视角为30度。重叠度为三分之一，根据公式（5)计算出柱面投影的焦 距/与单幅投影角度〃。再根据公式（6)的像素映射关系，完成六幅图像的柱面投影。
[0039] 步骤5 :SIFT特征点的检测与匹配； SIFT算子是David G. Lowe于1999年提出的一种基于图像局部特征的描述子。SIFT 特征点对于图像的尺度和旋转保持不变性，对于光照和3D视角的变化也能保持一定的稳 定性，而且由于在立体和频域空间被很好的局部化，故而降低了噪声干扰的可能性。以下是 SIFT特征点检测与匹配的主要计算步骤。
[0040] 1)构建尺度空间： 构建尺度空间的目的是检测对于图像的尺度变化具有不变性的位置，可以使用尺度的 连续函数也就是尺度空间在所有可能的尺度中寻找稳定的特征。假设尺度空间内核是高斯 函数。因此，若为输入图像，是尺度可变高斯函数，则一个图像的尺度空间被 定义为函数，则有：
(7) 式中：霞为尺度因子；*为卷积运算。
[0041] 式（7)中的高斯函数定义为式（8):
(8) 使用高斯金字塔每组中相邻上下两层图像相减得到高斯差分图像，构造高斯差分尺度 空间：
2)尺度空间极值检测：为了检测袭_5:氣贫I:的局部极大值和极小值，每个采样点都要 和它同尺度的8个相邻点和上下相邻尺度对应的9X2个像素点相比较。只有当它比所 有相邻点都大或者都小的时候这个点才被选择。
[0042] 3)关键点的定位：剔除那些低对比度(对噪声很敏感）的点和处于边缘的点，对于 每个候选的关键点，确定他们的位置和尺度。
[0043] 4)确定关键点的方向：为每个关键点分配一个方向，以后所有对图像的数据的操 作都被转换为对特征点方向、尺度和位置的操作，从而保证了变化的不变性。
[0044] 5)生成特征点描述子：以关键点为圆心将关键点邻域进行旋转(调整至0° )，在 旋转后的图像中，以关键的中心取16X16的邻域窗口。将此邻域窗口均匀分为16个4 X4个子区域。采用高斯模糊的方法，计算每个区域中8个方向的梯度累加值。接着将特 征点描述子进行归一化处理，得到特征点描述子的特征向量，为4X4X8=128维向量。
[0045] 6)匹配关键点：采用关键点特征向量的欧式距离，作为两幅图像中关键点的相似 性判定度量。取左图像中的某个关键点，并找出其与右图像中欧式距离最近的前两个关键 点。在这两个关键点中，如果最近的距离除以第二近的距离少于某个比例阈值，则确定这一 对匹配点。阈值越大检测出的关键点越多，但错误匹配率也会增加。经多次实验确定，此阈 值取0. 4时，匹配准确度高且匹配点的数量足够计算拼接参数使用。
[0046] 针对本发明的六摄像机环视的全景生成装置及方法，考虑到特征点检测算法的耗 时问题，所以只对重叠区域所在那一半兴趣区域进行检测。必要时，可以将高分辨率的源图 像进行金字塔压缩，再进行SIFT特征点检测。
[0047] 步骤6 :计算重叠区域宽度r和平移参数々； 由步骤5得到两幅待拼接图像的匹配特征点坐标集合为尸与β采用平均值法计算两幅 图像中最佳匹配位置的坐标U : (10) 式中：，η表示集合P中点的个数。
[0048] 同理可求出在另一幅图的最佳匹配坐标戀
[0049] 假设两幅待拼接图像大小相同，且高度和长度都为仗r，接下来根据几何关系，计 算出重叠区域宽度r和上下平移参数々：
(11) 步骤7 :基于点匹配确定重叠区域的拼接算法； 传统拼接方式：由匹配的特征点计算平移参数，将两幅图像统一到同一坐标系下，进行 平移拼接，再对重合区域进行融合。
[0050] 本发明采用的是：基于点匹配确定融合区域的拼接算法，这种方法一次性完成融 合和拼接两个步骤，由最佳匹配点的坐标确定重叠区域，把待拼接的两幅图像分成A图与B 图不重叠的部分，和A、B图的重叠部分，融合后四个区域变成三个区域，也就同时完成了融 合和拼接两个步骤，实时性得到提高。具体操作见图11。
[0051] 步骤8 :图像融合算法； 为了解决因拍摄角度不同引起的曝光差异问题，必须要进行图像融合。针对步骤7计 算得到的重叠区域，采用渐入渐出的融合方法：
(12) 式中为重叠区域左边界，λ为重叠区域右边界，％为第一幅图像的宽度，聰:为第 二幅图像的宽度。尸仏於为拼接后_,处的像素值，为第一幅图像在,__处的像 素值，为第二幅图hJV像处的像素值。权函数为同时考虑了双边亮度差异。
[0052] 经过渐入渐出融合算法处理后，可以消除拼缝，得到过渡自然的拼接图像。
[0053] 步骤9 :循环处理与全景显示。
[0054] 两幅具有重叠区域的图像完成配准拼接和融合过后，作为待拼接图像之一，再与 下一幅图像进行配准拼接融合，当循环五次，即完成六幅图像的拼接后就可以形成一幅具 有360度视角的环状柱面全景视图，显示部分用简单的平面显示柱面全景图像方法，可以 在一个平面显示设备中将全景图像显示出来，用作全景监控。
[0055] 该实施例说明本发明方法具有良好的实用价值，能够构建高分辨率、自然的全景 视图，实时性得到了提高，克服了过去鱼眼全景摄像机监测距离短的不足，适用于大范围视 野的监控，减轻了监控人员的工作负担。
【主权项】
1. 一种基于六摄像机环视的柱面全景生成装置与方法，硬件包括6个鱼眼摄像机，正 六棱柱机壳，图像采集与传输装置，其特征在于 ： 所述6个鱼眼摄像机为焦距固定的模拟摄像机，水平视角为90度，分辨率为720*480， 视频制式为NTSC，视频接口为AV复合视频接口； 所述正六棱柱机壳，为棱长为l〇cm的正六棱柱结构，每个侧面的面心留有小孔，用于 放置摄像机，所述六个摄像机在所述机壳上等间距水平安放； 所述的图像采集与传输装置，能够同时采集6个摄像机的图像，通过多路图像采集卡 采集到计算机中进行图像处理。2. -种基于六摄像机环视的柱面全景生成装置与方法，其特征在于，主要过程是： 对采集到的同时刻的6幅图像进行畸变校正，得到6幅矫正图像；再对矫正图像进行柱 面投影，接着通过对投影后重叠区域的图像进行角点匹配、拼接、融合一系列图像处理，得 到所述的柱面全景图像。3. 根据权利要求2所述的基于六摄像机环视的柱面全景生成装置与方法，其特征在 于，步骤包括：摄像机标定、畸变校正、柱面投影、特征点检测与匹配、计算重叠区域大小、图 像拼接、图像融合、全景显示。4. 根据权利要求2所述的基于六摄像机环视的柱面全景生成装置与方法，其特征在 于，所述畸变校正模块利用了逆向除法模型，将校正和插值算法进行了融合统一，在保证相 同校正精度的情况下，减少了算法运行时间，提高了实时性；所述柱面投影模块对每一幅图 像进行了投影角度为90度的向后映射方式的柱面投影，计算重叠区域大小模块时采用平 均值法计算出最佳匹配位置的坐标，减小了匹配点的粗大误差和随机误差；图像拼接采用 基于特征点匹配确定融合区域的拼接算法，一次性完成融合和拼接，实时性得到提高。
【专利摘要】本发明提供了一种基于六摄像机环视的柱面全景生成装置及方法，包括：装置：正六棱柱机壳，六个摄像机水平向外放置在每个侧面的面心处；其中六个摄像机是具有90度水平视角的固定焦距的鱼眼摄像机。方法：包括同时采集六个摄像机的一幅图像，应用逆向除法模型对六幅图像进行畸变校正，对六幅校正后的图像进行柱面投影，采用SIFT特征点检测算法对具有重叠区域相邻图像进行特征点检测与匹配，通过最佳匹配点计算图像平移拼接参数以及对确定重叠区域大小，同时完成图像拼接和融合两个步骤，以及使用渐入渐出的融合方法使公共区域融平滑过渡，最终得到过渡自然的柱面全景图像。本发明能够较为高效得生成360度视野的自然全景图像，适合用于全景监控。
【IPC分类】G06T5/50, G06T7/00
【公开号】CN105488775
【申请号】CN201410524037
【发明人】徐刚, 林明秀, 任星凝, 许可
【申请人】东北大学
【公开日】2016年4月13日
【申请日】2014年10月9日
【技术领域】
[0001] 本发明涉及图像处理和机器视觉领域，尤其涉及一种基于六摄像机环视的柱面全 景生成装置及方法。
【背景技术】
[0002] 视觉感知是最重要的信息获取方式之一。随着社会的发展，监控领域的需求越来 越高，尤其需要监控一些像机场，火车站，十字路口，商业街等大范围区域，若使用单个摄像 头，由于视野范围小，需要多个监控点协同且需要监控人员不停的切换视频进行观察，但这 样很容易使人疲劳。运用全景成像技术可以获得单视点在周围360度观察方向上的场景信 息，使得观察者能够更快更准确的感知周围场景的变化，比以往传统的监控技术有着很大 进步。
[0003] 获取全景图像的方法有三种：（1)旋转式，由摄像机旋转一周拍摄的一系列图像， 再经过拼接和融合获得全景图像，但旋转需要时间而不能实时监控；（2)反射式，由凹面反 射镜把周围景象反射到摄像机的镜头中，一次性完成180度的成像，但畸变十分严重，不符 合人眼观察规律；（3)拼接式，需要多摄像机呈水平环形放置，同时采集图像，再进行图像 拼接和融合，构建一幅360度环视的全景图像。
[0004] 鱼眼镜头是一种超广角镜头，水平视角可达180度，因此常用鱼眼图像构建全景 视图。但是缺点是鱼眼摄像机的视角越大，畸变越严重，观测范围也就越短，不适用于远距 离的全景监控。相对的，多摄像机合成的全景视图具有较高的分辨率，适合应用于大范围场 景的监控，但是对硬件计算能力和算法的实时性要求较高，多摄像机的装配精度往往对全 景合成成像效果有很大影响。
【发明内容】
[0005] 针对上述问题，本发明提供了一种基于六摄像机环视的柱面全景生成方法及装 置，旨在解决现有全景生成技术方案实时性不高、畸变严重等技术问题。
[0006] 本发明的技术方案由以下部分构成： 1)硬件装置。将6个具有90度水平视角且为固定焦距的鱼眼摄像机，安装在类似正六 棱柱机壳的每一面的中心上，保证6个摄像机水平呈环形均匀放置，且相邻摄像机视野之 间的重叠区域为30度视角范围。
[0007] 2)摄像机标定。采用张正友标定法对6个摄像机进行标定得到相机的内部参数。
[0008] 3)图像采集。同时采集6个摄像机的一幅图像。
[0009] 4)畸变校正。采集到的图像有一定程度的畸变，需要畸变校正处理，本发明采用的 算法是逆向除法模型，将校正和插值算法进行了融合统一，在保证相同校正精度的情况下， 减少了算法运行时间，提高了实时性。
[0010] 5)柱面投影。对6幅经过校正后的图像进行柱面投影，投影到统一的柱面上，投影 角度为90度。
[0011] 6)特征点检测与匹配。经过柱面投影后，对具有重叠区域相邻图像，进行特征点 检测与匹配，采用SIFT特征点检测算法(尺度不变特征转换，Scale-invariant feature transform)，为了减少算法用时，且由于重叠区域大约为图片大小的三分之一，所以确定兴 趣区域为重叠部分所在二分之一图像部分，只对兴趣区域进行特征点检测与匹配。对于高 分辨率的图像，检测出的匹配特征点可能达到超过1000对，耗时较长，因此可以采用金字 塔压缩的方法先对原始图像进行压缩再进行SIFT特征点检测与匹配。
[0012] 7)计算重叠区域大小。为了消除匹配特征点坐标的随机误差和粗大误差，采用平 均值法计算出最佳匹配位置的坐标。由最佳匹配坐标和图片长宽等参数，根据平面几何关 系，可以计算出重叠区域的宽度r，和上下平移参数_r。
[0013] 8)图像拼接。传统拼接方式是由匹配特征点来计算平移参数，将两幅图像统一到 同一坐标系下，进行平移拼接，再对重合区域进行融合。本发明采用的是基于特征点匹配确 定融合区域的拼接算法，可以一次性完成融合和拼接两个步骤。
[0014] 9)图像融合。为了解决因拍摄角度不同引起的曝光差异问题，必须要进行图像融 合，本发明采用了渐入渐出的融合方法，实现了公共区域融合的平滑过渡，得到过渡自然的 柱面全景图像。
[0015] 10)全景显示。最后利用循环对六幅图片完成柱面全景合成，对单幅360度柱面全 景图像，可以通过平面显示设备如显示器、投影仪显示出来。
[0016] 本发明的技术方案是这样实现的： 步骤一：摄像机的标定； 采用张正友标定法对6个90度鱼眼相机进行标定，得到相机的内参矩阵，尽管是6个 同一型号的摄像机，但是由于光学元件的差异和装配精度不足等问题，会造成摄像机内部 参数不尽相同，所以必须对6个相机进行标定，为后续的畸变校正处理提供必要的内部参 数。
[0017] 步骤二：图像采集； 通过六摄像机的环视装置开始采集图像。把同一时刻采集到的图像传输到计算机中进 行下一步处理。
[0018] 步骤三：畸变校正处理； 对采集来的六幅图像进行畸变校正处理，建立基于向后映射法的除法模型，该模型用 来描述第一次校正图像中的像素点到第一次校正图像中心的距离与校正图像中的像素点 与校正图像中心的距离的线性关系，该模型的输入为第一次校正图像中像素点的坐标，该 模型的输出为基于向后映射法的除法模型的校正算子。经过校正后的图像，消除了桶形畸 变，更符合人眼观察的视觉效果，同时能够提高拼接效果，避免出现重影问题。
[0019] 步骤四：对六幅校正后的图像进行柱面投影； 柱面全景图是将通过把多摄像机环形采集的图像投影到柱面坐标下，在对得到的图像 进行柱面投影变换，得到在同一坐标空间的图像序列。柱面全景图的产生和显示都比较简 单，还可以实现水平360度的视觉浏览。而且柱面全景图展开是一个矩形图像，可以直接存 储在计算机上。
[0020] 步骤五：特征点检测与匹配； 对经柱面投影后的两幅具有重叠区域的图像进行SIFT特征点检测与匹配，主要计算 步骤为：（1)构建尺度空间；（2)尺度空间极值检测；（3)关键点的定位；（4)确定关键点的 方向；（5)生成特征点描述子；（6)匹配关键点。
[0021] 在经典算法中，SITF算法是遍历了整个图像，是对全局进行检测，相对特征点的 数量就较多，运算量也很大，速度就慢。这是因为提取SIFT特征是在多尺度空间完成的， 还要需要和高斯核进行多次卷积，而且为了产生精确的特征描述符，还需要对直方图进行 多次加权运算。而且，为了增加算法的鲁棒性，算法还要检测尽可能多的关键点，这也给拼 接算法带来了很大的负担，降低了运算速率。为了降低消耗的时间，采用了如下的方法 ： 从图像拍摄数量知道相邻两幅图像的旋转角度60°，重合30°，通过第一幅图像的右半 部分和第二幅图像的左半部分进行SIFT特征点的提取，搜索。此时，程序在检测特征点时 就避免了在非重合区域进行特征点的提取，有效的节省了图像的拼接时间，从而提高实时 性。对于高分辨率的图像，还可以进行金字塔压缩，再进行检测。这种改进是可行的，在不 影响算法精度的条件下节约了算法的匹配时间。
[0022] 步骤六：对两幅图像进行拼接； 采用基于特征点匹配确定融合区域的图像拼接方法，主要步骤如下： 1)由步骤四得到的两幅图像中匹配的SIFT特征点坐标 ，用平均值法计算出最佳匹配 点的坐标，通过这个坐标和相关平面几何关系，计算出重叠区域的宽度r，和上下平移参数
[0023] 2)由重叠区域宽度々，把待拼接的两幅图像分成A图与B图不重叠的部分，和A、B 图的重叠部分，融合后四个区域变成三个区域，也就同时进行融合和拼接。
[0024] 步骤七：对重叠区域进行图像融合； 采用渐入渐出的融合方法，完成拼缝的过渡融合，形成过渡自然的拼接图像。
[0025] 步骤八：循环处理与全景显示； 完成两幅具有重叠区域的图像完成配准拼接和融合过后，作为待拼接图像之一，再与 下一幅图像进行配准拼接融合，当完成六幅图像的拼接后就可以形成一幅具有360度视角 的环状柱面全景视图，显示部分用简单的平面显示法，显示设备为平面显示器。
[0026] 本发明提出的一种基于六摄像机环视的柱面全景生成方法，是一种新颖的基于多 摄像机环视的拼接式全景生成方法。在畸变校正、特征点检测、图像拼接算法方面，进行了 相关改进，适合本发明的使用；尤其采用了一种基于点匹配确定融合区域的拼接算法，同时 完成融合和拼接，提高了实时性，为全景视频的生成提供了可能。也为使用者提供了一幅高 分辨率、具有360度视野的自然全景图像，更符合人眼的观察规律，避免对多个摄像机的监 控画面进行切换，减轻了人的工作量。
【附图说明】
[0027] 图1为六摄像机环视装置的示意图； 图2为模块组成示意图； 图3为柱面全景图像生成方法实施步骤图； 图4为本发明的180度鱼眼图像经过逆向除法畸变校正算法处理后的效果图，左图为 鱼眼摄像相机拍摄的原始图像，右图为校正后的图像； 图5为本发明的柱面投影示意图； 图6为柱面投影7K意图的侧视图与俯视图； 图7为本发明的SIFT特征点检测算法中高斯差分构建尺度空间的示意图； 图8为本发明的SIFT特征点检测算法中检测空间极值的示意图； 图9为本发明的SIFT特征点检测算法中生成特征点描述子的示意图； 图10为本发明的由最佳匹配坐标计算重叠区域宽度r与上下平移参数崩示意图； 图11为本发明的基于点匹配确定融合区域拼接算法的操作示意图。
【具体实施方式】
[0028] 下面结合附图对本发明的【具体实施方式】进行详细说明。
[0029] 本发明的实施方式的软件环境为windows 7系统，仿真环境为MATLAB R2012b，处 理器为酷睿i5_3230。
[0030] 本发明的六摄像机环视的柱面全景生成装置与方法，用于采集图像的装置如图1 所示：将六个具有90度水平视角且焦距固定的鱼眼摄像机，安装在类似正六棱柱机壳的每 一面的中心上，使六个摄像机水平呈环形均匀放置，保证摄像机的光轴在一个水平高度上， 且相邻摄像机视野之间的重叠区域为30度视角范围。
[0031] 本发明的柱面全景生成方法框架，如图3所示，具体实施步骤如下： 步骤1 :由于畸变校正中需要用要摄像机的内部参数，所以要提前进行摄像机的标定。 本发明中采用经典的张正友平面棋盘标定法，首先制作了黑白棋盘标定版，用摄像机从不 同角度拍摄标定板得到一系列图像，再使用MATLAB标定工具箱calibration_v24进行处 理，对每个获得的图像提取图像上网格的角点；由标定板与图像棋盘角点的对应关系，就可 确定一个单应性矩阵，这样就能够进行摄像机定标，求出相应的内参矩阵H。对其中一个鱼 眼摄像机(分辨率为720*480)进行相机标定后得到的内参矩阵如下：
式中：1??丨表示主点坐标，即图像坐标系原点在像素坐标系下的坐标表示； ?^:条 称为像素尺寸因子，分别表示每一个像素在与方向上的物理尺寸；/为镜头焦距。
[0032] 步骤2:图像采集； 通过六摄像机的环视装置开始采集图像。用多路图像采集卡，把同一时刻采集到的图 像传输到计算机中进行下一步处理。
[0033] 步骤3 :畸变校正处理； 逆向模型是在正向校正模型的基础上改进的。正向模型校正方法，即对源图像的坐标 进行映射变换求出对应的目标图像的坐标后，将源图像坐标处的像素属性复制到目标图像 坐标处，正向模型算法带来的直接结果是需要对校正后的图像进行插值处理。正向除法校 正模型的表达式为： (2) 式中：/)代表理想图像中某一点的坐标向量，表示畸变图像中某一点的坐标向量，分 母中的|·|Ρ表示畸变图像中某一点距离畸变中心的距离，Z表示待求参数，决定着对畸 变曲线的拟合精度。
[0034] 根据逆向求解的基本思想，可以对除法模型公式（2)进行变形得到（3):
(3) 假设校正前后主点坐标和物理尺寸因子是相等，逆向求解表达式（3)可以得到最终的 模型表达式（4):
(4) 式中：校正前后像素坐标系下对应点为||:_^和|__，物理坐标系下为_:_和 ，距离轴心的距离为~_和~,像素尺寸因子为》_:。
[0035] 这种方法运用了用逆向思维对鱼眼图像进行校正，避免了插值处理，提高了运行 速度。在MATLAB上做了逆向除法校正的仿真实验，效果如图4所示。
[0036] 步骤4 :柱面投影处理； 在图像拼接过程中，直接对环形拍摄的图像序列进行拼接，会破坏实际景物的结构特 性，为了解决这一问题，需要对原始图像进行投影处理。为保证实际景象在视觉上保持连贯 性，需要图像都投影到同一平面下，相比立方体和球面投影，柱面投影简单且便于显示与储 存，因此采用柱面投影方法。柱面投影是将空间看作一个圆柱体，将图像投影到柱面坐标系 下。首先确定柱面投影的两个参数投影焦距沒P单幅投影角度
式中：/为相机的像素焦距；〃为单幅投影角度，由环绕一周拍摄的图像数量Λ和重 合度^7决定。
[0037] 投影算法是一种数学运算，在图像变换时，坐标可能是非整数，而图像中的坐标 只能定义在整数上，所以必须有取整预算。一般有向前映射法(像素移交)和向后映射法(像 素填充)。本发明使用的是，向后映射的方法。柱面投影变换的核心是投影变换公式，将图 像平面点坐标映射到柱面坐标变换公式为：
[0038] 其中表示投影后的像素坐标，表示原图的像素坐标；0表示投 影角，K /?示原始图像的像素长宽大小。本发明使用6个水平视角为90度的摄像机，分 辨率为720*480,重叠视角为30度。重叠度为三分之一，根据公式（5)计算出柱面投影的焦 距/与单幅投影角度〃。再根据公式（6)的像素映射关系，完成六幅图像的柱面投影。
[0039] 步骤5 :SIFT特征点的检测与匹配； SIFT算子是David G. Lowe于1999年提出的一种基于图像局部特征的描述子。SIFT 特征点对于图像的尺度和旋转保持不变性，对于光照和3D视角的变化也能保持一定的稳 定性，而且由于在立体和频域空间被很好的局部化，故而降低了噪声干扰的可能性。以下是 SIFT特征点检测与匹配的主要计算步骤。
[0040] 1)构建尺度空间： 构建尺度空间的目的是检测对于图像的尺度变化具有不变性的位置，可以使用尺度的 连续函数也就是尺度空间在所有可能的尺度中寻找稳定的特征。假设尺度空间内核是高斯 函数。因此，若为输入图像，是尺度可变高斯函数，则一个图像的尺度空间被 定义为函数，则有：
(7) 式中：霞为尺度因子；*为卷积运算。
[0041] 式（7)中的高斯函数定义为式（8):
(8) 使用高斯金字塔每组中相邻上下两层图像相减得到高斯差分图像，构造高斯差分尺度 空间：
2)尺度空间极值检测：为了检测袭_5:氣贫I:的局部极大值和极小值，每个采样点都要 和它同尺度的8个相邻点和上下相邻尺度对应的9X2个像素点相比较。只有当它比所 有相邻点都大或者都小的时候这个点才被选择。
[0042] 3)关键点的定位：剔除那些低对比度(对噪声很敏感）的点和处于边缘的点，对于 每个候选的关键点，确定他们的位置和尺度。
[0043] 4)确定关键点的方向：为每个关键点分配一个方向，以后所有对图像的数据的操 作都被转换为对特征点方向、尺度和位置的操作，从而保证了变化的不变性。
[0044] 5)生成特征点描述子：以关键点为圆心将关键点邻域进行旋转(调整至0° )，在 旋转后的图像中，以关键的中心取16X16的邻域窗口。将此邻域窗口均匀分为16个4 X4个子区域。采用高斯模糊的方法，计算每个区域中8个方向的梯度累加值。接着将特 征点描述子进行归一化处理，得到特征点描述子的特征向量，为4X4X8=128维向量。
[0045] 6)匹配关键点：采用关键点特征向量的欧式距离，作为两幅图像中关键点的相似 性判定度量。取左图像中的某个关键点，并找出其与右图像中欧式距离最近的前两个关键 点。在这两个关键点中，如果最近的距离除以第二近的距离少于某个比例阈值，则确定这一 对匹配点。阈值越大检测出的关键点越多，但错误匹配率也会增加。经多次实验确定，此阈 值取0. 4时，匹配准确度高且匹配点的数量足够计算拼接参数使用。
[0046] 针对本发明的六摄像机环视的全景生成装置及方法，考虑到特征点检测算法的耗 时问题，所以只对重叠区域所在那一半兴趣区域进行检测。必要时，可以将高分辨率的源图 像进行金字塔压缩，再进行SIFT特征点检测。
[0047] 步骤6 :计算重叠区域宽度r和平移参数々； 由步骤5得到两幅待拼接图像的匹配特征点坐标集合为尸与β采用平均值法计算两幅 图像中最佳匹配位置的坐标U : (10) 式中：，η表示集合P中点的个数。
[0048] 同理可求出在另一幅图的最佳匹配坐标戀
[0049] 假设两幅待拼接图像大小相同，且高度和长度都为仗r，接下来根据几何关系，计 算出重叠区域宽度r和上下平移参数々：
(11) 步骤7 :基于点匹配确定重叠区域的拼接算法； 传统拼接方式：由匹配的特征点计算平移参数，将两幅图像统一到同一坐标系下，进行 平移拼接，再对重合区域进行融合。
[0050] 本发明采用的是：基于点匹配确定融合区域的拼接算法，这种方法一次性完成融 合和拼接两个步骤，由最佳匹配点的坐标确定重叠区域，把待拼接的两幅图像分成A图与B 图不重叠的部分，和A、B图的重叠部分，融合后四个区域变成三个区域，也就同时完成了融 合和拼接两个步骤，实时性得到提高。具体操作见图11。
[0051] 步骤8 :图像融合算法； 为了解决因拍摄角度不同引起的曝光差异问题，必须要进行图像融合。针对步骤7计 算得到的重叠区域，采用渐入渐出的融合方法：
(12) 式中为重叠区域左边界，λ为重叠区域右边界，％为第一幅图像的宽度，聰:为第 二幅图像的宽度。尸仏於为拼接后_,处的像素值，为第一幅图像在,__处的像 素值，为第二幅图hJV像处的像素值。权函数为同时考虑了双边亮度差异。
[0052] 经过渐入渐出融合算法处理后，可以消除拼缝，得到过渡自然的拼接图像。
[0053] 步骤9 :循环处理与全景显示。
[0054] 两幅具有重叠区域的图像完成配准拼接和融合过后，作为待拼接图像之一，再与 下一幅图像进行配准拼接融合，当循环五次，即完成六幅图像的拼接后就可以形成一幅具 有360度视角的环状柱面全景视图，显示部分用简单的平面显示柱面全景图像方法，可以 在一个平面显示设备中将全景图像显示出来，用作全景监控。
[0055] 该实施例说明本发明方法具有良好的实用价值，能够构建高分辨率、自然的全景 视图，实时性得到了提高，克服了过去鱼眼全景摄像机监测距离短的不足，适用于大范围视 野的监控，减轻了监控人员的工作负担。
【主权项】
1. 一种基于六摄像机环视的柱面全景生成装置与方法，硬件包括6个鱼眼摄像机，正 六棱柱机壳，图像采集与传输装置，其特征在于 ： 所述6个鱼眼摄像机为焦距固定的模拟摄像机，水平视角为90度，分辨率为720*480， 视频制式为NTSC，视频接口为AV复合视频接口； 所述正六棱柱机壳，为棱长为l〇cm的正六棱柱结构，每个侧面的面心留有小孔，用于 放置摄像机，所述六个摄像机在所述机壳上等间距水平安放； 所述的图像采集与传输装置，能够同时采集6个摄像机的图像，通过多路图像采集卡 采集到计算机中进行图像处理。2. -种基于六摄像机环视的柱面全景生成装置与方法，其特征在于，主要过程是： 对采集到的同时刻的6幅图像进行畸变校正，得到6幅矫正图像；再对矫正图像进行柱 面投影，接着通过对投影后重叠区域的图像进行角点匹配、拼接、融合一系列图像处理，得 到所述的柱面全景图像。3. 根据权利要求2所述的基于六摄像机环视的柱面全景生成装置与方法，其特征在 于，步骤包括：摄像机标定、畸变校正、柱面投影、特征点检测与匹配、计算重叠区域大小、图 像拼接、图像融合、全景显示。4. 根据权利要求2所述的基于六摄像机环视的柱面全景生成装置与方法，其特征在 于，所述畸变校正模块利用了逆向除法模型，将校正和插值算法进行了融合统一，在保证相 同校正精度的情况下，减少了算法运行时间，提高了实时性；所述柱面投影模块对每一幅图 像进行了投影角度为90度的向后映射方式的柱面投影，计算重叠区域大小模块时采用平 均值法计算出最佳匹配位置的坐标，减小了匹配点的粗大误差和随机误差；图像拼接采用 基于特征点匹配确定融合区域的拼接算法，一次性完成融合和拼接，实时性得到提高。
【专利摘要】本发明提供了一种基于六摄像机环视的柱面全景生成装置及方法，包括：装置：正六棱柱机壳，六个摄像机水平向外放置在每个侧面的面心处；其中六个摄像机是具有90度水平视角的固定焦距的鱼眼摄像机。方法：包括同时采集六个摄像机的一幅图像，应用逆向除法模型对六幅图像进行畸变校正，对六幅校正后的图像进行柱面投影，采用SIFT特征点检测算法对具有重叠区域相邻图像进行特征点检测与匹配，通过最佳匹配点计算图像平移拼接参数以及对确定重叠区域大小，同时完成图像拼接和融合两个步骤，以及使用渐入渐出的融合方法使公共区域融平滑过渡，最终得到过渡自然的柱面全景图像。本发明能够较为高效得生成360度视野的自然全景图像，适合用于全景监控。
【IPC分类】G06T5/50, G06T7/00
【公开号】CN105488775
【申请号】CN201410524037
【发明人】徐刚, 林明秀, 任星凝, 许可
【申请人】东北大学
【公开日】2016年4月13日
【申请日】2014年10月9日
最新回复(0)