基于rgbd描述符的室内场景语义分割方法
基于rgbd描述符的室内场景语义分割方法
【技术领域】
[0001]本发明涉及图像处理方法技术领域，尤其涉及一种基于RGBD描述符的室内场景语 义分割方法。
【背景技术】
[0002] 图像分割作为一个计算机视觉领域的基础问题在物体识别、场景理解、机器人避 障等领域有着广泛的应用。大多数的场景标注研究集中在室外场景，2010年，Gupta等人将 场景解析为语义分割、深度顺序、几何估计和支撑关系组成三维图结构。室内场景标注是一 个富有挑战性和了解不充分的问题，相对于室外场景推断，室内场景往往因为室内环境的 杂乱性和复杂性而变得困难。
[0003] 随着RGB-D传感器推出，例如Microsoft Kinect，有很多新的研究已经开始展开， 它们利用3D信息解决在计算机视觉方面比较困难的问题。Kinect提供同步的颜色和深度信 息，提供了普通摄像机在三维投影过程中丢失的3D几何信息，并且包含的深度信息可作为 一个独立于室内环境照明条件的通道。由于深度图像像素点的信息具有空间定位性，因此 在应用中可以利用空间几何量来做分割处理，这样做会有更好的稳定性，这一思路也是最 近深度图像分割研究的一个主要方向。目前大多数的研究都侧重于物体识别而不是场景理 解。其中Silberman于2012年发表在ECCV上的文章不仅在区域级上解析了室内场景中的主 要平面和物体，还利用得到的平面信息对室内场景中物体的支撑关系进行了推断。但是它 在NYU RGBD数据集中仅能获得56.6 %的准确性，下一步研究方向是提高语义分割的准确 性。
[0004] 深度图像分割方法有近百种之多，主要可以归结3大类:基于边缘的方法;基于区 域的方法;边缘和区域相结合的方法。边缘法能够非常准确地定位区域边界，这种方法计算 速度快但是在实际应用中很容易受到噪声和遮挡等因素的影响，难以得到连续的区域边 界。区域分割的实质是将近邻的有相似特征的像素点归为一个区域，逐像素点归类后整个 数据集被划分为很多个小区域，然后再根据一定的判定条件对得到的小区域进行合并，最 后得到一个具有一致性的区域的集合。边缘法和区域法的结合先进行边缘提取，用其结果 确定区域的位置和数量，这种方法兼顾了速度和分割的准确性。
【发明内容】
[0005] 本发明所要解决的技术问题是提供一种基于RGBD描述符的室内场景语义分割方 法，所述方法能够对室内物体进行有效的语义标注。
[0006] 为解决上述技术问题，本发明所采取的技术方案是：一种基于RGBD描述符的室内 场景语义分割方法，其特征在于包括如下步骤：
[0007] 利用Kinect获得具有深度彳目息的室内场景图；
[0008] 利用图像的局部信息形成一个局部边界检测算子，再将其与多尺度信息结合并进 行谱聚类形成带有全局信息的边界检测算子，利用边界全局检测算子对图像处理得到轮廓 图，在此基础上进行分水岭分割和超度量映射得到最后的分层分割图，利用边界全局分割 算法bgs分别对RGB图和深度图进行分层分割得到bgs_rgb和bgs_d;
[0009]将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图；
[0010]利用得到的分层分割结果图和RGBD图确定室内的重力方向，获得与重力方向有关 的位姿特征；
[0011] 提取RGBD描述符；
[0012]用有效匹配算法对得到的RGBD描述符进行处理得到相应的低维空间的向量表达， 再将它们与位姿特征串联得到特征集；
[0013] 采用SVM分类器进行分类得到语义分割结果。
[0014] 采用上述技术方案所产生的有益效果在于:本发明利用RGBD图像的深度信息，通 过重力方向的确定和描述符的提取获得大量有效的图像特征，描述符在捕获表观和形状相 似性方面非常有效，得到的室内物品的语义分割结果准确率较高，可为室内物体识别和室 内监控等方面提供一种有效的方法。
【附图说明】
[0015] 下面结合附图和【具体实施方式】对本发明作进一步详细的说明。
[0016] 图1为基于RGB-D描述符的室内场景语义分割方法的基本流程图；
[0017] 图2为本发明中边界全局分割方法bgs的流程图；
[0018] 图3为本发明中获取与重力方向有关的方向特征的示意图；
[0019] 图4为本发明中获取与重力方向有关的面积特征的示意图；
[0020] 图5为本发明中局部二值模式描述符中局部二值列向量的确定方法示例图。
【具体实施方式】
[0021] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它 实施例，都属于本发明保护的范围。
[0022] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以 采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的 情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0023] 本发明公开了一种基于RGB-D描述符的室内场景语义分割方法，所述方法能够广 泛地应用于图像轮廓检测与分割，室内场景理解等领域。
[0024] 图1示出了该室内场景语义分割方法的基本流程图。如图1所示，所述方法包括如 下步骤：
[0025] 步骤1.使用Kinect获取RGBD图像，获得图像的深度信息。由Kinect获取的RGBD图 像，深度信息和颜色信息是同步的，便于利用和分析。
[0026]步骤2.bgs分割算法，现将该算法做一个简单介绍，算法流程图如图2所示，首先利 用图像的局部亮度、颜色、纹理信息形成一个局部边界检测算子Lb(x，y，0)，预测在像素(X， y)处带有方向Θ的边界后验概率。对于图像中的像素(x，y)，以该位置为圆心画一半径为r的 圆，并将它在Θ方向沿直径方向分为两半。对于每个半圆盘，计算像素灰度值的直方图，将半 圆盘之间的X2距离作为梯度幅值输出，用g和h表示两个半圆盘：
[0027]
[0028] 如果两个半圆盘之间差异较大，意味着图片在圆盘直径方向的不连续性。即如果 X2距离取值较大那么这个像素很有可能位于两个独立区域的边界上。Lb检测算子是4个独 立特征通道的梯度信息的结合，前3个特征通道对应于CIELab颜色空间，即亮度，颜色a，颜 色b通道，对于灰度图只有亮度通道。第4个特征通道是纹理通道。
[0029] 在Lb算子的基础上对结合多尺度信息形成mLb算子，为了检测到粗糙构的边界，对 每个通道考虑3个尺寸σ, 2 σ"|,σ是圆盘半径(单位是像素个数），对于亮度通道，使用σ L2 」. =5,对于颜色通道与纹理通道使用〇=10。线性结合这些局部信息作为一个多尺度方向信 号：
[0030] s ι
[0031] 其中s表示尺寸，i表示特征，6^。(^：|(1，7，0)衡量了位于圆心(^，7)处半径为〇(；[， s)的被Θ方向的直径分开的两个半圆盘的直方图差异。参数ai, s权衡每个方向信号的相对分 布，由
的梯度方向确定。对每个像素取不同方向间的最大
响应作为仂思础磨佶.
[0032]
[0033]如图2所示将mLb算子进行谱聚类能得到带有全局信息的边界检测算子。关键在于 谱聚类，构造一个稀疏对称矩阵W:
[0034]
[0035] 其中??是连接i与j的直线段，P是一个常数，设置P = 0.1，连接所有在一个固定半 径大小r圆内的像素。为了引入全局信息，定义Dii= Σ jWij并求解方程(D-W)v = ADv的n+1个 最小特征值〇 = λ〇 < λχ< λη对应的特征向量{νο,νχ，…，vn}，每个特征向量本身就带有轮 廓信息，将每个特征向量Vk当作一幅图，与多个方向的高斯导数滤波器做卷积得到方向信 号将不同特征向量得到的信息结合在一起形成sLb算子：
[0036]
[0037] mLb算子和sLb算子代表了不同的信息，前者针对的是所有的边界而后者只提取图 像中最凸出的曲线，将两者结合起来得到最后的bgs算子：
[0038]
[0039] 其中队3和γ是F-measure的梯度下降方向得到的权重。
[0040] 由上述得到的bgs算子产生的轮廓图往往不是闭合的，也就不能将图像分割为区 域，需要进一步进行处理。在得到的轮廓图的基础上利用带方向的分水岭分割方法产生一 组初始化区域，然后从这些初始化区域的边界构建一个超度量图(UCM)，最后得到一个分层 分割图。
[0041] 步骤3.分别在RGB和D图像应用边界全局分割算法，再将两者的分割结果线性结合 起来作为最后的RGBD分层分割图。
[0042]在RGB图上执行边界全局算法(bgs)得到bgs_rgb，对深度图完成相同的操作得到 bgs_d，最后通过式子结合起来：
[0043] bgs_rgbd= (1-α) · bgs_rgb+a · bgs_d
[0044] 其中a是权重，在实验中取a = 0.25,尽管这种线性结合是简单而粗糙的，将得到的 bgs_rgbd分层分割图用于分类得到的语义标注结果与单独使用bgs_rgb完成分类后的结果 进行比较，发现线性结合后分类效果得到提升。
[0045]步骤4.确定房间的重力方向，并得到与重力方向有关的特征。重力方向揭露出真 实场景的很多结构，地板和其它支撑表面总是水平的，墙面往往是垂直的。因此重力方向的 确定对房间的空间坐标的确立有很大帮助。通过一个简单的迭代算法对重力方向进行估 计，首先初始化重力方向然后通过下面的步骤迭代修正估计的方向：
[0046] S21:初始重力方向垂直向下，计算两个集合：
[0047] N|| = {n: 9(n，gi-1) <d or9(n，gi-1) > 180。-d}
[0048] N丄={n:90。_d<9(n，gi-1) <90。+d}
[0049] 其中d是阈值，n是由bgs_rgbd得到的分层分割图中的超像素块的表面法向量，作 为可能满足条件的候选向量，Θ (n，gi-i)表示向量η与gi-i之间的夹角，Νιι包含地板和桌面等 水平面的点的法线，是由那些与夹角小于阈值d或者大于180°-d的向量组成的集合，N丄 包含墙面点的法线，是由那些与夹角介于90°-d与90°+d之间的向量组成的集合
[0050] S22:寻找一个新的重力方向gi让其尽可能对齐Nil中的法线而与N丄中的法线垂直， 也就意味着让gi与Nil的夹角尽可能的小即8丨11 2(9(114〇)的值小。而81与1的夹角尽可能的 大，即C〇S 2(0(n，gl))的取值小。那么问题转化为求解满足下面式子的最优解：
[0051]
[0052] 解决这个优化问题可将问题简化为求解矩阵iVi/Vf - iV丨丨的最小特征值所对 应的特征向量问题。
[0053] S23:重复上述两个步骤，迭代5次或前后两次重力方向误差较小时算法结束，在实 验中取d = 45°。
[0054]重力方向确定后，可以获得与重力方向有关的位姿特征。这些特征是以步骤3中 bgs算法过分割产生的分层分割图的超像素为研究对象。位姿特征获取超像素与重力方向 有关的方向和面积特征。如图3所示，将超像素的表面法向量与重力方向形成的夹角Θ g作为 方向特征。如图4所示，将超像素投影到与重力方向垂直的平面和与重力方向平行的平面， 计算得到投影面积，记垂直平面的投影面积是S v平行平面的投影面积是Sh。
[0055]步骤5.提取RGBD描述符，低层特征的设计对于计算机视觉算法是关键的，如SIFT 和HOG的方向直方图是在场景识别方面应用较广泛的特征。RGBD描述符是一组特征描述符， 提供统一和基本的框架，能够将像素属性(梯度、颜色、局部二值模式等)转变为紧凑的块水 平特征，描述符容易设计并且结果显示它们的效果好于SIFT等复杂特征。
[0056]对于使用的5个RGBD描述符:深度梯度(GD)，颜色(C)，局部二值模式(L)，梯度(G)， 核主成分分析(KPCA)。对于描述符的提取均在常规的网格中完成，以两个像素为步幅，其中 深度梯度，颜色，局部二值模式以及梯度描述符使用大小为16 X 16的块采样，对于核主成分 分析描述符使用大小为40X40的块采样。以深度梯度描述符为例，首先将深度图视为灰度 图并在每个像素点处计算梯度。深度梯度描述符D grad由像素梯度相似性函数k。构建得到
[0057]
peP qEQ
[0058] 其中P和Q是图片中的两个·不司的块，立于块构的像素，明象義^深度图中的方向 和幅值。《^和％是像素z处的深度梯度归一化的幅度和方向，
其中4是一个小的正数保证分母部分大于〇
，方向因子
)计算方向梯度的相似性，位置因子ds(p，q) = exp (-Ysllp-qll2)用来衡量两个像素空间位置的接近度。分析梯度描述符可知它由三部分组成： 归一化线性因子，使用每个像素的梯度幅值衡量像素的属性;方向因子d。计算梯度方向间 的相似度;位置高斯因子ds权衡像素的空间分布。可以看出，D grad将输入的像素属性转化为 块水平特征。
[0059] 采用与梯度描述符相似的方式构建颜色描述符：
[0060]
[0061]其中c(p)是像素p的颜色值(对于灰度图是亮度值对于彩色图是RGB值hcUdp)， (^))=〇邱(-丫。||(^)-(^)||2)衡量两个像素颜色上的相似度，(18(?，(1)的含义与梯度描述 符表达式中的含义一致用以描述像素空间位置的接近程度。梯度描述符可以捕捉到图像变 化，颜色核能够描述图像表观，而局部二值模式能有效地表示局部形状：
[0062
[0063]其Μ
,，81)是像素？的3\3领域内值的标准方差，￡ 1如是 一个小的正数保证分母部分的取值大于0,归一化线性核$$.对每个局部二值模式进行了 加权;bP是一个二值列向量，它二值化像素p周围的局部窗口的像素值差异，如图5给出了一 个实例，其中155、163、168、171以及187(可以用红色表示）的像素强度大于中央139(可以用 黑色表示）的像素强度，124、130、135(可以用蓝色表示）的像素强度小于中央139的像素强 度值;4(%，13 (1) = ^?(-〇||13[)-13(1||2)是一个高斯核用以衡量局部二值模式之间的相似性； 位置因子(1办^)=^?(-丫洳111 2)用来衡量两个像素空间位置的接近度。观察颜色，梯度 和局部二值模式核的构建可以发现它们的形式十分相似，表达式中都有一个位置因子用于 描述像素在空间位置上的相似度，一个高斯核用以描述像素间在该属性上的相似度，一个 归一化线性因子用于加权。依据这种模式，不难得出关于梯度描述符的表达式：
[0064]
[0065] 可以看出梯度描述符和深度梯度描述符在本质上是一致的，不过处理的对象不 同，深度梯度处理的是深度图，而梯度图处理的是RGB灰度化后的图。
[0066] 3D形状特征是一个在物体识别方面比较稳定有效的特征，这个特征同样可以用于 图像的语义标注问题。采用核主成分分析特征捕获物体的3D形状，下面就核主成分分析进 行详细阐述：
[0067] 核主成分分析是在主成分分析方法的基础上完成核的构建，在此处就不再详细介 绍主成分分析方法，首先得到3D点云P并得到协方差矩阵D P，计算协方差矩阵的特征值，然 后由大到小排列取前L个特征值，通过式子得到核主成分特征Ag,…，Α? :
[0068]
[0069]其中V1 是特征向量，L是KPCA的维数，Dp[s，t] = exp(- γ klls-tll2)，Ρ是3D点云，γ k> 0 并且 s，tep。
[0070] 关于RGBD描述符，其中深度梯度，颜色，局部二值模式以及梯度描述符使用大小为 16X16的块采样，对于核主成分分析描述符使用大小为40X40的块采样，然后在每个超像 素块上进行平均，即最后这5个特征都是作为超像素的属性。
[0071] 步骤6.联合步骤2和步骤3所得特征作为总的特征集。将步骤2中得到的与重力方 向有关的位姿特征与RGBD描述符串联在一起作为特征。位姿特征与RGBD描述符都是针对超 像素的特征。但是由于超像素的大小差异较大，最后提取到的RGBD描述符的个数也各不相 同（例如有些超像素不存在颜色的变化那么就会缺少颜色梯度描述 符），为了保证每个超像 素最后得到的特征数是一致的，采用类似Bag of words(BOW)的方法让每个特征都用一组 向量表示。采用的方法类似B0W但与B0W存在差异，称这种方法为有效匹配算法，该方法可以 将局部特征映射到一个低维特征空间并且通过平均得到的特征向量形成一个集合水平特 征。
[0072]知道实施B0W算法之后每个特征最后得到的结果是一个直方图，可用向量形式表 达，向量的长度是由单词表的数目决定的。同样的，通过有效匹配算法每个特征最后也有一 个相应的向量表达形式。下面就有效匹配进行说明：
[0073] 假定一幅图片有一组局部特征Χ={χι，···，xP}，有字典V= {νι，···，νΜ}。在B0W中每个局 部特征都可被量化为一个K维的二值向i
其中I · I表示集合的数量。
[0074]
[0075] 其中
，当使用一个线性分类器时 得到的函数表达式为：
[0(??
[0077] 其M
(x，y)用于描述特征X与y之间的相似性，如 果它们在同一个区域则为1否则为〇,显然这种相似度的衡量方式是粗糙的。为了更好地提 高分类准确性，打算用一个连续函数k(x，y)替代离散函数S(x，y)得到新的表达式：
[0078]
[0079] 为了避免混淆，将此处的d(x，y)称为局部因子。d(x，y)可表示为d(x，y) = Φ (χ)τ Φ(7)，由式子可知如果特征映射关系Φ( ·)是有限维的那么得到的d(x，y)局部核也是有 限维的。DS(X，Y)的表达式可进一步表示为：
[0080]
[0081 ]其中#00 = 是在一组向量上的特征映射。Ds(X，Y)即为有效匹 |Λ| 配，通过上面的分析可知有效匹配的关键在于局部因子d(x，y)即Φ (X)的表示形式的确定。 下面给出一种Φ (X)的构建方式：
[0082] 假定一个已知的函数(1(1，7)=扒1)>(7)，要将它投影到低维空间，并用一组基向 量表示。那么问题转化为给出一组基向量〔0(zD τ，要求用基向量表示特征向量Φ(X):
[0083] - 一. -- -
[0084] 其中!1=[!1)(21)，一，扒^1)]与1^都是投影得到的低维系数，上面的优化问题其实 是一个凸二次规划问题：
[0085]
[0086]由下向的式子得到局部因子cUUd):
[0087]
[0088] 其中dz是一个MX 1维向量，向量取值由式子{dz}i = d(x，Zi)确定，即将X与Zi带入给 定的函数(^，7)=1]^)1^(7)中计算得到(12;〇22是一个1\]/[的矩阵，矩阵元素值由{022}" = (1 (Z"ZJ)确定;使用6? = 1)?来表示1)?，得到Φ (X):
[0089] Φ (x) =Gdz(x)
[0090] 特征映臬
匕时得到的类似于BOW中单词表的 确定，有效匹配算法能够将每个局部特征表示成一个Μ维的向量，其中Μ是由基向量的维数。 此处Μ扮演的角色类似于B0W中经过K-means聚类算法得到的单词表的数量。基向量实际上 是由KPCA算法得到的，首先对一幅图像提取SIFT特征，然后随机选取F个SIFT特征，对这F个 特征上完成PCA操作，选取由大到小排列的前Μ个特征值所对应的特征向量作为基向量。在 实验中选取F= 10000，Μ=50。
[0091] 对整个有效匹配算法进行简单地归纳：（1)提取图像的SIFT特征；（2)利用KPCA得 到一组含Μ个向量的基向量；（3)将给出的函数d(x，y)投影到低维空间并用一组基向量表示 特征向量1Kx)，最终得到特征映身
]，.即得到的特征为一个Μ维 的特征向量。
[0092]将有效匹配算法运用到本发明的RGBD描述符中，假定有效匹配算法中基向量Μ = 200,那么每个RGBD描述符最终表示是一个50维的特征向量。5个RGBD描述符总共的特征向 量长度为250，再与位姿特征串联在一起，最后得到的特征向量长度为253。
[0093]步骤7.采用SVM分类器对步骤6得到的分割图进行分类，完成语义标注。
[0094]采用一对多的方式训练基于位姿特征和RGBD描述符特征的SVM分类器，一对多方 式就是训练时依次把某个类别的样本归为一类，其它剩余的样本归为另一类，这样k个类别 的样本就构造出了 k个SVM。分类时将未知样本分类为具有最大分类函数值的那类。选取 RGBD数据库NYUD2中图片（实验采用1000张作为训练集，500张作为测试集)作为实验材料， 结果表明基于上述特征得到的训练器的准确率比较高，能够有效地将室内场景物体分为13 个类别。
【主权项】
1. 一种基于RGK)描述符的室内场景语义分割方法，其特征在于包括如下步骤： 利用Kinect获得具有深度信息的室内场景图； 利用图像的局部信息形成一个局部边界检测算子，再将其与多尺度信息结合并进行谱 聚类形成带有全局信息的边界检测算子，利用边界全局检测算子对图像处理得到轮廓图， 在此基础上进行分水岭分割和超度量映射得到最后的分层分割图，利用边界全局分割算法 bgs分别对RGB图和深度图进行分层分割得到bgs_rgb和bgs_d; 将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图； 利用得到的分层分割结果图和RGBD图确定室内的重力方向，获得与重力方向有关的位 姿特征； 提取RGK)描述符； 用有效匹配算法对得到的RGBD描述符进行处理得到相应的低维空间的向量表达，再将 它们与位姿特征串联得到特征集； 采用SVM分类器进行分类得到语义分割结果。2. 如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 边界全局分割算法bgs具体如下： 首先利用室内场景图像的局部亮度、颜色、纹理信息形成一个局部边界检测算子Lb(x， y)，预测在像素(x，y)处带有方向θ的边界后验概率;对于图像中的像素(x，y)，以该位置为 圆心画一半径为r的圆，并将它在Θ方向沿直径方向分为两半，对于每个半圆盘，计算像素灰 度值的直方图，将半圆盘之间的X 2距离作为梯度幅值输出，用g和h表示两个半圆盘：Lb检测算子是4个独立特征通道的梯度信息的结合，前3个特征通道对应于CIE Lab颜 色空间，即亮度，颜色a，颜色b通道，对于灰度图只有亮度通道，第4个特征通道是纹理通道； 在Lb算子的基础上对结合多尺度信息形成mLb算子，对每个通道考虑3个尺寸σ是圆盘半径，单位是像素个数，对于亮度通道，使用σ = 5,对于颜色通道与纹 理通道使用σ = 10,线性结合这些局部信息作为一个多尺度方向信号：其中8表示尺寸，;[表示特征，6^。^,!〇(1，7,9)衡量了位于圆心(1，7)处，半径为〇(;[，8)的 被Θ方向的直径分开的两个半圆盘的直方图差异;参数CU, s权衡每个方向信号的相对分布， 由的梯度方向确定;对每个像素取不同方向间的最大响应 作为边界强度值：将mLb算子进行谱聚类能得到带有全局信息的边界检测算子，关键在于谱聚类，构造一 个稀疏对称矩阵w:其中切是连接i与j的直线段，P是一个常数，设置P = O. I，连接所有在一个固定半径大 小r圆内的像素;为了引入全局信息，定义Dii= SjWij并求解方程(D-w)v = A Dv的n+l个最小 特征值〇 = λ〇 < A1< λη对应的特征向量{νο,νχ，…，Vn}，每个特征向量本身就带有轮廓信 息，将每个特征向量Vk当作一幅图，与多个方向的高斯导数滤波器做卷积得到方向信号将不同特征向量得到的信息结合在一起形成sLb算子：mLb算子和sLb算子代表了不同的信息，前者针对的是所有的边界，而后者只提取图像 中最凸出的曲线，将两者结合起来得到最后的bgs算子：其中&,5和γ是F-measure的梯度下降方向得到的权重， 在得到的轮廓图的基础上利用带方向的分水岭分割方法产生一组初始化区域，然后从 这些初始化区域的边界构建一个超度量图UCM，最后得到一个分层分割图。3. 如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图的方法如下： 在RGB图上执行边界全局算法bgs得到bgs_rgb，对深度图完成相同的操作得到bgs_d， 最 后通过如下公式结合起来： bgs_rgbd= (1-α) · bgs_rgb+a · bgs_d 其中，a是权重，取a = 〇.25。4. 如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 确定室内的重力方向，获得与重力方向有关的位姿特征的方法如下： 首先初始化重力方向然后通过下面的步骤迭代修正估计的方向： S21:初始重力方向垂直向下，计算两个集合： N| I = {n: 9(n，gi-I) <d or9(n，gi-1) >180。-d} N丄={n:90°-d<9(n，gi-i)<90°+d} 其中d是阈值，n是由bgs_rgbd得到的分层分割图中的超像素块的表面法向量，作为可 能满足条件的候选向量，Θ (n，gi-i)表示向量η与gi-i之间的夹角，N| I包含地板和桌面水平面 的点的法线，是由与gi-i夹角小于阈值d或者大于180° -d的向量组成的集合，N_l包含墙面点 的法线，是由与gi-i夹角介于90° -d与90° +d之间的向量组成的集合； S22:寻找一个新的重力方向gdt其尽可能对齐N| I中的法线而与N丄中的法线垂直，也就 意味着让gi与N| I的夹角尽可能的小，即8丨112(9(114〇)的值尽可能的小；而81与1^的夹角尽 可能的大，即c 〇s2(0(n，gl))的取值小;那么问题转化为求解满足下面式子的最优解：简化为求解矩阵的最小特征值所对应的特征向量问题； S23:重复上述两个步骤，迭代5次或前后两次重力方向误差较小时算法结束，取d = 45。； 重力方向确定后，可以获得与重力方向有关的位姿特征，位姿特征获取超像素与重力 方向有关的方向和面积特征;将超像素的表面法向量与重力方向形成的夹角Gg作为方向特 征，将超像素投影到与重力方向垂直的平面和与重力方向平行的平面，计算得到投影面积， 记垂直平面的投影面积是S v平行平面的投影面积是Sh。5.如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 提取RGBD描述符的方法如下： 使用5个RGBD描述符:深度梯度⑶，颜色C，局部二值模式L，梯度G，核主成分分析KPCA; 对于描述符的提取均在常规的网格中完成，以两个像素为步幅，其中深度梯度GD，颜色C，局 部二值模式L以及梯度G描述符使用大小为16X16的块采样，对于核主成分分析描述符使用 大小为40 X 40的块采样；以深度梯度GD描述符为例，首先将深度图视为灰度图并在每个像 素点处计算梯度，深度梯度描述符GDgrad由像素梯度相似性函数k。构建得到I 其中P和图片中的两个不同的块，pep是一^立于;t并内的像素，明如是像素成深度图中的方向和 幅值;％:和6:是像素z处的深度梯度归一化的幅度和方向；（其中￡8是一个小 的正数，保证分母部分大于0，'方向因子g丨丨2：)计算方向梯度的相似性，位置因子I用来衡量两 个像素空间位置的接近度;分析梯度描述符可知它由三部分组成:归一化线性核，使用每个 像素的梯度幅值衡量像素的属性;方向因子d。计算梯度方向间的相似度;位置高斯因子ds权 衡像素的空间分布，GD grad将输入的像素属性转化为块水平特征； 采用与梯度描述符相似的方式构建颜色描述符：I. 其中C(P)是像素P的颜色值，对于灰度图是亮度值对于彩色图是RGB值;cUc(p)，C(q)) =6邱(-丫。| |c(p)-c(q)| I2)衡量两个像素颜色上的相似度，ds(p，q)的含义与梯度描述符 表达式中的含义一致用以描述像素空间位置的接近程度，梯度描述符可以捕捉到图像变 化，颜色因子能够描述图像表观，而局部二值模式能有效地表示局部形状：其中sp是像素P的3 X3邻域内值的标准方差，eibp是一个 小的正数保证分母部分的取值大于0,归一化线性核对每个局部二值模式进行了加权； b P是一个二值列向量，它二值化像素p周围的局部窗口的像素值差异；是一个高斯核用以衡量局部二值模式之间的相 似性;位置因子ds(p，q)=eXp(-Ys| |p_q| I2)用来衡量两个像素空间位置的接近度;梯度描 述符的表达式：可以看出梯度描述符和深度梯度描述符在本质上是一致的，不过处理的对象不同，深 度梯度处理的是深度图，而梯度图处理的是RGB灰度化后的图； 核主成分分析是在主成分分析方法的基础上完成核的构建，首先得到3D点云P并得到 协方差矩阵Dp，计算协方差矩阵的特征值，然后由大到小排列取前L个特征值，通过式子得 到核主成分特征其中V1是特征向量，L是KPCA的维数，Dp[s，t] = exp( - γ k I I s-t I 12)，P是3D点云，γ k>0 并且s，tep; 关于RGBD描述符，其中深度梯度，颜色，局部二值模式以及梯度描述符使用大小为16 X 16的块采样，对于核主成分分析描述符使用大小为40X40的块采样，然后在每个超像素块 上进行平均，即最后这5个特征都是作为超像素的属性。6.如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 有效匹配描述符方法如下： 假定一幅图片有一组局部特征X= {xi，…，xP}，有字典V= Iv1，…，w}，在BOW中每个局部 特征都可被量化为一个M维的二值向量μ ( X ) = [ μ I ( X )，…，μ μ ( X ) ] T，，.其中I · I表示集合的数量；其中当使用一个线性分类器时得到 的函数表达式为：其中用于描述特征X与y之间的相似性，如果它 们在同一个区域则为1，否则为0,用一个连续函数d(x，y)替代离散函数δ(χ，3〇得到新的表 达式：将此处的d(x，y)称为局部因子，d(x，y)可表示为d(x，y)= Φ (χ)τΦ (y)，由上式可知，如 果特征映射关系Φ( ·)是有限维的，那么得到的d(x，y)局部因子也是有限维的，DS(X，Y)的 表达式可进一步表示为：其41是在一组向量上的特征映射，DS(X，Y)即为有效匹配因子， 通过上面的分析可知有效匹配的关键在于局部因子d(x，y)即Φ (X)的表示形式的确定，下 面给出一种Φ (X)的构建方式： 假定一个已知的函数(1(Χ，7)=Φ(Χ)ΤΦ( 7)，要将它投影到低维空间，并用一组基向量表 示，那么问题转化为给出一组基向量要求用基向量表示特征向量Φ(χ):其中与及^都是投影得到的低维系数，上面的优化问题其实是一 个凸二次规划问题：由下面的式子得到局部因子cU(X，y):其中dz是一个MX 1维向量，向量取值由式子{(1山=(^，2：1)确定，即将1与2：1带入给定的 函数(^，7)=1]^)1^(7)中计算得到(12;〇22是一个1\]/[的矩阵，矩阵元素值由{〇22}^ = (1(2：1， Zj)确定;使用来表示，得到Φ(χ): Φ (X) =Gdz(X) 特征映射此时得到的类似于BOW中单词表的确定， 有效匹配算法能够将每个局部特征表示成一个M维的向量，其中M是基向量的维数。7.如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 采用SVM分类器进行分类得到语义分割结果的方法如下： 采用一对多的方式训练基于位姿特征和RGBD描述符特征的SVM分类器，一对多方式就 是训练时依次把某个类别的样本归为一类，其它剩余的样本归为另一类，这样k个类别的样 本就构造出了 k个SVM，分类时将未知样本分类为具有最大分类函数值的那类。
【专利摘要】本发明公开了一种基于RGB-D描述符的室内场景语义分割方法。涉及图像处理方法技术领域。该方法包括：利用Kinect获取具有深度信息的室内图像；利用边界全局分割算法bgs分别对RGB图和深度图进行分层分割；将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图；利用得到的分层分割图和RGBD图确定房间的重力方向，获得与重力方向有关的位姿特征；提取RGBD描述符；将得到的位姿特征与RGBD描述符串联得到特征集；选用线性支撑矢量机SVM作为分类器作用于特征集产生语义分割结果。通过所述方法得到的室内物品的语义分割结果准确率较高，可为室内物体识别和室内监控等方面提供一种有效的方法。
【IPC分类】G06T7/00
【公开号】CN105488809
【申请号】CN201610023292
【发明人】程建, 邹瑞雪, 王峰, 刘海军, 刘瑞
【申请人】电子科技大学
【公开日】2016年4月13日
【申请日】2016年1月14日
【技术领域】
[0001]本发明涉及图像处理方法技术领域，尤其涉及一种基于RGBD描述符的室内场景语 义分割方法。
【背景技术】
[0002] 图像分割作为一个计算机视觉领域的基础问题在物体识别、场景理解、机器人避 障等领域有着广泛的应用。大多数的场景标注研究集中在室外场景，2010年，Gupta等人将 场景解析为语义分割、深度顺序、几何估计和支撑关系组成三维图结构。室内场景标注是一 个富有挑战性和了解不充分的问题，相对于室外场景推断，室内场景往往因为室内环境的 杂乱性和复杂性而变得困难。
[0003] 随着RGB-D传感器推出，例如Microsoft Kinect，有很多新的研究已经开始展开， 它们利用3D信息解决在计算机视觉方面比较困难的问题。Kinect提供同步的颜色和深度信 息，提供了普通摄像机在三维投影过程中丢失的3D几何信息，并且包含的深度信息可作为 一个独立于室内环境照明条件的通道。由于深度图像像素点的信息具有空间定位性，因此 在应用中可以利用空间几何量来做分割处理，这样做会有更好的稳定性，这一思路也是最 近深度图像分割研究的一个主要方向。目前大多数的研究都侧重于物体识别而不是场景理 解。其中Silberman于2012年发表在ECCV上的文章不仅在区域级上解析了室内场景中的主 要平面和物体，还利用得到的平面信息对室内场景中物体的支撑关系进行了推断。但是它 在NYU RGBD数据集中仅能获得56.6 %的准确性，下一步研究方向是提高语义分割的准确 性。
[0004] 深度图像分割方法有近百种之多，主要可以归结3大类:基于边缘的方法;基于区 域的方法;边缘和区域相结合的方法。边缘法能够非常准确地定位区域边界，这种方法计算 速度快但是在实际应用中很容易受到噪声和遮挡等因素的影响，难以得到连续的区域边 界。区域分割的实质是将近邻的有相似特征的像素点归为一个区域，逐像素点归类后整个 数据集被划分为很多个小区域，然后再根据一定的判定条件对得到的小区域进行合并，最 后得到一个具有一致性的区域的集合。边缘法和区域法的结合先进行边缘提取，用其结果 确定区域的位置和数量，这种方法兼顾了速度和分割的准确性。
【发明内容】
[0005] 本发明所要解决的技术问题是提供一种基于RGBD描述符的室内场景语义分割方 法，所述方法能够对室内物体进行有效的语义标注。
[0006] 为解决上述技术问题，本发明所采取的技术方案是：一种基于RGBD描述符的室内 场景语义分割方法，其特征在于包括如下步骤：
[0007] 利用Kinect获得具有深度彳目息的室内场景图；
[0008] 利用图像的局部信息形成一个局部边界检测算子，再将其与多尺度信息结合并进 行谱聚类形成带有全局信息的边界检测算子，利用边界全局检测算子对图像处理得到轮廓 图，在此基础上进行分水岭分割和超度量映射得到最后的分层分割图，利用边界全局分割 算法bgs分别对RGB图和深度图进行分层分割得到bgs_rgb和bgs_d;
[0009]将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图；
[0010]利用得到的分层分割结果图和RGBD图确定室内的重力方向，获得与重力方向有关 的位姿特征；
[0011] 提取RGBD描述符；
[0012]用有效匹配算法对得到的RGBD描述符进行处理得到相应的低维空间的向量表达， 再将它们与位姿特征串联得到特征集；
[0013] 采用SVM分类器进行分类得到语义分割结果。
[0014] 采用上述技术方案所产生的有益效果在于:本发明利用RGBD图像的深度信息，通 过重力方向的确定和描述符的提取获得大量有效的图像特征，描述符在捕获表观和形状相 似性方面非常有效，得到的室内物品的语义分割结果准确率较高，可为室内物体识别和室 内监控等方面提供一种有效的方法。
【附图说明】
[0015] 下面结合附图和【具体实施方式】对本发明作进一步详细的说明。
[0016] 图1为基于RGB-D描述符的室内场景语义分割方法的基本流程图；
[0017] 图2为本发明中边界全局分割方法bgs的流程图；
[0018] 图3为本发明中获取与重力方向有关的方向特征的示意图；
[0019] 图4为本发明中获取与重力方向有关的面积特征的示意图；
[0020] 图5为本发明中局部二值模式描述符中局部二值列向量的确定方法示例图。
【具体实施方式】
[0021] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它 实施例，都属于本发明保护的范围。
[0022] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以 采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的 情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0023] 本发明公开了一种基于RGB-D描述符的室内场景语义分割方法，所述方法能够广 泛地应用于图像轮廓检测与分割，室内场景理解等领域。
[0024] 图1示出了该室内场景语义分割方法的基本流程图。如图1所示，所述方法包括如 下步骤：
[0025] 步骤1.使用Kinect获取RGBD图像，获得图像的深度信息。由Kinect获取的RGBD图 像，深度信息和颜色信息是同步的，便于利用和分析。
[0026]步骤2.bgs分割算法，现将该算法做一个简单介绍，算法流程图如图2所示，首先利 用图像的局部亮度、颜色、纹理信息形成一个局部边界检测算子Lb(x，y，0)，预测在像素(X， y)处带有方向Θ的边界后验概率。对于图像中的像素(x，y)，以该位置为圆心画一半径为r的 圆，并将它在Θ方向沿直径方向分为两半。对于每个半圆盘，计算像素灰度值的直方图，将半 圆盘之间的X2距离作为梯度幅值输出，用g和h表示两个半圆盘：
[0027]
[0028] 如果两个半圆盘之间差异较大，意味着图片在圆盘直径方向的不连续性。即如果 X2距离取值较大那么这个像素很有可能位于两个独立区域的边界上。Lb检测算子是4个独 立特征通道的梯度信息的结合，前3个特征通道对应于CIELab颜色空间，即亮度，颜色a，颜 色b通道，对于灰度图只有亮度通道。第4个特征通道是纹理通道。
[0029] 在Lb算子的基础上对结合多尺度信息形成mLb算子，为了检测到粗糙构的边界，对 每个通道考虑3个尺寸σ, 2 σ"|,σ是圆盘半径(单位是像素个数），对于亮度通道，使用σ L2 」. =5,对于颜色通道与纹理通道使用〇=10。线性结合这些局部信息作为一个多尺度方向信 号：
[0030] s ι
[0031] 其中s表示尺寸，i表示特征，6^。(^：|(1，7，0)衡量了位于圆心(^，7)处半径为〇(；[， s)的被Θ方向的直径分开的两个半圆盘的直方图差异。参数ai, s权衡每个方向信号的相对分 布，由
的梯度方向确定。对每个像素取不同方向间的最大
响应作为仂思础磨佶.
[0032]
[0033]如图2所示将mLb算子进行谱聚类能得到带有全局信息的边界检测算子。关键在于 谱聚类，构造一个稀疏对称矩阵W:
[0034]
[0035] 其中??是连接i与j的直线段，P是一个常数，设置P = 0.1，连接所有在一个固定半 径大小r圆内的像素。为了引入全局信息，定义Dii= Σ jWij并求解方程(D-W)v = ADv的n+1个 最小特征值〇 = λ〇 < λχ< λη对应的特征向量{νο,νχ，…，vn}，每个特征向量本身就带有轮 廓信息，将每个特征向量Vk当作一幅图，与多个方向的高斯导数滤波器做卷积得到方向信 号将不同特征向量得到的信息结合在一起形成sLb算子：
[0036]
[0037] mLb算子和sLb算子代表了不同的信息，前者针对的是所有的边界而后者只提取图 像中最凸出的曲线，将两者结合起来得到最后的bgs算子：
[0038]
[0039] 其中队3和γ是F-measure的梯度下降方向得到的权重。
[0040] 由上述得到的bgs算子产生的轮廓图往往不是闭合的，也就不能将图像分割为区 域，需要进一步进行处理。在得到的轮廓图的基础上利用带方向的分水岭分割方法产生一 组初始化区域，然后从这些初始化区域的边界构建一个超度量图(UCM)，最后得到一个分层 分割图。
[0041] 步骤3.分别在RGB和D图像应用边界全局分割算法，再将两者的分割结果线性结合 起来作为最后的RGBD分层分割图。
[0042]在RGB图上执行边界全局算法(bgs)得到bgs_rgb，对深度图完成相同的操作得到 bgs_d，最后通过式子结合起来：
[0043] bgs_rgbd= (1-α) · bgs_rgb+a · bgs_d
[0044] 其中a是权重，在实验中取a = 0.25,尽管这种线性结合是简单而粗糙的，将得到的 bgs_rgbd分层分割图用于分类得到的语义标注结果与单独使用bgs_rgb完成分类后的结果 进行比较，发现线性结合后分类效果得到提升。
[0045]步骤4.确定房间的重力方向，并得到与重力方向有关的特征。重力方向揭露出真 实场景的很多结构，地板和其它支撑表面总是水平的，墙面往往是垂直的。因此重力方向的 确定对房间的空间坐标的确立有很大帮助。通过一个简单的迭代算法对重力方向进行估 计，首先初始化重力方向然后通过下面的步骤迭代修正估计的方向：
[0046] S21:初始重力方向垂直向下，计算两个集合：
[0047] N|| = {n: 9(n，gi-1) <d or9(n，gi-1) > 180。-d}
[0048] N丄={n:90。_d<9(n，gi-1) <90。+d}
[0049] 其中d是阈值，n是由bgs_rgbd得到的分层分割图中的超像素块的表面法向量，作 为可能满足条件的候选向量，Θ (n，gi-i)表示向量η与gi-i之间的夹角，Νιι包含地板和桌面等 水平面的点的法线，是由那些与夹角小于阈值d或者大于180°-d的向量组成的集合，N丄 包含墙面点的法线，是由那些与夹角介于90°-d与90°+d之间的向量组成的集合
[0050] S22:寻找一个新的重力方向gi让其尽可能对齐Nil中的法线而与N丄中的法线垂直， 也就意味着让gi与Nil的夹角尽可能的小即8丨11 2(9(114〇)的值小。而81与1的夹角尽可能的 大，即C〇S 2(0(n，gl))的取值小。那么问题转化为求解满足下面式子的最优解：
[0051]
[0052] 解决这个优化问题可将问题简化为求解矩阵iVi/Vf - iV丨丨的最小特征值所对 应的特征向量问题。
[0053] S23:重复上述两个步骤，迭代5次或前后两次重力方向误差较小时算法结束，在实 验中取d = 45°。
[0054]重力方向确定后，可以获得与重力方向有关的位姿特征。这些特征是以步骤3中 bgs算法过分割产生的分层分割图的超像素为研究对象。位姿特征获取超像素与重力方向 有关的方向和面积特征。如图3所示，将超像素的表面法向量与重力方向形成的夹角Θ g作为 方向特征。如图4所示，将超像素投影到与重力方向垂直的平面和与重力方向平行的平面， 计算得到投影面积，记垂直平面的投影面积是S v平行平面的投影面积是Sh。
[0055]步骤5.提取RGBD描述符，低层特征的设计对于计算机视觉算法是关键的，如SIFT 和HOG的方向直方图是在场景识别方面应用较广泛的特征。RGBD描述符是一组特征描述符， 提供统一和基本的框架，能够将像素属性(梯度、颜色、局部二值模式等)转变为紧凑的块水 平特征，描述符容易设计并且结果显示它们的效果好于SIFT等复杂特征。
[0056]对于使用的5个RGBD描述符:深度梯度(GD)，颜色(C)，局部二值模式(L)，梯度(G)， 核主成分分析(KPCA)。对于描述符的提取均在常规的网格中完成，以两个像素为步幅，其中 深度梯度，颜色，局部二值模式以及梯度描述符使用大小为16 X 16的块采样，对于核主成分 分析描述符使用大小为40X40的块采样。以深度梯度描述符为例，首先将深度图视为灰度 图并在每个像素点处计算梯度。深度梯度描述符D grad由像素梯度相似性函数k。构建得到
[0057]
peP qEQ
[0058] 其中P和Q是图片中的两个·不司的块，立于块构的像素，明象義^深度图中的方向 和幅值。《^和％是像素z处的深度梯度归一化的幅度和方向，
其中4是一个小的正数保证分母部分大于〇
，方向因子
)计算方向梯度的相似性，位置因子ds(p，q) = exp (-Ysllp-qll2)用来衡量两个像素空间位置的接近度。分析梯度描述符可知它由三部分组成： 归一化线性因子，使用每个像素的梯度幅值衡量像素的属性;方向因子d。计算梯度方向间 的相似度;位置高斯因子ds权衡像素的空间分布。可以看出，D grad将输入的像素属性转化为 块水平特征。
[0059] 采用与梯度描述符相似的方式构建颜色描述符：
[0060]
[0061]其中c(p)是像素p的颜色值(对于灰度图是亮度值对于彩色图是RGB值hcUdp)， (^))=〇邱(-丫。||(^)-(^)||2)衡量两个像素颜色上的相似度，(18(?，(1)的含义与梯度描述 符表达式中的含义一致用以描述像素空间位置的接近程度。梯度描述符可以捕捉到图像变 化，颜色核能够描述图像表观，而局部二值模式能有效地表示局部形状：
[0062
[0063]其Μ
,，81)是像素？的3\3领域内值的标准方差，￡ 1如是 一个小的正数保证分母部分的取值大于0,归一化线性核$$.对每个局部二值模式进行了 加权;bP是一个二值列向量，它二值化像素p周围的局部窗口的像素值差异，如图5给出了一 个实例，其中155、163、168、171以及187(可以用红色表示）的像素强度大于中央139(可以用 黑色表示）的像素强度，124、130、135(可以用蓝色表示）的像素强度小于中央139的像素强 度值;4(%，13 (1) = ^?(-〇||13[)-13(1||2)是一个高斯核用以衡量局部二值模式之间的相似性； 位置因子(1办^)=^?(-丫洳111 2)用来衡量两个像素空间位置的接近度。观察颜色，梯度 和局部二值模式核的构建可以发现它们的形式十分相似，表达式中都有一个位置因子用于 描述像素在空间位置上的相似度，一个高斯核用以描述像素间在该属性上的相似度，一个 归一化线性因子用于加权。依据这种模式，不难得出关于梯度描述符的表达式：
[0064]
[0065] 可以看出梯度描述符和深度梯度描述符在本质上是一致的，不过处理的对象不 同，深度梯度处理的是深度图，而梯度图处理的是RGB灰度化后的图。
[0066] 3D形状特征是一个在物体识别方面比较稳定有效的特征，这个特征同样可以用于 图像的语义标注问题。采用核主成分分析特征捕获物体的3D形状，下面就核主成分分析进 行详细阐述：
[0067] 核主成分分析是在主成分分析方法的基础上完成核的构建，在此处就不再详细介 绍主成分分析方法，首先得到3D点云P并得到协方差矩阵D P，计算协方差矩阵的特征值，然 后由大到小排列取前L个特征值，通过式子得到核主成分特征Ag,…，Α? :
[0068]
[0069]其中V1 是特征向量，L是KPCA的维数，Dp[s，t] = exp(- γ klls-tll2)，Ρ是3D点云，γ k> 0 并且 s，tep。
[0070] 关于RGBD描述符，其中深度梯度，颜色，局部二值模式以及梯度描述符使用大小为 16X16的块采样，对于核主成分分析描述符使用大小为40X40的块采样，然后在每个超像 素块上进行平均，即最后这5个特征都是作为超像素的属性。
[0071] 步骤6.联合步骤2和步骤3所得特征作为总的特征集。将步骤2中得到的与重力方 向有关的位姿特征与RGBD描述符串联在一起作为特征。位姿特征与RGBD描述符都是针对超 像素的特征。但是由于超像素的大小差异较大，最后提取到的RGBD描述符的个数也各不相 同（例如有些超像素不存在颜色的变化那么就会缺少颜色梯度描述 符），为了保证每个超像 素最后得到的特征数是一致的，采用类似Bag of words(BOW)的方法让每个特征都用一组 向量表示。采用的方法类似B0W但与B0W存在差异，称这种方法为有效匹配算法，该方法可以 将局部特征映射到一个低维特征空间并且通过平均得到的特征向量形成一个集合水平特 征。
[0072]知道实施B0W算法之后每个特征最后得到的结果是一个直方图，可用向量形式表 达，向量的长度是由单词表的数目决定的。同样的，通过有效匹配算法每个特征最后也有一 个相应的向量表达形式。下面就有效匹配进行说明：
[0073] 假定一幅图片有一组局部特征Χ={χι，···，xP}，有字典V= {νι，···，νΜ}。在B0W中每个局 部特征都可被量化为一个K维的二值向i
其中I · I表示集合的数量。
[0074]
[0075] 其中
，当使用一个线性分类器时 得到的函数表达式为：
[0(??
[0077] 其M
(x，y)用于描述特征X与y之间的相似性，如 果它们在同一个区域则为1否则为〇,显然这种相似度的衡量方式是粗糙的。为了更好地提 高分类准确性，打算用一个连续函数k(x，y)替代离散函数S(x，y)得到新的表达式：
[0078]
[0079] 为了避免混淆，将此处的d(x，y)称为局部因子。d(x，y)可表示为d(x，y) = Φ (χ)τ Φ(7)，由式子可知如果特征映射关系Φ( ·)是有限维的那么得到的d(x，y)局部核也是有 限维的。DS(X，Y)的表达式可进一步表示为：
[0080]
[0081 ]其中#00 = 是在一组向量上的特征映射。Ds(X，Y)即为有效匹 |Λ| 配，通过上面的分析可知有效匹配的关键在于局部因子d(x，y)即Φ (X)的表示形式的确定。 下面给出一种Φ (X)的构建方式：
[0082] 假定一个已知的函数(1(1，7)=扒1)>(7)，要将它投影到低维空间，并用一组基向 量表示。那么问题转化为给出一组基向量〔0(zD τ，要求用基向量表示特征向量Φ(X):
[0083] - 一. -- -
[0084] 其中!1=[!1)(21)，一，扒^1)]与1^都是投影得到的低维系数，上面的优化问题其实 是一个凸二次规划问题：
[0085]
[0086]由下向的式子得到局部因子cUUd):
[0087]
[0088] 其中dz是一个MX 1维向量，向量取值由式子{dz}i = d(x，Zi)确定，即将X与Zi带入给 定的函数(^，7)=1]^)1^(7)中计算得到(12;〇22是一个1\]/[的矩阵，矩阵元素值由{022}" = (1 (Z"ZJ)确定;使用6? = 1)?来表示1)?，得到Φ (X):
[0089] Φ (x) =Gdz(x)
[0090] 特征映臬
匕时得到的类似于BOW中单词表的 确定，有效匹配算法能够将每个局部特征表示成一个Μ维的向量，其中Μ是由基向量的维数。 此处Μ扮演的角色类似于B0W中经过K-means聚类算法得到的单词表的数量。基向量实际上 是由KPCA算法得到的，首先对一幅图像提取SIFT特征，然后随机选取F个SIFT特征，对这F个 特征上完成PCA操作，选取由大到小排列的前Μ个特征值所对应的特征向量作为基向量。在 实验中选取F= 10000，Μ=50。
[0091] 对整个有效匹配算法进行简单地归纳：（1)提取图像的SIFT特征；（2)利用KPCA得 到一组含Μ个向量的基向量；（3)将给出的函数d(x，y)投影到低维空间并用一组基向量表示 特征向量1Kx)，最终得到特征映身
]，.即得到的特征为一个Μ维 的特征向量。
[0092]将有效匹配算法运用到本发明的RGBD描述符中，假定有效匹配算法中基向量Μ = 200,那么每个RGBD描述符最终表示是一个50维的特征向量。5个RGBD描述符总共的特征向 量长度为250，再与位姿特征串联在一起，最后得到的特征向量长度为253。
[0093]步骤7.采用SVM分类器对步骤6得到的分割图进行分类，完成语义标注。
[0094]采用一对多的方式训练基于位姿特征和RGBD描述符特征的SVM分类器，一对多方 式就是训练时依次把某个类别的样本归为一类，其它剩余的样本归为另一类，这样k个类别 的样本就构造出了 k个SVM。分类时将未知样本分类为具有最大分类函数值的那类。选取 RGBD数据库NYUD2中图片（实验采用1000张作为训练集，500张作为测试集)作为实验材料， 结果表明基于上述特征得到的训练器的准确率比较高，能够有效地将室内场景物体分为13 个类别。
【主权项】
1. 一种基于RGK)描述符的室内场景语义分割方法，其特征在于包括如下步骤： 利用Kinect获得具有深度信息的室内场景图； 利用图像的局部信息形成一个局部边界检测算子，再将其与多尺度信息结合并进行谱 聚类形成带有全局信息的边界检测算子，利用边界全局检测算子对图像处理得到轮廓图， 在此基础上进行分水岭分割和超度量映射得到最后的分层分割图，利用边界全局分割算法 bgs分别对RGB图和深度图进行分层分割得到bgs_rgb和bgs_d; 将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图； 利用得到的分层分割结果图和RGBD图确定室内的重力方向，获得与重力方向有关的位 姿特征； 提取RGK)描述符； 用有效匹配算法对得到的RGBD描述符进行处理得到相应的低维空间的向量表达，再将 它们与位姿特征串联得到特征集； 采用SVM分类器进行分类得到语义分割结果。2. 如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 边界全局分割算法bgs具体如下： 首先利用室内场景图像的局部亮度、颜色、纹理信息形成一个局部边界检测算子Lb(x， y)，预测在像素(x，y)处带有方向θ的边界后验概率;对于图像中的像素(x，y)，以该位置为 圆心画一半径为r的圆，并将它在Θ方向沿直径方向分为两半，对于每个半圆盘，计算像素灰 度值的直方图，将半圆盘之间的X 2距离作为梯度幅值输出，用g和h表示两个半圆盘：Lb检测算子是4个独立特征通道的梯度信息的结合，前3个特征通道对应于CIE Lab颜 色空间，即亮度，颜色a，颜色b通道，对于灰度图只有亮度通道，第4个特征通道是纹理通道； 在Lb算子的基础上对结合多尺度信息形成mLb算子，对每个通道考虑3个尺寸σ是圆盘半径，单位是像素个数，对于亮度通道，使用σ = 5,对于颜色通道与纹 理通道使用σ = 10,线性结合这些局部信息作为一个多尺度方向信号：其中8表示尺寸，;[表示特征，6^。^,!〇(1，7,9)衡量了位于圆心(1，7)处，半径为〇(;[，8)的 被Θ方向的直径分开的两个半圆盘的直方图差异;参数CU, s权衡每个方向信号的相对分布， 由的梯度方向确定;对每个像素取不同方向间的最大响应 作为边界强度值：将mLb算子进行谱聚类能得到带有全局信息的边界检测算子，关键在于谱聚类，构造一 个稀疏对称矩阵w:其中切是连接i与j的直线段，P是一个常数，设置P = O. I，连接所有在一个固定半径大 小r圆内的像素;为了引入全局信息，定义Dii= SjWij并求解方程(D-w)v = A Dv的n+l个最小 特征值〇 = λ〇 < A1< λη对应的特征向量{νο,νχ，…，Vn}，每个特征向量本身就带有轮廓信 息，将每个特征向量Vk当作一幅图，与多个方向的高斯导数滤波器做卷积得到方向信号将不同特征向量得到的信息结合在一起形成sLb算子：mLb算子和sLb算子代表了不同的信息，前者针对的是所有的边界，而后者只提取图像 中最凸出的曲线，将两者结合起来得到最后的bgs算子：其中&,5和γ是F-measure的梯度下降方向得到的权重， 在得到的轮廓图的基础上利用带方向的分水岭分割方法产生一组初始化区域，然后从 这些初始化区域的边界构建一个超度量图UCM，最后得到一个分层分割图。3. 如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图的方法如下： 在RGB图上执行边界全局算法bgs得到bgs_rgb，对深度图完成相同的操作得到bgs_d， 最 后通过如下公式结合起来： bgs_rgbd= (1-α) · bgs_rgb+a · bgs_d 其中，a是权重，取a = 〇.25。4. 如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 确定室内的重力方向，获得与重力方向有关的位姿特征的方法如下： 首先初始化重力方向然后通过下面的步骤迭代修正估计的方向： S21:初始重力方向垂直向下，计算两个集合： N| I = {n: 9(n，gi-I) <d or9(n，gi-1) >180。-d} N丄={n:90°-d<9(n，gi-i)<90°+d} 其中d是阈值，n是由bgs_rgbd得到的分层分割图中的超像素块的表面法向量，作为可 能满足条件的候选向量，Θ (n，gi-i)表示向量η与gi-i之间的夹角，N| I包含地板和桌面水平面 的点的法线，是由与gi-i夹角小于阈值d或者大于180° -d的向量组成的集合，N_l包含墙面点 的法线，是由与gi-i夹角介于90° -d与90° +d之间的向量组成的集合； S22:寻找一个新的重力方向gdt其尽可能对齐N| I中的法线而与N丄中的法线垂直，也就 意味着让gi与N| I的夹角尽可能的小，即8丨112(9(114〇)的值尽可能的小；而81与1^的夹角尽 可能的大，即c 〇s2(0(n，gl))的取值小;那么问题转化为求解满足下面式子的最优解：简化为求解矩阵的最小特征值所对应的特征向量问题； S23:重复上述两个步骤，迭代5次或前后两次重力方向误差较小时算法结束，取d = 45。； 重力方向确定后，可以获得与重力方向有关的位姿特征，位姿特征获取超像素与重力 方向有关的方向和面积特征;将超像素的表面法向量与重力方向形成的夹角Gg作为方向特 征，将超像素投影到与重力方向垂直的平面和与重力方向平行的平面，计算得到投影面积， 记垂直平面的投影面积是S v平行平面的投影面积是Sh。5.如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 提取RGBD描述符的方法如下： 使用5个RGBD描述符:深度梯度⑶，颜色C，局部二值模式L，梯度G，核主成分分析KPCA; 对于描述符的提取均在常规的网格中完成，以两个像素为步幅，其中深度梯度GD，颜色C，局 部二值模式L以及梯度G描述符使用大小为16X16的块采样，对于核主成分分析描述符使用 大小为40 X 40的块采样；以深度梯度GD描述符为例，首先将深度图视为灰度图并在每个像 素点处计算梯度，深度梯度描述符GDgrad由像素梯度相似性函数k。构建得到I 其中P和图片中的两个不同的块，pep是一^立于;t并内的像素，明如是像素成深度图中的方向和 幅值;％:和6:是像素z处的深度梯度归一化的幅度和方向；（其中￡8是一个小 的正数，保证分母部分大于0，'方向因子g丨丨2：)计算方向梯度的相似性，位置因子I用来衡量两 个像素空间位置的接近度;分析梯度描述符可知它由三部分组成:归一化线性核，使用每个 像素的梯度幅值衡量像素的属性;方向因子d。计算梯度方向间的相似度;位置高斯因子ds权 衡像素的空间分布，GD grad将输入的像素属性转化为块水平特征； 采用与梯度描述符相似的方式构建颜色描述符：I. 其中C(P)是像素P的颜色值，对于灰度图是亮度值对于彩色图是RGB值;cUc(p)，C(q)) =6邱(-丫。| |c(p)-c(q)| I2)衡量两个像素颜色上的相似度，ds(p，q)的含义与梯度描述符 表达式中的含义一致用以描述像素空间位置的接近程度，梯度描述符可以捕捉到图像变 化，颜色因子能够描述图像表观，而局部二值模式能有效地表示局部形状：其中sp是像素P的3 X3邻域内值的标准方差，eibp是一个 小的正数保证分母部分的取值大于0,归一化线性核对每个局部二值模式进行了加权； b P是一个二值列向量，它二值化像素p周围的局部窗口的像素值差异；是一个高斯核用以衡量局部二值模式之间的相 似性;位置因子ds(p，q)=eXp(-Ys| |p_q| I2)用来衡量两个像素空间位置的接近度;梯度描 述符的表达式：可以看出梯度描述符和深度梯度描述符在本质上是一致的，不过处理的对象不同，深 度梯度处理的是深度图，而梯度图处理的是RGB灰度化后的图； 核主成分分析是在主成分分析方法的基础上完成核的构建，首先得到3D点云P并得到 协方差矩阵Dp，计算协方差矩阵的特征值，然后由大到小排列取前L个特征值，通过式子得 到核主成分特征其中V1是特征向量，L是KPCA的维数，Dp[s，t] = exp( - γ k I I s-t I 12)，P是3D点云，γ k>0 并且s，tep; 关于RGBD描述符，其中深度梯度，颜色，局部二值模式以及梯度描述符使用大小为16 X 16的块采样，对于核主成分分析描述符使用大小为40X40的块采样，然后在每个超像素块 上进行平均，即最后这5个特征都是作为超像素的属性。6.如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 有效匹配描述符方法如下： 假定一幅图片有一组局部特征X= {xi，…，xP}，有字典V= Iv1，…，w}，在BOW中每个局部 特征都可被量化为一个M维的二值向量μ ( X ) = [ μ I ( X )，…，μ μ ( X ) ] T，，.其中I · I表示集合的数量；其中当使用一个线性分类器时得到 的函数表达式为：其中用于描述特征X与y之间的相似性，如果它 们在同一个区域则为1，否则为0,用一个连续函数d(x，y)替代离散函数δ(χ，3〇得到新的表 达式：将此处的d(x，y)称为局部因子，d(x，y)可表示为d(x，y)= Φ (χ)τΦ (y)，由上式可知，如 果特征映射关系Φ( ·)是有限维的，那么得到的d(x，y)局部因子也是有限维的，DS(X，Y)的 表达式可进一步表示为：其41是在一组向量上的特征映射，DS(X，Y)即为有效匹配因子， 通过上面的分析可知有效匹配的关键在于局部因子d(x，y)即Φ (X)的表示形式的确定，下 面给出一种Φ (X)的构建方式： 假定一个已知的函数(1(Χ，7)=Φ(Χ)ΤΦ( 7)，要将它投影到低维空间，并用一组基向量表 示，那么问题转化为给出一组基向量要求用基向量表示特征向量Φ(χ):其中与及^都是投影得到的低维系数，上面的优化问题其实是一 个凸二次规划问题：由下面的式子得到局部因子cU(X，y):其中dz是一个MX 1维向量，向量取值由式子{(1山=(^，2：1)确定，即将1与2：1带入给定的 函数(^，7)=1]^)1^(7)中计算得到(12;〇22是一个1\]/[的矩阵，矩阵元素值由{〇22}^ = (1(2：1， Zj)确定;使用来表示，得到Φ(χ): Φ (X) =Gdz(X) 特征映射此时得到的类似于BOW中单词表的确定， 有效匹配算法能够将每个局部特征表示成一个M维的向量，其中M是基向量的维数。7.如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的 采用SVM分类器进行分类得到语义分割结果的方法如下： 采用一对多的方式训练基于位姿特征和RGBD描述符特征的SVM分类器，一对多方式就 是训练时依次把某个类别的样本归为一类，其它剩余的样本归为另一类，这样k个类别的样 本就构造出了 k个SVM，分类时将未知样本分类为具有最大分类函数值的那类。
【专利摘要】本发明公开了一种基于RGB-D描述符的室内场景语义分割方法。涉及图像处理方法技术领域。该方法包括：利用Kinect获取具有深度信息的室内图像；利用边界全局分割算法bgs分别对RGB图和深度图进行分层分割；将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图；利用得到的分层分割图和RGBD图确定房间的重力方向，获得与重力方向有关的位姿特征；提取RGBD描述符；将得到的位姿特征与RGBD描述符串联得到特征集；选用线性支撑矢量机SVM作为分类器作用于特征集产生语义分割结果。通过所述方法得到的室内物品的语义分割结果准确率较高，可为室内物体识别和室内监控等方面提供一种有效的方法。
【IPC分类】G06T7/00
【公开号】CN105488809
【申请号】CN201610023292
【发明人】程建, 邹瑞雪, 王峰, 刘海军, 刘瑞
【申请人】电子科技大学
【公开日】2016年4月13日
【申请日】2016年1月14日
最新回复(0)