一种指尖深度检测方法及系统的制作方法
一种指尖深度检测方法及系统的制作方法
【技术领域】
[0001] 本发明涉及计算机视觉领域，尤其涉及一种指尖深度检测方法及系统。
【背景技术】
[0002] 从图像中恢复深度信息是计算机视觉领域的基础问题，近些年来随着各种技术的 发展，也得到了越来越多的关注，并且取得了很大的进展。深度传感器在工业检测、自动驾 驶、医学成像和以三维场景理解和检测为基础的新型人机交互方面都有着非常广泛的应 用。根据是否采用受控照明，深度传感系统一般可以分为主动深度估计和被动深度估计两 种。
[0003] 主动深度估计利用投影仪等设备将某种提前设计好的模式的光线投射到三维场 景中，比如提前编码好的结构光图像或散斑图像。通过将重建后的散斑或结构光图像与原 始散斑或结构光图像进行对比，最后通过提前设计好的编码进行匹配，计算像素差值，可以 得到比较精确的深度信息。这种方法对于缺乏纹理的表面求取深度效果很好，因此比较适 合手掌这种缺乏纹理的表面。但是这种方法的缺点是:投射散斑图像的硬件结构较为复杂， 功耗也比较大;而且对于指尖这种边界区域，散斑图案的种子点个数普遍偏少，因此在指尖 的边界区域深度估计常常是不准确的。
[0004] 被动深度估计常常采用双目立体视觉的理论。用两个平行放置的相机同时拍摄场 景图像，通过对两幅图像进行匹配从而得到视差值，再通过三角测量进行换算得到深度值。 这种方法结构简单，因此也得到了广泛的关注和研究。目前的方法主要集中于基于彩色图 像全局匹配和局部匹配两个方面。局部匹配方法包括对应像素差的绝对值（Sum of Absolute Differences，SAD)、对应像素差的平方和（Sum of Squared Differences，SSD)、 改进的rank变换、归一化的互相关方法;全局匹配方法主要考虑这幅图像的深度连续性和 像素值的连续性对全局能量函数进行优化。然而采用双目彩色立体视觉算法，准确性严重 的依赖于场景的纹理和光照条件，二者都会对图像中的像素值的大小和像素值之间的关联 产生很大的影响。对于光照改变的情况，图像中的像素值会改变大小，提取出的特征不具有 代表性，而且左右视图很可能匹配点的像素值相差很大影响匹配精度;对于场景纹理缺失 的情况，窗口中可以提取出的特征很少，因此也会降低匹配时的精度。因此，采用这种基于 彩色双目立体视觉方法处理指尖深度估计问题，得到的估计精度比较低。同时，双目立体匹 配过程中，由于缺乏先验信息，待匹配点的搜索范围一般很大，运行速度会比较慢。
【发明内容】
[0005] 本发明所要解决的技术问题是:现有的指尖深度检测结果不准确，且处理速度慢。
[0006] 为解决上述技术问题，本发明一方面提出了如下技术方案：
[0007] -种指尖深度检测方法，包括：
[0008] 获取红外双目摄像机系统的左、右摄像机采集的图像；
[0009] 分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二手 部图像；
[0010]对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手 部图像中指尖点的位置；
[0011]根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各 个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；
[0012] 对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值。
[0013] 可选地，在所述获取红外双目摄像机系统的左、右摄像机采集的图像之前，还包 括：
[0014] 分别对左、右摄像机进行单个摄像机的标定，获得左、右摄像机的内部参数；
[0015] 对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参数。
[0016] 可选地，在所述分别对左、右摄像机采集到的图像进行二值化处理之前，还包括：
[0017] 分别对左、右摄像机采集到的图像进行极线校正和去畸变。
[0018] 可选地，所述分别对左、右摄像机采集到的图像进行二值化处理，包括：
[0019] 对左、右摄像机采集到的图像利用最大类间方差法进行二值化处理。
[0020] 可选地，所述对所述手部图像进行距离变换，根据距离变换的结果获取第一手部 图像和第二手部图像中指尖点的位置，包括：
[0021] 对所述手部图像进行距离变换，对距离变换后的手部图像进行阈值化操作得到手 掌区域；
[0022] 获取所述手掌区域的质心，将该质心作为掌心；
[0023] 获取掌心到人手轮廓的距离，将其局部最大值作为指尖点的位置。
[0024] 可选地，所述根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手 部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组 合，包括：
[0025] 根据公式一获取第一手部图像与第二手部图像指尖点的匹配组合，该匹配组合使 E(i)的值最小；
[0026]
[0027] 其中，E(i)表示能量值，index(i)表示第一手部图像中第i个指尖对应的第二手部 图像中的第index(i)个指尖表示该指尖相对于掌心的极坐标的角度信息。
[0028] 可选地，所述对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值， 包括：
[0029] 对所述指尖点之间的匹配组合利用对应像素差的绝对值SAD算法进行视差匹配， 根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深度值。
[0030] 可选地，在所述根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深度 值之前，还包括：
[0031] 对经过SAD算法进行视差匹配的结果进行线性亚像素处理。
[0032] 一种指尖深度检测系统，包括：
[0033]两台红外摄像机、多个红外LED光源、红外图像传感器和芯片；
[0034]所述两台红外摄像机相互平行设置，用于采集手部图像；
[0035]所述多个红外LED光源与所述红外摄像机相互平行设置；
[0036] 所述红外图像传感器用于接收所述红外摄像机采集的手部图像，并将所述手部图 像发送至所述芯片；
[0037] 所述芯片用于分析所述手部图像，获取指尖深度值。
[0038] 一种指尖深度检测系统，包括：
[0039] 图像采集单元，用于获取红外双目摄像机系统的左、右摄像机采集的图像；
[0040] 手部图像获取单元，用于分别对左、右摄像机采集到的图像进行二值化处理，获取 第一手部图像和第二手部图像；
[0041] 指尖点位置获取单元，用于对所述手部图像进行距离变换，根据距离变换的结果 获取第一手部图像和第二手部图像中指尖点的位置；
[0042] 指尖点匹配组合获取单元，用于根据第一手部图像中各个指尖相对于掌心的极坐 标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指 尖点之间的匹配组合；
[0043] 深度值获取单元，用于对所述指尖点之间的匹配组合进行视差匹配，获取指尖点 的深度值。
[0044] 本发明提供的指尖深度检测方法及系统，边缘匹配过程避免了手掌内部纹理不明 显部分对深度检测的影响，提高了指尖深度检测的精度，对指尖的深度估计精度在近场范 围内达到亚毫米级别;利用手部模型采用粗匹配缩小视差搜索范围，提高了处理速度。
【附图说明】
[0045]通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理 解为对本发明进行任何限制，在附图中：
[0046] 图1示出了本发明一个实施例的指尖深度检测方法的示意图；
[0047] 图2示出了本发明另一个实施例的指尖深度检测方法的流程示意图；
[0048] 图3示出了本发明一个实施例的指尖深度检测方法中去畸变前的第一手部图像和 第二手部图像；
[0049] 图4示出了本发明一个实施例的指尖深度检测方法中去畸变后的第一手部图像和 第二手部图像；
[0050] 图5示出了本发明一个实施例的指尖深度检测方法中二值化后的第一手部图像和 第二手部图像；
[0051] 图6示出了本发明一个实施例的指尖深度检测方法中的掌心检测结果；
[0052] 图7示出了本发明一个实施例的指尖深度检测方法中的指尖检测结果；
[0053] 图8示出了本发明一个实施例的指尖深度检测系统的结构示意图；
[0054]图9示出了本发明 一个实施例的指尖深度检测系统的工作原理图。
【具体实施方式】
[0055] 下面将结合附图对本发明的实施例进行详细描述。
[0056] 图1是本发明一个实施例的指尖深度检测方法的示意图。如图1所示，该指尖深度 检测方法包括：
[0057] S1:获取红外双目摄像机系统的左、右摄像机采集的图像；
[0058] S2:分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二 手部图像；
[0059] S3:对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第 二手部图像中指尖点的位置；
[0060] S4:根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中 各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；
[0061] S5:对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值。
[0062]本实施例的指尖深度检测方法，边缘匹配过程避免了手掌内部纹理不明显部分对 深度检测的影响，提高了指尖深度检测的精度，对指尖的深度估计精度在近场范围内达到 亚毫米级别;利用手部模型采用粗匹配缩小视差搜索范围，提高了处理速度。
[0063] 图2示出了本发明另一个实施例的指尖深度检测方法的流程示意图。如图2所示， 本实施例的指尖深度检测方法如下：
[0064] S21:分别对左、右摄像机进行单个摄像机的标定，获得左、右摄像机的内部参数； 对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参数；
[0065] S22:获取红外双目摄像机系统的左、右摄像机采集的图像；
[0066] S23:分别对左、右摄像机采集到的图像进行极线校正和去畸变；
[0067] S24:分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第 ^手部图像；
[0068] S25:对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第 二手部图像中指尖点的位置；
[0069] S26:根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像 中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；
[0070] S27:对所述指尖点之间的匹配组合利用对应像素差的绝对值SAD算法进行视差匹 配，根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深度值。
[0071 ]具体地，对红外双目摄像机系统进行标定的过程如下：
[0072]使用opencv对红外双目摄像机系统进行标定，得到两个摄像机的内部参数(焦距、 畸变函数等)和外部参数(两个相机坐标系的旋转矩阵R和平移矩阵T)。
[0073] 获取红外双目摄像机系统的左、右摄像机采集的图像。图3示出了本发明一个实施 例的指尖深度检测方法中去畸变前的第一手部图像和第二手部图像。
[0074] 分别对左、右摄像机采集到的图像进行极线校正和去畸变得到满足极线约束(两 幅图像的匹配点在图像中的像素位置满足在同一条水平线上)的两幅图像，如图4所示。
[0075] 在一种可选的实施方式中，所述分别对左、右摄像机采集到的图像进行二值化处 理，包括：
[0076]对左、右摄像机采集到的图像利用最大类间方差法进行二值化处理。
[0077] 最大类间方差法(otsu算法)进行二值化处理的过程如下：
[0078]设一副图像像素值在[l，k]的部分归为1类Co,在[k+l，L]的部分归为2类&，图像的 像素值的范围为[1，L]，分别计算某一个像素点被归为0)和&的概率ω 〇和ω U
[0079]
[0080]
[0081] 上式中，Pr表示概率函数。其中，pi表示某一个像素值所对应的像素个数占总像素 个数的比例。k表示选取的区分两类的像素值的阈值。ω(1〇表示像素值在[l，i]范围内的像 素个数的和。
[0082] 苒分别计筧被伯为两#后灰庠倌备件期望，即两#的平均灰度。
[0083]
[0084]
[0085]上式中，則和讲分别表示Co类和(^类的像素值的平均值。μΤ表示图像中所有点的灰 度均值。μ(1〇表示灰度值在[l，k]范围内的所有像素点的像素值平均值。
[0086] 这样，便可以计算得到两类像素集的方差
[0087]
[0088]
[0089]上式中，和分别表不Co类和Ci类的像素值方差。
[0090]因此可以根据两个点集分别的方差得到类内方差和类间方差。
[0091 ] ow2= ω 〇σ〇2+ω ι〇ι2
[0092] σΒ2= ω〇(μ〇-μτ)2+ωι(μι-μτ)2
[0093] 其中，〇w2表示类内方差，〇B2表示类间方差。
[0094] 图5示出了本发明一个实施例的指尖深度检测方法中二值化后的第一手部图像和 第二手部图像。
[0095]进一步地，所述对所述手部图像进行距离变换，根据距离变换的结果获取第一手 部图像和第二手部图像中指尖点的位置，包括：
[0096]对所述手部图像进行距离变换，对距离变换后的手部图像进行阈值化操作得到手 掌区域；
[0097]获取所述手掌区域的质心，将该质心作为掌心；
[0098]获取掌心到人手轮廓的距离，将其局部最大值作为指尖点的位置。
[0099]在手部结构分析阶段，我们对二值化的R0I图进行处理，选取求距离变换最大值的 方法来确定掌心点的位置。距离变换指的是计算二值图像中每个目标点到非目标边缘点的 最小距离。令手掌二值图像为P。
[0100]
[0101] 其中S为手掌边缘点集合，q为手掌边缘点，p为手掌内的某一点。d(p，q)表示p和q 两点间的欧氏距离。D表示最终得到的距离变换的值。
[0102] 得到距离变换图像D后，采用下式计算掌心位置。
[0103]
[0104] 八palm)衣不莩心的怔置。
[0105] 同时，手掌半径也可以得到:radius=max(D(p))〇
[0106] 图6示出了本发明一个实施例的指尖深度检测方法中的掌心检测结果。
[0107] 沿着手部边缘点扫描，以掌心点为原点，计算手部边缘点相对于掌心的极坐标(r， P)，指尖点应满足以下几点：
[0108] (1)指尖点到掌心点的距离应该满足局部最大值。
[0109] (2)指尖点到掌心点的距离在全局下应该大于某个固定阈值，这个固定阈值一般 为手掌半径或略大，可以在一定程度上消除其他噪声边缘点的影响。
[0110] 图7示出了本发明一个实施例的指尖深度检测方法中的指尖检测结果。
[0111] 进一步地，所述根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二 手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配 组合，包括：
[0112] 根据公式一获取第一手部图像与第二手部图像指尖点的匹配组合，该匹配组合使 E(i)的值最小；
[0113]
[0114] 其中，E(i)表示能量值，index(i)表示第一手部图像中第i个指尖对应的第二手部 图像中的第index(i)个指尖表示该指尖相对于掌心的极坐标的角度信息。
[0115] 需要对指尖点进行双目匹配:包括利用手部结构的粗匹配和利用SAD算子的局部 精细匹配。
[0116] 这里我们有如下假设：左右两幅图像，指尖匹配不可能出现交叉的情况。也就是 说，左视图中从左至右的第1，2个手指不可能对应右视图中从左至右的第2,1个手指。根据 以上假设，可以大大的缩小搜索空间。
[0117] 根据此公式，可以对两幅视图中指尖的个数和匹配方式进行检测，保证找到的匹 配点的大致正确:如左图的拇指与右图的拇指匹配。且保证两幅图中的指尖个数保持一致。 指尖位置的粗匹配完成。这种粗匹配过程减少了之后的SAD局部匹配的搜索范围，提高了运 行速度。
[0118] 在得到了满足极线约束的匹配点的坐标后，利用SAD算法进行视差的精细估，因采 用如下公式：
[0119] c(x，y，d) = | lR(x，y)_lT(x+d，y)
[0120]
[0121]
[0122] 其中，IR(x，y)表示待匹配图像中某一点的像素值，IT(x+d，y)表示目标匹配图像中 某一点的像素值，c (x，y，d)表示左图中某一像素点在某一视差下的匹配代价。C(x，y，d)表 示对S区域内的所有点在某一固定视差下的匹配代价的叠加。U=[d min，dmax]，为视差搜索范 围。D(x，y)表示待匹配点(x，y)在视差搜索范围内对应的匹配代价最小的视差值，作为该点 的视差值。
[0123] 由于得到的指尖位置都是在手部区域的边缘，因此特征明显，采用SAD窗口算子能 够精确的计算视差，避免了手掌和指尖内部缺乏纹理而产生的视差估计不精确的问题。
[0124] 进一步地，在所述根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深 度值之前，还包括：
[0125] 对经过SAD算法进行视差匹配的结果进行线性亚像素处理。
[0126] 根据以上公式，得到的视差D-定是整数，为了提高深度估计精度，对视差结果进 行简单的线性亚像素处理。
[0127]
[0128]
[0129] 此公式综合考虑了最小整数视差和周围两个视差之间SAD代价值的关系，达到了 亚像素的视差估计精度。
[0130] 图8示出了本发明一个实施例的指尖深度检测系统的结构示意图。该指尖深度检 测系统包括：
[0131] 图像采集单元81，用于获取红外双目摄像机系统的左、右摄像机采集的图像；
[0132] 手部图像获取单元82,用于分别对左、右摄像机采集到的图像进行二值化处理，获 取第一手部图像和第二手部图像；
[0133] 指尖点位置获取单元83,用于对所述手部图像进行距离变换，根据距离变换的结 果获取第一手部图像和第二手部图像中指尖点的位置；
[0134] 指尖点匹配组合获取单元84,用于根据第一手部图像中各个指尖相对于掌心的极 坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中 指尖点之间的匹配组合；
[0135] 深度值获取单元85,用于对所述指尖点之间的匹配组合进行视差匹配，获取指尖 点的深度值。
[0136] 图9示出了本发明一个实施例的指尖深度检测系统的工作原理图。该指尖深度检 测系统包括：
[0137] 两台红外摄像机91、多个红外LED光源92、红外图像传感器93和芯片94;
[0138] 两台红外摄像机91相互平行设置，用于采集手部图像；
[0139] 多个红外LED光源92与红外摄像机91相互平行设置；
[0140]红外图像传感器93用于接收红外摄像机91采集的手部图像，并将所述手部图像发 送至芯片94;
[0141]芯片94用于分析所述手部图像，获取指尖深度值。
[0142] 该系统由两个红外摄像机组成，周围由多个红外LED灯负责打亮前景物体。采用该 系统采集手部图像，可以有效的减少环境光对成像结果的干扰，同时得到信噪比较高的前 景图像。而且得到的手部图像，在指尖部位，边缘十分清晰，便于匹配计算。
[0143] 本实施例所述的指尖深度检测系统可以用于执行上述方法实施例，其原理和技术 效果类似，此处不再赘述。
[0144] 本发明提供的指尖深度检测方法及系统，边缘匹配过程避免了手掌内部纹理不明 显部分对深度检测的影响，提高了指尖深度检测的精度，对指尖的深度估计精度在近场范 围内达到亚毫米级别;利用手部模型采用粗匹配缩小视差搜索范围，提高了处理速度。
[0145] 虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发 明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求 所限定的范围之内。
【主权项】
1. 一种指尖深度检测方法，其特征在于，包括： 获取红外双目摄像机系统的左、右摄像机采集的图像； 分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二手部图 像； 对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手部图 像中指尖点的位置； 根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指 尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合； 对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值。2. 根据权利要求1所述的指尖深度检测方法，其特征在于，在所述获取红外双目摄像机 系统的左、右摄像机采集的图像之前，还包括： 分别对左、右摄像机进行单个摄像机的标定，获得左、右摄像机的内部参数； 对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参数。3. 根据权利要求1所述的指尖深度检测方法，其特征在于，在所述分别对左、右摄像机 采集到的图像进行二值化处理之前，还包括： 分别对左、右摄像机采集到的图像进行极线校正和去畸变。4. 根据权利要求1所述的指尖深度检测方法，其特征在于，所述分别对左、右摄像机采 集到的图像进行二值化处理，包括： 对左、右摄像机采集到的图像利用最大类间方差法进行二值化处理。5. 根据权利要求1所述的指尖深度检测方法，其特征在于，所述对所述手部图像进行距 离变换，根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置，包括： 对所述手部图像进行距离变换，对距离变换后的手部图像进行阈值化操作得到手掌区 域； 获取所述手掌区域的质心，将该质心作为掌心； 获取掌心到人手轮廓的距离，将其局部最大值作为指尖点的位置。6. 根据权利要求1所述的指尖深度检测方法，其特征在于，所述根据第一手部图像中各 个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角 度获取两幅手部图像中指尖点之间的匹配组合，包括： 根据公式一获取第一手部图像与第二手部图像指尖点的匹配组合，该匹配组合使E(i) 的值最小；其中，E(i)表示能量值，index(i)表示第一手部图像中第i个指尖对应的第二手部图像 中的第index(i)个指尖表示该指尖相对于掌心的极坐标的角度信息。7. 根据权利要求1所述的指尖深度检测方法，其特征在于，所述对所述指尖点之间的匹 配组合进行视差匹配，获取指尖点的深度值，包括： 对所述指尖点之间的匹配组合利用对应像素差的绝对值SAD算法进行视差匹配，根据 左、右摄像机的外部参数，采用三角测量法获取指尖点的深度值。8. 根据权利要求7所述的指尖深度检测方法，其特征在于，在所述根据左、右摄像机的 外部参数，采用三角测量法获取指尖点的深度值之前，还包括： 对经过SAD算法进行视差匹配的结果进行线性亚像素处理。9. 一种指尖深度检测系统，其特征在于，包括： 两台红外摄像机、多个红外LED光源、红外图像传感器和芯片； 所述两台红外摄像机相互平行设置，用于采集手部图像； 所述多个红外LED光源与所述红外摄像机相互平行设置； 所述红外图像传感器用于接收所述红外摄像机采集的手部图像，并将所述手部图像发 送至所述芯片； 所述芯片用于分析所述手部图像，获取指尖深度值。10. -种指尖深度检测系统，其特征在于，包括： 图像采集单元，用于获取红外双目摄像机系统的左、右摄像机采集的图像； 手部图像获取单元，用于分别对左、右摄像机采集到的图像进行二值化处理，获取第一 手部图像和第二手部图像； 指尖点位置获取单元，用于对所述手部图像进行距离变换，根据距离变换的结果获取 第一手部图像和第二手部图像中指尖点的位置； 指尖点匹配组合获取单元，用于根据第一手部图像中各个指尖相对于掌心的极坐标的 角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点 之间的匹配组合； 深度值获取单元，用于对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深 度值。
【专利摘要】本发明涉及一种指尖深度检测方法及系统。该方法包括：获取红外双目摄像机系统的左、右摄像机采集的图像；分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二手部图像；对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置；根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；对第一手部图像和第二手部图像进行视差匹配，获取指尖点的深度值。本发明提高了指尖深度检测的精度，利用手部模型采用粗匹配缩小视差搜索范围，提高了处理速度。
【IPC分类】G06T7/00
【公开号】CN105488802
【申请号】CN201510892217
【发明人】王贵锦, 李文涛, 尹玄武, 施陈博
【申请人】清华大学
【公开日】2016年4月13日
【申请日】2015年12月7日
【技术领域】
[0001] 本发明涉及计算机视觉领域，尤其涉及一种指尖深度检测方法及系统。
【背景技术】
[0002] 从图像中恢复深度信息是计算机视觉领域的基础问题，近些年来随着各种技术的 发展，也得到了越来越多的关注，并且取得了很大的进展。深度传感器在工业检测、自动驾 驶、医学成像和以三维场景理解和检测为基础的新型人机交互方面都有着非常广泛的应 用。根据是否采用受控照明，深度传感系统一般可以分为主动深度估计和被动深度估计两 种。
[0003] 主动深度估计利用投影仪等设备将某种提前设计好的模式的光线投射到三维场 景中，比如提前编码好的结构光图像或散斑图像。通过将重建后的散斑或结构光图像与原 始散斑或结构光图像进行对比，最后通过提前设计好的编码进行匹配，计算像素差值，可以 得到比较精确的深度信息。这种方法对于缺乏纹理的表面求取深度效果很好，因此比较适 合手掌这种缺乏纹理的表面。但是这种方法的缺点是:投射散斑图像的硬件结构较为复杂， 功耗也比较大;而且对于指尖这种边界区域，散斑图案的种子点个数普遍偏少，因此在指尖 的边界区域深度估计常常是不准确的。
[0004] 被动深度估计常常采用双目立体视觉的理论。用两个平行放置的相机同时拍摄场 景图像，通过对两幅图像进行匹配从而得到视差值，再通过三角测量进行换算得到深度值。 这种方法结构简单，因此也得到了广泛的关注和研究。目前的方法主要集中于基于彩色图 像全局匹配和局部匹配两个方面。局部匹配方法包括对应像素差的绝对值（Sum of Absolute Differences，SAD)、对应像素差的平方和（Sum of Squared Differences，SSD)、 改进的rank变换、归一化的互相关方法;全局匹配方法主要考虑这幅图像的深度连续性和 像素值的连续性对全局能量函数进行优化。然而采用双目彩色立体视觉算法，准确性严重 的依赖于场景的纹理和光照条件，二者都会对图像中的像素值的大小和像素值之间的关联 产生很大的影响。对于光照改变的情况，图像中的像素值会改变大小，提取出的特征不具有 代表性，而且左右视图很可能匹配点的像素值相差很大影响匹配精度;对于场景纹理缺失 的情况，窗口中可以提取出的特征很少，因此也会降低匹配时的精度。因此，采用这种基于 彩色双目立体视觉方法处理指尖深度估计问题，得到的估计精度比较低。同时，双目立体匹 配过程中，由于缺乏先验信息，待匹配点的搜索范围一般很大，运行速度会比较慢。
【发明内容】
[0005] 本发明所要解决的技术问题是:现有的指尖深度检测结果不准确，且处理速度慢。
[0006] 为解决上述技术问题，本发明一方面提出了如下技术方案：
[0007] -种指尖深度检测方法，包括：
[0008] 获取红外双目摄像机系统的左、右摄像机采集的图像；
[0009] 分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二手 部图像；
[0010]对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手 部图像中指尖点的位置；
[0011]根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各 个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；
[0012] 对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值。
[0013] 可选地，在所述获取红外双目摄像机系统的左、右摄像机采集的图像之前，还包 括：
[0014] 分别对左、右摄像机进行单个摄像机的标定，获得左、右摄像机的内部参数；
[0015] 对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参数。
[0016] 可选地，在所述分别对左、右摄像机采集到的图像进行二值化处理之前，还包括：
[0017] 分别对左、右摄像机采集到的图像进行极线校正和去畸变。
[0018] 可选地，所述分别对左、右摄像机采集到的图像进行二值化处理，包括：
[0019] 对左、右摄像机采集到的图像利用最大类间方差法进行二值化处理。
[0020] 可选地，所述对所述手部图像进行距离变换，根据距离变换的结果获取第一手部 图像和第二手部图像中指尖点的位置，包括：
[0021] 对所述手部图像进行距离变换，对距离变换后的手部图像进行阈值化操作得到手 掌区域；
[0022] 获取所述手掌区域的质心，将该质心作为掌心；
[0023] 获取掌心到人手轮廓的距离，将其局部最大值作为指尖点的位置。
[0024] 可选地，所述根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手 部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组 合，包括：
[0025] 根据公式一获取第一手部图像与第二手部图像指尖点的匹配组合，该匹配组合使 E(i)的值最小；
[0026]
[0027] 其中，E(i)表示能量值，index(i)表示第一手部图像中第i个指尖对应的第二手部 图像中的第index(i)个指尖表示该指尖相对于掌心的极坐标的角度信息。
[0028] 可选地，所述对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值， 包括：
[0029] 对所述指尖点之间的匹配组合利用对应像素差的绝对值SAD算法进行视差匹配， 根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深度值。
[0030] 可选地，在所述根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深度 值之前，还包括：
[0031] 对经过SAD算法进行视差匹配的结果进行线性亚像素处理。
[0032] 一种指尖深度检测系统，包括：
[0033]两台红外摄像机、多个红外LED光源、红外图像传感器和芯片；
[0034]所述两台红外摄像机相互平行设置，用于采集手部图像；
[0035]所述多个红外LED光源与所述红外摄像机相互平行设置；
[0036] 所述红外图像传感器用于接收所述红外摄像机采集的手部图像，并将所述手部图 像发送至所述芯片；
[0037] 所述芯片用于分析所述手部图像，获取指尖深度值。
[0038] 一种指尖深度检测系统，包括：
[0039] 图像采集单元，用于获取红外双目摄像机系统的左、右摄像机采集的图像；
[0040] 手部图像获取单元，用于分别对左、右摄像机采集到的图像进行二值化处理，获取 第一手部图像和第二手部图像；
[0041] 指尖点位置获取单元，用于对所述手部图像进行距离变换，根据距离变换的结果 获取第一手部图像和第二手部图像中指尖点的位置；
[0042] 指尖点匹配组合获取单元，用于根据第一手部图像中各个指尖相对于掌心的极坐 标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指 尖点之间的匹配组合；
[0043] 深度值获取单元，用于对所述指尖点之间的匹配组合进行视差匹配，获取指尖点 的深度值。
[0044] 本发明提供的指尖深度检测方法及系统，边缘匹配过程避免了手掌内部纹理不明 显部分对深度检测的影响，提高了指尖深度检测的精度，对指尖的深度估计精度在近场范 围内达到亚毫米级别;利用手部模型采用粗匹配缩小视差搜索范围，提高了处理速度。
【附图说明】
[0045]通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理 解为对本发明进行任何限制，在附图中：
[0046] 图1示出了本发明一个实施例的指尖深度检测方法的示意图；
[0047] 图2示出了本发明另一个实施例的指尖深度检测方法的流程示意图；
[0048] 图3示出了本发明一个实施例的指尖深度检测方法中去畸变前的第一手部图像和 第二手部图像；
[0049] 图4示出了本发明一个实施例的指尖深度检测方法中去畸变后的第一手部图像和 第二手部图像；
[0050] 图5示出了本发明一个实施例的指尖深度检测方法中二值化后的第一手部图像和 第二手部图像；
[0051] 图6示出了本发明一个实施例的指尖深度检测方法中的掌心检测结果；
[0052] 图7示出了本发明一个实施例的指尖深度检测方法中的指尖检测结果；
[0053] 图8示出了本发明一个实施例的指尖深度检测系统的结构示意图；
[0054]图9示出了本发明 一个实施例的指尖深度检测系统的工作原理图。
【具体实施方式】
[0055] 下面将结合附图对本发明的实施例进行详细描述。
[0056] 图1是本发明一个实施例的指尖深度检测方法的示意图。如图1所示，该指尖深度 检测方法包括：
[0057] S1:获取红外双目摄像机系统的左、右摄像机采集的图像；
[0058] S2:分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二 手部图像；
[0059] S3:对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第 二手部图像中指尖点的位置；
[0060] S4:根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中 各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；
[0061] S5:对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值。
[0062]本实施例的指尖深度检测方法，边缘匹配过程避免了手掌内部纹理不明显部分对 深度检测的影响，提高了指尖深度检测的精度，对指尖的深度估计精度在近场范围内达到 亚毫米级别;利用手部模型采用粗匹配缩小视差搜索范围，提高了处理速度。
[0063] 图2示出了本发明另一个实施例的指尖深度检测方法的流程示意图。如图2所示， 本实施例的指尖深度检测方法如下：
[0064] S21:分别对左、右摄像机进行单个摄像机的标定，获得左、右摄像机的内部参数； 对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参数；
[0065] S22:获取红外双目摄像机系统的左、右摄像机采集的图像；
[0066] S23:分别对左、右摄像机采集到的图像进行极线校正和去畸变；
[0067] S24:分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第 ^手部图像；
[0068] S25:对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第 二手部图像中指尖点的位置；
[0069] S26:根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像 中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；
[0070] S27:对所述指尖点之间的匹配组合利用对应像素差的绝对值SAD算法进行视差匹 配，根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深度值。
[0071 ]具体地，对红外双目摄像机系统进行标定的过程如下：
[0072]使用opencv对红外双目摄像机系统进行标定，得到两个摄像机的内部参数(焦距、 畸变函数等)和外部参数(两个相机坐标系的旋转矩阵R和平移矩阵T)。
[0073] 获取红外双目摄像机系统的左、右摄像机采集的图像。图3示出了本发明一个实施 例的指尖深度检测方法中去畸变前的第一手部图像和第二手部图像。
[0074] 分别对左、右摄像机采集到的图像进行极线校正和去畸变得到满足极线约束(两 幅图像的匹配点在图像中的像素位置满足在同一条水平线上)的两幅图像，如图4所示。
[0075] 在一种可选的实施方式中，所述分别对左、右摄像机采集到的图像进行二值化处 理，包括：
[0076]对左、右摄像机采集到的图像利用最大类间方差法进行二值化处理。
[0077] 最大类间方差法(otsu算法)进行二值化处理的过程如下：
[0078]设一副图像像素值在[l，k]的部分归为1类Co,在[k+l，L]的部分归为2类&，图像的 像素值的范围为[1，L]，分别计算某一个像素点被归为0)和&的概率ω 〇和ω U
[0079]
[0080]
[0081] 上式中，Pr表示概率函数。其中，pi表示某一个像素值所对应的像素个数占总像素 个数的比例。k表示选取的区分两类的像素值的阈值。ω(1〇表示像素值在[l，i]范围内的像 素个数的和。
[0082] 苒分别计筧被伯为两#后灰庠倌备件期望，即两#的平均灰度。
[0083]
[0084]
[0085]上式中，則和讲分别表示Co类和(^类的像素值的平均值。μΤ表示图像中所有点的灰 度均值。μ(1〇表示灰度值在[l，k]范围内的所有像素点的像素值平均值。
[0086] 这样，便可以计算得到两类像素集的方差
[0087]
[0088]
[0089]上式中，和分别表不Co类和Ci类的像素值方差。
[0090]因此可以根据两个点集分别的方差得到类内方差和类间方差。
[0091 ] ow2= ω 〇σ〇2+ω ι〇ι2
[0092] σΒ2= ω〇(μ〇-μτ)2+ωι(μι-μτ)2
[0093] 其中，〇w2表示类内方差，〇B2表示类间方差。
[0094] 图5示出了本发明一个实施例的指尖深度检测方法中二值化后的第一手部图像和 第二手部图像。
[0095]进一步地，所述对所述手部图像进行距离变换，根据距离变换的结果获取第一手 部图像和第二手部图像中指尖点的位置，包括：
[0096]对所述手部图像进行距离变换，对距离变换后的手部图像进行阈值化操作得到手 掌区域；
[0097]获取所述手掌区域的质心，将该质心作为掌心；
[0098]获取掌心到人手轮廓的距离，将其局部最大值作为指尖点的位置。
[0099]在手部结构分析阶段，我们对二值化的R0I图进行处理，选取求距离变换最大值的 方法来确定掌心点的位置。距离变换指的是计算二值图像中每个目标点到非目标边缘点的 最小距离。令手掌二值图像为P。
[0100]
[0101] 其中S为手掌边缘点集合，q为手掌边缘点，p为手掌内的某一点。d(p，q)表示p和q 两点间的欧氏距离。D表示最终得到的距离变换的值。
[0102] 得到距离变换图像D后，采用下式计算掌心位置。
[0103]
[0104] 八palm)衣不莩心的怔置。
[0105] 同时，手掌半径也可以得到:radius=max(D(p))〇
[0106] 图6示出了本发明一个实施例的指尖深度检测方法中的掌心检测结果。
[0107] 沿着手部边缘点扫描，以掌心点为原点，计算手部边缘点相对于掌心的极坐标(r， P)，指尖点应满足以下几点：
[0108] (1)指尖点到掌心点的距离应该满足局部最大值。
[0109] (2)指尖点到掌心点的距离在全局下应该大于某个固定阈值，这个固定阈值一般 为手掌半径或略大，可以在一定程度上消除其他噪声边缘点的影响。
[0110] 图7示出了本发明一个实施例的指尖深度检测方法中的指尖检测结果。
[0111] 进一步地，所述根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二 手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配 组合，包括：
[0112] 根据公式一获取第一手部图像与第二手部图像指尖点的匹配组合，该匹配组合使 E(i)的值最小；
[0113]
[0114] 其中，E(i)表示能量值，index(i)表示第一手部图像中第i个指尖对应的第二手部 图像中的第index(i)个指尖表示该指尖相对于掌心的极坐标的角度信息。
[0115] 需要对指尖点进行双目匹配:包括利用手部结构的粗匹配和利用SAD算子的局部 精细匹配。
[0116] 这里我们有如下假设：左右两幅图像，指尖匹配不可能出现交叉的情况。也就是 说，左视图中从左至右的第1，2个手指不可能对应右视图中从左至右的第2,1个手指。根据 以上假设，可以大大的缩小搜索空间。
[0117] 根据此公式，可以对两幅视图中指尖的个数和匹配方式进行检测，保证找到的匹 配点的大致正确:如左图的拇指与右图的拇指匹配。且保证两幅图中的指尖个数保持一致。 指尖位置的粗匹配完成。这种粗匹配过程减少了之后的SAD局部匹配的搜索范围，提高了运 行速度。
[0118] 在得到了满足极线约束的匹配点的坐标后，利用SAD算法进行视差的精细估，因采 用如下公式：
[0119] c(x，y，d) = | lR(x，y)_lT(x+d，y)
[0120]
[0121]
[0122] 其中，IR(x，y)表示待匹配图像中某一点的像素值，IT(x+d，y)表示目标匹配图像中 某一点的像素值，c (x，y，d)表示左图中某一像素点在某一视差下的匹配代价。C(x，y，d)表 示对S区域内的所有点在某一固定视差下的匹配代价的叠加。U=[d min，dmax]，为视差搜索范 围。D(x，y)表示待匹配点(x，y)在视差搜索范围内对应的匹配代价最小的视差值，作为该点 的视差值。
[0123] 由于得到的指尖位置都是在手部区域的边缘，因此特征明显，采用SAD窗口算子能 够精确的计算视差，避免了手掌和指尖内部缺乏纹理而产生的视差估计不精确的问题。
[0124] 进一步地，在所述根据左、右摄像机的外部参数，采用三角测量法获取指尖点的深 度值之前，还包括：
[0125] 对经过SAD算法进行视差匹配的结果进行线性亚像素处理。
[0126] 根据以上公式，得到的视差D-定是整数，为了提高深度估计精度，对视差结果进 行简单的线性亚像素处理。
[0127]
[0128]
[0129] 此公式综合考虑了最小整数视差和周围两个视差之间SAD代价值的关系，达到了 亚像素的视差估计精度。
[0130] 图8示出了本发明一个实施例的指尖深度检测系统的结构示意图。该指尖深度检 测系统包括：
[0131] 图像采集单元81，用于获取红外双目摄像机系统的左、右摄像机采集的图像；
[0132] 手部图像获取单元82,用于分别对左、右摄像机采集到的图像进行二值化处理，获 取第一手部图像和第二手部图像；
[0133] 指尖点位置获取单元83,用于对所述手部图像进行距离变换，根据距离变换的结 果获取第一手部图像和第二手部图像中指尖点的位置；
[0134] 指尖点匹配组合获取单元84,用于根据第一手部图像中各个指尖相对于掌心的极 坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中 指尖点之间的匹配组合；
[0135] 深度值获取单元85,用于对所述指尖点之间的匹配组合进行视差匹配，获取指尖 点的深度值。
[0136] 图9示出了本发明一个实施例的指尖深度检测系统的工作原理图。该指尖深度检 测系统包括：
[0137] 两台红外摄像机91、多个红外LED光源92、红外图像传感器93和芯片94;
[0138] 两台红外摄像机91相互平行设置，用于采集手部图像；
[0139] 多个红外LED光源92与红外摄像机91相互平行设置；
[0140]红外图像传感器93用于接收红外摄像机91采集的手部图像，并将所述手部图像发 送至芯片94;
[0141]芯片94用于分析所述手部图像，获取指尖深度值。
[0142] 该系统由两个红外摄像机组成，周围由多个红外LED灯负责打亮前景物体。采用该 系统采集手部图像，可以有效的减少环境光对成像结果的干扰，同时得到信噪比较高的前 景图像。而且得到的手部图像，在指尖部位，边缘十分清晰，便于匹配计算。
[0143] 本实施例所述的指尖深度检测系统可以用于执行上述方法实施例，其原理和技术 效果类似，此处不再赘述。
[0144] 本发明提供的指尖深度检测方法及系统，边缘匹配过程避免了手掌内部纹理不明 显部分对深度检测的影响，提高了指尖深度检测的精度，对指尖的深度估计精度在近场范 围内达到亚毫米级别;利用手部模型采用粗匹配缩小视差搜索范围，提高了处理速度。
[0145] 虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发 明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求 所限定的范围之内。
【主权项】
1. 一种指尖深度检测方法，其特征在于，包括： 获取红外双目摄像机系统的左、右摄像机采集的图像； 分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二手部图 像； 对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手部图 像中指尖点的位置； 根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指 尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合； 对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深度值。2. 根据权利要求1所述的指尖深度检测方法，其特征在于，在所述获取红外双目摄像机 系统的左、右摄像机采集的图像之前，还包括： 分别对左、右摄像机进行单个摄像机的标定，获得左、右摄像机的内部参数； 对红外双目摄像机系统进行标定获得左、右摄像机之间的外部参数。3. 根据权利要求1所述的指尖深度检测方法，其特征在于，在所述分别对左、右摄像机 采集到的图像进行二值化处理之前，还包括： 分别对左、右摄像机采集到的图像进行极线校正和去畸变。4. 根据权利要求1所述的指尖深度检测方法，其特征在于，所述分别对左、右摄像机采 集到的图像进行二值化处理，包括： 对左、右摄像机采集到的图像利用最大类间方差法进行二值化处理。5. 根据权利要求1所述的指尖深度检测方法，其特征在于，所述对所述手部图像进行距 离变换，根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置，包括： 对所述手部图像进行距离变换，对距离变换后的手部图像进行阈值化操作得到手掌区 域； 获取所述手掌区域的质心，将该质心作为掌心； 获取掌心到人手轮廓的距离，将其局部最大值作为指尖点的位置。6. 根据权利要求1所述的指尖深度检测方法，其特征在于，所述根据第一手部图像中各 个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角 度获取两幅手部图像中指尖点之间的匹配组合，包括： 根据公式一获取第一手部图像与第二手部图像指尖点的匹配组合，该匹配组合使E(i) 的值最小；其中，E(i)表示能量值，index(i)表示第一手部图像中第i个指尖对应的第二手部图像 中的第index(i)个指尖表示该指尖相对于掌心的极坐标的角度信息。7. 根据权利要求1所述的指尖深度检测方法，其特征在于，所述对所述指尖点之间的匹 配组合进行视差匹配，获取指尖点的深度值，包括： 对所述指尖点之间的匹配组合利用对应像素差的绝对值SAD算法进行视差匹配，根据 左、右摄像机的外部参数，采用三角测量法获取指尖点的深度值。8. 根据权利要求7所述的指尖深度检测方法，其特征在于，在所述根据左、右摄像机的 外部参数，采用三角测量法获取指尖点的深度值之前，还包括： 对经过SAD算法进行视差匹配的结果进行线性亚像素处理。9. 一种指尖深度检测系统，其特征在于，包括： 两台红外摄像机、多个红外LED光源、红外图像传感器和芯片； 所述两台红外摄像机相互平行设置，用于采集手部图像； 所述多个红外LED光源与所述红外摄像机相互平行设置； 所述红外图像传感器用于接收所述红外摄像机采集的手部图像，并将所述手部图像发 送至所述芯片； 所述芯片用于分析所述手部图像，获取指尖深度值。10. -种指尖深度检测系统，其特征在于，包括： 图像采集单元，用于获取红外双目摄像机系统的左、右摄像机采集的图像； 手部图像获取单元，用于分别对左、右摄像机采集到的图像进行二值化处理，获取第一 手部图像和第二手部图像； 指尖点位置获取单元，用于对所述手部图像进行距离变换，根据距离变换的结果获取 第一手部图像和第二手部图像中指尖点的位置； 指尖点匹配组合获取单元，用于根据第一手部图像中各个指尖相对于掌心的极坐标的 角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点 之间的匹配组合； 深度值获取单元，用于对所述指尖点之间的匹配组合进行视差匹配，获取指尖点的深 度值。
【专利摘要】本发明涉及一种指尖深度检测方法及系统。该方法包括：获取红外双目摄像机系统的左、右摄像机采集的图像；分别对左、右摄像机采集到的图像进行二值化处理，获取第一手部图像和第二手部图像；对所述手部图像进行距离变换，根据距离变换的结果获取第一手部图像和第二手部图像中指尖点的位置；根据第一手部图像中各个指尖相对于掌心的极坐标的角度和第二手部图像中各个指尖相对于掌心的极坐标的角度获取两幅手部图像中指尖点之间的匹配组合；对第一手部图像和第二手部图像进行视差匹配，获取指尖点的深度值。本发明提高了指尖深度检测的精度，利用手部模型采用粗匹配缩小视差搜索范围，提高了处理速度。
【IPC分类】G06T7/00
【公开号】CN105488802
【申请号】CN201510892217
【发明人】王贵锦, 李文涛, 尹玄武, 施陈博
【申请人】清华大学
【公开日】2016年4月13日
【申请日】2015年12月7日
最新回复(0)