一种基于深度梯度的目标跟踪方法与系统的制作方法
一种基于深度梯度的目标跟踪方法与系统的制作方法
【技术领域】
[0001 ]本发明属于模式识别技术领域，更具体地，涉及一种基于深度梯度的目标跟踪方 法与系统。
【背景技术】
[0002] 目标跟踪是计算机视觉领域里的一个重要分支，随着人工智能的发展，目标跟踪 技术越来越受到重视。传统的目标跟踪主要集中在对视频序列RGB信息的研究，由于RGB信 息只能从物体的色彩方面对其进行描述，忽略了目标的形状以及位置等重要的信息。使用 单一的有效信息导致基于RGB信息的目标跟踪容易受到光照变化、背景复杂、目标形变、遮 挡等因素的影响，跟踪效果不理想，容易出现跟踪丢失和错误跟踪等问题。
[0003] 近年来，随着距离传感器的发展，其精度得到了大幅度的提升，同时价格也下降到 了一个可接受的范围，这使得采集视频RGB图像序列的同时也能够方便地获取对应的深度 图像序列。深度信息代表了物体的位置信息，当前很多目标跟踪的研究将深度信息与RGB信 息结合，即利用了图像序列中物体的色彩信息以及位置信息，这使得目标跟踪的性能得到 了一定程度的提升。虽然相比于传统的仅使用RGB信息的目标跟踪方法，上述加入深度信息 的目标跟踪方法拥有更好的性能，但是仅靠使用深度信息提供的位置信息并没有有效利用 深度图像序列的深度信息，因此上述方法存在很大的改进空间。
【发明内容】
[0004] 针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度梯度的目标跟 踪方法及系统，其中通过使用深度梯度信息和RGB信息对目标进行描述，实现了目标跟踪的 准确性，本发明分别使用检测和跟踪两种方法，且在每一帧处理过后，对分类器模型进行选 择性调整，大大提高了跟踪效果的鲁棒性，同时减少了模型漂移问题，相应可有效解决当前 目标跟踪方法中存在的在背景与目标颜色接近、光照变化明显、遮挡等导致的跟踪错误或 丢失的问题，因而尤其适用于小速率目标跟踪的应用场合。
[0005] 为实现上述目的，按照本发明的一个方面，提出了一种基于深度梯度的目标跟踪 方法，其特征在于，所述方法包括：
[0006] (1)获取待跟踪视频序列，包括RGB图像序列以及对应的深度图像序列；
[0007] (2)对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置所处的最小 矩形框；
[0008] (3)将步骤(2)中最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域为 负样本，针对所述正样本提取RGB图像的方向梯度直方图H0G特征，训练支持向量机SVDD分 类器；
[0009] (4)根据步骤（1)中获取的所述深度图像序列，得到第k幅深度图像第i行第j列的 深度梯度信息gk(i,j)为：
[0010] gk(i, j) =dk(i-l, j-l)_dk(i, j)
[0011]其中，dkdd)为深度图像序列中第k幅深度图像第i行第j列的深度值；
[0012] (5)针对当前帧进行目标检测:对当前帧在上一帧中最小矩形框1倍尺度范围内进 行基于RGB图像的H0G特征多尺度目标检测，得到对应的检测结果；
[0013] (6)针对当前帧进行目标跟踪:根据步骤(4)得到的深度梯度信息gk(^)，通过深度 梯度流方法进行目标跟踪，得到对应的跟踪结果；
[0014] (7)根据步骤(5)和(6)中分别得到的检测结果和跟踪结果，得到当前帧的目标可 信度集合C;
[0015] (8)在目标可信度集合C中选取最大目标可信度Cmax，并根据选取的最大目标可信 度C max进一步获取候选目标框矩阵bbd中对应的元素，继而，得到最终目标框bbmax为：
[0016]
[0017] (9)判断当前帧的最大目标可信度Cmax是否大于第二阈值θχ，如果C^，则认为跟踪 结果正确，返回当前帧最终目标框bbmax，同时以目标框bbmax为正样本更新分类器模型;如果 ΘΚ?ΧΘ:，其中θ2为第三阈值，返回当前最终目标框bbmax，则保持分类器模型不变，；如果C〈 θ 2,则返回无跟踪目标；
[0018] (10)对下一帧图像重复步骤(5)-(9)。
[0019] 作为进一步优选的，所述检测结果包括所有可信度大于第一阈值的候选目标框矩 阵bbd及其对应的可信度矩阵Cd，其中，所述第一阈值为通过实验整定选取。
[0020] 作为进一步优选的，所述跟踪结果包括跟踪目标框bbde及将其作为支持向量机SVM 分类器输入而进一步得到的目标框可信度Cde。
[0021] 作为进一步优选的，其特征在于，所述当前帧的目标可信度集合C为：
[0022] C = Cd+acder (bbde, bbd)
[0023] 其中，r (bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合 率，a为重合系数。
[0024] 为实现上述目的，本发明还提供了一种基于深度梯度的目标跟踪系统，其特征在 于，所述系统包括：
[0025] 获取单元，用于获取待跟踪视频序列，包括RGB图像序列以及对应的深度图像序 列；
[0026] 标定单元，用于对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置 所处的最小矩形框；
[0027] 提取单元，用于将最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域 为负样本，针对所述正样本提取RGB图像的方向梯度直方图H0G特征，训练支持向量机SVDD 分类器；
[0028] 深度梯度信息估计单元，用于根据获取的所述深度图像序列，得到第k幅深度图像 第i行第j列的深度梯度信息gkUd为：
[0029] gk(ij) = dk(i-i,j-i)-dk(i,j)
[0030] 其中，dk(1^为深度图像序列中第k幅深度图像第i行第j列的深度值；
[0031] 目标检测单元，用于对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB 图像的HOG特征多尺度目标检测，得到对应的检测结果；
[0032]目标跟踪单元，用于根据深度梯度信息gk(^)，通过深度梯度流方法进行目标跟 踪，得到对应的跟踪结果；
[0033]目标可信度集合估计单元，用于根据所述检测结果和所述跟踪结果，得到当前帧 的目标可信度集合C;
[0034]目标框估计单元，用于在目标可信度集合C中选取最大目标可信度Cmax，并根据选 取的最大目标可信度cmax进一步获取候选目标框矩阵bbd中对应的元素^，继而，得到最终 目标框bbmaxS :
[0035]
[0036] 判断单元，用于判断当前帧的最大目标可信度Cmax是否大于第二阈值Θ:，如果 则认为跟踪结果正确，返回当前帧最终目标框bb max，同时以最终目标框bbmax为正样本更新 分类器模型；如果ΘΚ?ΧΘ:，其中θ 2为第三阈值，返回当前最终目标框bbmax，则保持分类器模 型不变，；如果(Χθ2，则返回无跟踪目标。
[0037] 作为进一步优选的，所述检测结果包括所有可信度大于第一阈值的候选目标框矩 阵bbd及其对应的可信度矩阵Cd，其中，所述第一阈值为通过实验整定选取。
[0038] 作为进一步优选的，所述跟踪结果包括跟踪目标框bbde及将其作为支持向量机 SVDD分类器输入而进一步得到的目标框可信度Cde。
[0039] 作为进一步优选的，所述当前帧的目标可信度集合C为：
[0040] C = Cd+acder (bbde, bbd)
[0041 1 其中，r(bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合 率，a为重合系数。
[0042]总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的 技术优点：
[0043] 1.本发明通过使用深度梯度信息和RGB信息，对目标从色彩和形状两个方面进行 描述，有效利用了目标信息，大大提高了目标跟踪的准确性；
[0044] 2.本发明的基于深度梯度的目标跟踪方法，对于每一帧图像分别使用目标检测和 目标跟踪进行估计，继而对获取的检测结果和跟踪结果加权平均，显著提高了本发明目标 跟踪的可靠性；
[0045] 3.另外，本发明在对每一帧处理后，对支持向量机SVDD分类器模型进行选择性调 整，从而减小了模型的漂移，进一步增强了目标跟踪的准确性。
【附图说明】
[0046] 图1表示深度梯度帧间的一致性；
[0047] 图2表示本发明方法适用的时间连续运动；
[0048]图3表示深度梯度的空间一致性；
[0049] 图4为本发明基于深度梯度的目标跟踪方法流程图；
[0050] 图5为本发明在实际的目标跟踪应用中的方法流程图；
[0051]图6为本发明基于深度梯度的目标跟踪系统结构图；
[0052]图7为本方法应用于目标与光照变化较明显场景下的跟踪效果图；
[0053]图8为本方法应用于目标与背景颜色接近的场景下的跟踪效果图。
【具体实施方式】
[0054]为了使本发明的目的、技术方案及优点更加清楚明白 ，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要 彼此之间未构成冲突就可以相互组合。
[0055] 以下首先对本发明用到的术语进行解释和说明。
[0056] 深度梯度:受限于深度信息获取的成本，传统的目标跟踪基本上都是基于图像的 RGB信息的，在复杂场景下，只使用RGB信息来进行目标跟踪，尤其是背景颜色和目标颜色相 近、有遮挡、光照变化大等场景下效果不理想。近年来，随着获取深度信息变得廉价方便，很 多目标跟踪算法中加入了深度信息，得益于深度信息的使用，目标跟踪效果的到了很大的 提升，但是直接使用深度来进行跟踪并不能充分利用深度信息。与深度不同，深度梯度是对 物体形状的一种描述，使用深度梯度做跟踪恰好可以和RGB颜色信息互补，提高跟踪算法的 鲁棒性。
[0057] 一致性:深度梯度作为对目标形状的一种描述，当目标外形不变时具有稳定性也 即一致性，深度梯度一致性需要满足三个假设。一是目标运动时需要假设目标像素被逐帧 跟踪时，其深度梯度不发生变化，如图1所示;二是目标的运动需要是时间连续的，也即运动 是小运动，图像的运动随时间的变化比较缓慢，实际应用中是指时间变化相对视频序列中 运动的比例要足够小，这样目标在帧间运动就比较小，如图2所示;三是在一个场景中同一 表面上邻近点具有相似的运动，邻近点在图像平面上投影也在邻近区域，如图3所示。满足 这三个假设，在目标跟踪时深度梯度便具有一致性了。
[0058] H0G:Histograms Of Oriented Gradient，即方向梯度直方图描述子。其主体思想 是:在一副图像中，局部目标的表象和形状(appearance and shape)能够被梯度或边缘的 方向密度分布很好地描述。具体的实现方法是:首先将图像分成小的连通区域，我们把它叫 细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方 图组合起来就可以构成特征描述器。运动目标的梯度方向直方图特征，描述了图像局部区 域的梯度强度和梯度方向的分布情况，该分布情况能对局部对象外观和形状进行很好的表 征，事实证明能够很好的应用在检测中，已经成为目前主流的方法。
[0059] SVDD: Support Vector Domain Description，SVDD单类分类器是机器学习中常用 的一种分类器，SVDD方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维 的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征 空间中的线性可分的问题。我们使用SVDD用来判断待检测区域是否是跟踪的目标。
[0060] 本发明可以在很大程度上提升目标跟踪的准确度。深度梯度信息和RGB色彩信息 互补，可以让目标跟踪具有更好的鲁棒性。深度梯度流的使用使得本方法在目标背景颜色 和目标相近以及光照变化大时提升效果显著。
[0061] 本发明的目标跟踪方法尤其适用于小速率的目标跟踪，即两帧之间目标的距离和 目标矩形框的对角线比值(设定为0到1之间)较小。按照图4及图5所示的方法流程图对本发 明方法进行具体介绍，所述方法包括以下步骤：
[0062] (1)获取待跟踪视频序列，，即获取RGB-D视频序列，包括RGB图像序列以及对应的 深度图像序列；
[0063] (2)对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置所处的最小 矩形框；
[0064] (3)将步骤(2)中最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域为 负样本，针对所述正样本提取RGB图像的方向梯度直方图HOG特征，训练支持向量机SVDD分 类器；
[0065] (4)根据步骤（1)中获取的所述深度图像序列，得到第k幅深度图像第i行第j列的 深度梯度信息gk(i,j)为：
[0066] gk(ij) = dk(i-i,j-i)-dk(i,j)
[0067] 其中，dk(1d)为深度图像序列中第k幅深度图像第i行第j列的深度值；
[0068] (5)针对当前帧进行目标检测:对当前帧在上一帧中最小矩形框1倍尺度范围内进 行基于RGB图像的H0G特征多尺度目标检测，得到对应的检测结果，所述检测结果包括所有 可信度大于第一阈值的候选目标框矩阵bbd及其对应的可信度矩阵Cd，所述第一阈值为通过 实验整定选取；
[0069] (6)针对当前帧进行目标跟踪:根据步骤(4)得到的深度梯度信息gk(^)，通过深度 梯度流方法进行目标跟踪，得到对应的跟踪结果，所述跟踪结果包括跟踪目标框bbde及将其 作为支持向量机SVDD分类器输入而进一步得到的目标框可信度Cde;
[0070] (7)根据步骤(5)和(6)中分别得到的检测结果和跟踪结果，得到当前帧的目标可 信度集合C为：
[0071] C = Cd+acder (bbde, bbd)
[0072] 其中，r (bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合 率，a为重合系数。
[0073] (8)在目标可信度集合C中选取最大目标可信度Cmax，并根据选取的最大目标可信 度C max进一步获取候选目标框矩阵bbd中对应的元素&\ ^继而，得到最终目标框bbmax为：
[0074]
[0075] (9)判断当前帧的最大目标可信度Cmax是否大于第二阈值Θ:，如果Οθ^则认为跟踪 结果正确，返回当前帧最终目标框bb max，同时以目标框bbmax为正样本更新分类器模型;如果 ΘΚ?ΧΘ:，其中θ2为第三阈值，返回当前最终目标框bb max，则保持分类器模型不变，；如果C〈 θ2,则返回无跟踪目标；
[0076] (10)对下一帧图像重复步骤(5)-(9)。
[0077] 在本发明中，深度梯度流是空间运动物体在观察成像平面上的像素运动的瞬时速 度，是利用深度梯度图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上 一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。 深度梯度流是可由场景中前景目标本身的移动、相机的运动，或者两者的共同运动产生。
[0078]深度梯度流是空间运动物体在观测成像平面上的像素运动的"瞬时速度"。深度梯 度流的利用图像序列中像素深度梯度数据的时域变化和相关性来确定各自像素位置的"运 动"，通过深度梯度流场从视频的深度图像序列中近似获得目标的运动场。
[0079]深度梯度流法的前提假设：
[0080] (1)相邻帧之间同一像素点的深度梯度度恒定；
[0081] (2)相邻视频帧的取帧时间连续，或者，相邻帧之间物体的运动比较"微小"；
[0082] (3)保持空间一致性;即，同一子图像的像素点具有相同的运动。
[0083]当满足以上三点假设时，就可以使用深度梯度流进行目标跟踪。本方法使用 Lucas-Kanade算法求深度梯度。它计算两帧在时间t到t+δ?之间每个像素点位置的移动。由 于它是基于图像信号的泰勒级数，这种方法称为差分，这就是对于空间和时间坐标使用偏 导数，它的约束为方程为：
[0084] G(x,y ,t) =G(x+5x,y+5y ,t+5t)
[0085] 其中G(x,y,t)是时刻t时点(x,y)处的深度梯度值，6(1+5乂，7+573+51：)是时刻七+5 t时点（Χ+δχ，y+5y )的深度梯度值，时刻t时的点（X，y )和时刻t+δ?时的点(Χ+δχ，y+5y )是物 体的同一点在图像上的投影。我们假设移动足够的小，那么对图像约束方程使用泰勒公式， 我们可以得到：
[0086]
[0087] 其中Η.0.Τ指高阶无穷小，即：
[0088] Gxdx+Gydy+Gtdt = 0,
[0089] 令U = g , V = 那么:Gxu+Gyv = _Gt，根据深度梯度一致性假设，
[0090]
[0091]即Α?= 6，.计算的目的是使得IIAS-IHI最小，
[0092]
[0093]在深度梯图像中，假设第k帧有一点H(x，y)，则在k+Ι帧中该点位置为H(x+u，y+v)。 [0094] 通过深度梯度流法进行目标跟踪，具体包括以下步骤：
[0095] (1)对一个连续的视频深度梯度帧序列进行处理；
[0096] (2)针对每一个视频序列，在第一帧标记出需要跟踪的目标；
[0097] (3)提取目标中具有代表性的关键特征点（可以随机产生，也可以利用角点来做特 征点）；
[0098] (4)对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前 帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；
[0099] (5)恰好框住所有被跟踪目标关键特征点的最小矩形框既是深度梯度流法跟踪的 目标框；
[0100] (6)如此迭代进行，便可实现目标的跟踪。
[0101] 相应地，本发明还提出了一种基于深度梯度的目标跟踪系 统，如图6所示，所述系 统包括：
[0102] 获取单元，用于获取待跟踪视频序列，包括RGB图像序列以及对应的深度图像序 列；
[0103] 标定单元，用于对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置 所处的最小矩形框；
[0104] 提取单元，用于将最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域 为负样本，针对所述正样本提取RGB图像的方向梯度直方图H0G特征，训练支持向量机SVDD 分类器；
[0105] 深度梯度信息估计单元，用于根据获取的所述深度图像序列，得到第k幅深度图像 第i行第j列的深度梯度信息gkUd为：
[0106] gk(ij) = dk(i-i,j-i)-dk(i,j)
[0107] 其中，dk(1^为深度图像序列中第k幅深度图像第i行第j列的深度值；
[0108] 目标检测单元，用于对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB 图像的HOG特征多尺度目标检测，得到对应的检测结果，包括所有可信度大于第一阈值的候 选目标框矩阵bbd及其对应的可信度矩阵Cd;
[0109] 目标跟踪单元，用于根据深度梯度信息gk(1d)，通过深度梯度流方法进行目标跟 踪，得到对应的跟踪结果，包括跟踪目标框bbde及将其作为支持向量机SVM分类器输入而进 一步得到的目标框可信度Cde;
[0110] 目标可信度集合估计单元，用于根据所述检测结果和所述跟踪结果，得到当前帧 的目标可信度集合C为：
[0111] C = Cd+acder (bbde, bbd)
[0112] 其中，r(bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合 率，a为重合系数。
[0113] 目标框估计单元，用于在目标可信度集合C中选取最大目标可信度Cmax，并根据选 取的最大目标可信度C max进一步获取候选目标框矩阵bbd中对应的元素&%，继而，得到最终 目标框bbmaxS :
[0114]
[0115] 判断单元，用于判断当前帧的最大目标可信度Cmax是否大于第二阈值Θ:，如果C> θχ，则认为跟踪结果正确，返回当前帧最终目标框bb max，同时以最终目标框bbmax为正样本更 新分类器模型；如果ΘΚ?ΧΘ:，其中θ 2为第三阈值，返回当前最终目标框bbmax，则保持分类器 模型不变，；如果(Χθ2，则返回无跟踪目标。
[0116] 如图7为在目标与光照变化比较明显的场景下所获得的跟踪效果图，图8为在目标 与背景颜色接近的场景下所获得的跟踪效果图，其中，第一行均为无深度梯度跟踪效果，第 二行均为执行本方法后的跟踪效果;通过跟踪效果图的对比，可以很明显地看出，通过执行 本发明的基于深度梯度的目标跟踪方法，进一步提高了跟踪的准确性和可靠性。
[0117]本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以 限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
【主权项】
1. 一种基于深度梯度的目标跟踪方法，其特征在于，所述方法包括： (1) 获取待跟踪视频序列，包括RGB图像序列以及对应的深度图像序列； (2) 对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置所处的最小矩形 框； (3) 将步骤(2)中最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域为负样 本，针对所述正样本提取RGB图像的方向梯度直方图HOG特征，训练支持向量机SVDD分类器； (4) 根据步骤（1)中获取的所述深度图像序列，得到第k幅深度图像第i行第j列的深度 梯度信息gk(i,j)为： gk(i, j) = dk(i-1, j-l)-dk(i, j) 其中，dk(1』为深度图像序列中第k幅深度图像第i行第j列的深度值； (5) 针对当前帧进行目标检测:对当前帧在上一帧中最小矩形框1倍尺度范围内进行基 于RGB图像的HOG特征多尺度目标检测，得到对应的检测结果； (6) 针对当前帧进行目标跟踪:根据步骤(4)得到的深度梯度信息gk(1』，通过深度梯度 流方法进行目标跟踪，得到对应的跟踪结果； (7) 根据步骤(5)和(6)中分别得到的检测结果和跟踪结果，得到当前帧的目标可信度 集合C; (8) 在目标可信度集合C中选取最大目标可信度Cmax，并根据选取的最大目标可信度Cmax 进一步获取候选目标框矩阵bbd中对应的元素&~，继而，得到最终目标框bbmax为：(9) 判断当前帧的最大目标可信度Cmax是否大于第二阈值Q1，如果OQ1^lj认为跟踪结果 正确，返回当前帧最终目标框bb max，同时以目标框bbmax为正样本更新分类器模型；如果02〈C U 1，其中θ2为第三阈值，返回当前最终目标框bbmax，则保持分类器模型不变，；如果(：〈0 2，则 返回无跟踪目标； (10) 对下一帧图像重复步骤(5)-(9)。2. 如权利要求1所述的方法，其特征在于，所述检测结果包括所有可信度大于第一阈值 的候选目标框矩阵bbd及其对应的可信度矩阵Cd，其中，所述第一阈值为通过实验整定选取。 3 .如权利要求1所述的方法，其特征在于，所述跟踪结果包括跟踪目标框bbde及将其作 为支持向量机SVDD分类器输入而进一步得到的目标框可信度Cde。4. 如权利要求1-3任一项所述的方法，其特征在于，所述当前帧的目标可信度集合C为： C = Cd+acder (bbde, bbd) 其中，r (bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合率，a 为重合系数。5. -种基于深度梯度的目标跟踪系统，其特征在于，所述系统包括： 获取单元，用于获取待跟踪视频序列，包括RGB图像序列以及对应的深度图像序列； 标定单元，用于对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置所处 的最小矩形框； 提取单元，用于将最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域为负 样本，针对所述正样本提取RGB图像的方向梯度直方图HOG特征，训练支持向量机SVDD分类 器； 深度梯度信息估计单元，用于根据获取的所述深度图像序列，得到第k幅深度图像第i 行第j列的深度梯度信息gkUd为： gk(i, j) = dk(i-1, j-l)-dk(i, j) 其中，dk(1』为深度图像序列中第k幅深度图像第i行第j列的深度值； 目标检测单元，用于对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB图像 的HOG特征多尺度目标检测，得到对应的检测结果； 目标跟踪单元，用于根据深度梯度信息gku』，通过深度梯度流方法进行目标跟踪，得 到对应的跟踪结果； 目标可信度集合估计单元，用于根据所述检测结果和所述跟踪结果，得到当前帧的目 标可信度集合C; 目标框估计单元，用于在目标可信度集合C中选取最大目标可信度Cmax，并根据选取的 最大目标可信度Cmax进一步获取候选目标框矩阵bbd中对应的元素％,，继而，得到最终目标 框bbmax为：判断单元，用于判断当前帧的最大目标可信度Cmax是否大于第二阈值Q1，如果Oe1，则认 为跟踪结果正确，返回当前帧最终目标框bbmax，同时以最终目标框bbmax为正样本更新分类 器模型；如果QXcxe 1，其中Θ2为第三阈值，返回当前最终目标框bbmax，则保持分类器模型不 变，；如果c〈0 2,则返回无跟踪目标。6. 如权利要求5所述的系统，其特征在于，所述检测结果包括所有可信度大于第一阈值 的候选目标框矩阵bbd及其对应的可信度矩阵Cd，其中，所述第一阈值为通过实验整定选取。7. 如权利要求5所述的系统，其特征在于，所述跟踪结果包括跟踪目标框bbde及将其作 为支持向量机SVDD分类器输入而进一步得到的目标框可信度Cde。8. 如权利要求5-7任一项所述的系统，其特征在于，所述当前帧的目标可信度集合C为： C = Cd+acder (bbde, bbd) 其中，r (bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合率，a 为重合系数。
【专利摘要】本发明公开了一种基于深度梯度的目标跟踪方法，通过对获取的待跟踪RGB-D视频序列的第一帧进行标定，提取RGB图像的方向梯度直方图特征和深度图像的深度梯度信息；基于上述信息，对当前帧进行目标检测和目标跟踪，并根据检测结果和跟踪结果，进一步得到最终目标框；最后，对下一帧重复前述步骤且在每一帧处理后，对分类器模型进行选择性调整。相应地本发明还公开了一种对应的系统。通过执行本发明中的方法，有效解决了当前目标跟踪方法中存在的在背景与目标颜色接近、光照变化明显、遮挡等导致的跟踪错误或丢失的问题，大大提高了目标跟踪的鲁棒性，同时减少了训练模型的漂移问题，尤其适用于小速率目标跟踪的应用场合。
【IPC分类】G06T7/20
【公开号】CN105488811
【申请号】CN201510822670
【发明人】高常鑫, 时辉章, 桑农, 刘心田, 邹雷, 赵俊, 李逢, 吴建雄
【申请人】华中科技大学
【公开日】2016年4月13日
【申请日】2015年11月23日
【技术领域】
[0001 ]本发明属于模式识别技术领域，更具体地，涉及一种基于深度梯度的目标跟踪方 法与系统。
【背景技术】
[0002] 目标跟踪是计算机视觉领域里的一个重要分支，随着人工智能的发展，目标跟踪 技术越来越受到重视。传统的目标跟踪主要集中在对视频序列RGB信息的研究，由于RGB信 息只能从物体的色彩方面对其进行描述，忽略了目标的形状以及位置等重要的信息。使用 单一的有效信息导致基于RGB信息的目标跟踪容易受到光照变化、背景复杂、目标形变、遮 挡等因素的影响，跟踪效果不理想，容易出现跟踪丢失和错误跟踪等问题。
[0003] 近年来，随着距离传感器的发展，其精度得到了大幅度的提升，同时价格也下降到 了一个可接受的范围，这使得采集视频RGB图像序列的同时也能够方便地获取对应的深度 图像序列。深度信息代表了物体的位置信息，当前很多目标跟踪的研究将深度信息与RGB信 息结合，即利用了图像序列中物体的色彩信息以及位置信息，这使得目标跟踪的性能得到 了一定程度的提升。虽然相比于传统的仅使用RGB信息的目标跟踪方法，上述加入深度信息 的目标跟踪方法拥有更好的性能，但是仅靠使用深度信息提供的位置信息并没有有效利用 深度图像序列的深度信息，因此上述方法存在很大的改进空间。
【发明内容】
[0004] 针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度梯度的目标跟 踪方法及系统，其中通过使用深度梯度信息和RGB信息对目标进行描述，实现了目标跟踪的 准确性，本发明分别使用检测和跟踪两种方法，且在每一帧处理过后，对分类器模型进行选 择性调整，大大提高了跟踪效果的鲁棒性，同时减少了模型漂移问题，相应可有效解决当前 目标跟踪方法中存在的在背景与目标颜色接近、光照变化明显、遮挡等导致的跟踪错误或 丢失的问题，因而尤其适用于小速率目标跟踪的应用场合。
[0005] 为实现上述目的，按照本发明的一个方面，提出了一种基于深度梯度的目标跟踪 方法，其特征在于，所述方法包括：
[0006] (1)获取待跟踪视频序列，包括RGB图像序列以及对应的深度图像序列；
[0007] (2)对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置所处的最小 矩形框；
[0008] (3)将步骤(2)中最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域为 负样本，针对所述正样本提取RGB图像的方向梯度直方图H0G特征，训练支持向量机SVDD分 类器；
[0009] (4)根据步骤（1)中获取的所述深度图像序列，得到第k幅深度图像第i行第j列的 深度梯度信息gk(i,j)为：
[0010] gk(i, j) =dk(i-l, j-l)_dk(i, j)
[0011]其中，dkdd)为深度图像序列中第k幅深度图像第i行第j列的深度值；
[0012] (5)针对当前帧进行目标检测:对当前帧在上一帧中最小矩形框1倍尺度范围内进 行基于RGB图像的H0G特征多尺度目标检测，得到对应的检测结果；
[0013] (6)针对当前帧进行目标跟踪:根据步骤(4)得到的深度梯度信息gk(^)，通过深度 梯度流方法进行目标跟踪，得到对应的跟踪结果；
[0014] (7)根据步骤(5)和(6)中分别得到的检测结果和跟踪结果，得到当前帧的目标可 信度集合C;
[0015] (8)在目标可信度集合C中选取最大目标可信度Cmax，并根据选取的最大目标可信 度C max进一步获取候选目标框矩阵bbd中对应的元素，继而，得到最终目标框bbmax为：
[0016]
[0017] (9)判断当前帧的最大目标可信度Cmax是否大于第二阈值θχ，如果C^，则认为跟踪 结果正确，返回当前帧最终目标框bbmax，同时以目标框bbmax为正样本更新分类器模型;如果 ΘΚ?ΧΘ:，其中θ2为第三阈值，返回当前最终目标框bbmax，则保持分类器模型不变，；如果C〈 θ 2,则返回无跟踪目标；
[0018] (10)对下一帧图像重复步骤(5)-(9)。
[0019] 作为进一步优选的，所述检测结果包括所有可信度大于第一阈值的候选目标框矩 阵bbd及其对应的可信度矩阵Cd，其中，所述第一阈值为通过实验整定选取。
[0020] 作为进一步优选的，所述跟踪结果包括跟踪目标框bbde及将其作为支持向量机SVM 分类器输入而进一步得到的目标框可信度Cde。
[0021] 作为进一步优选的，其特征在于，所述当前帧的目标可信度集合C为：
[0022] C = Cd+acder (bbde, bbd)
[0023] 其中，r (bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合 率，a为重合系数。
[0024] 为实现上述目的，本发明还提供了一种基于深度梯度的目标跟踪系统，其特征在 于，所述系统包括：
[0025] 获取单元，用于获取待跟踪视频序列，包括RGB图像序列以及对应的深度图像序 列；
[0026] 标定单元，用于对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置 所处的最小矩形框；
[0027] 提取单元，用于将最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域 为负样本，针对所述正样本提取RGB图像的方向梯度直方图H0G特征，训练支持向量机SVDD 分类器；
[0028] 深度梯度信息估计单元，用于根据获取的所述深度图像序列，得到第k幅深度图像 第i行第j列的深度梯度信息gkUd为：
[0029] gk(ij) = dk(i-i,j-i)-dk(i,j)
[0030] 其中，dk(1^为深度图像序列中第k幅深度图像第i行第j列的深度值；
[0031] 目标检测单元，用于对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB 图像的HOG特征多尺度目标检测，得到对应的检测结果；
[0032]目标跟踪单元，用于根据深度梯度信息gk(^)，通过深度梯度流方法进行目标跟 踪，得到对应的跟踪结果；
[0033]目标可信度集合估计单元，用于根据所述检测结果和所述跟踪结果，得到当前帧 的目标可信度集合C;
[0034]目标框估计单元，用于在目标可信度集合C中选取最大目标可信度Cmax，并根据选 取的最大目标可信度cmax进一步获取候选目标框矩阵bbd中对应的元素^，继而，得到最终 目标框bbmaxS :
[0035]
[0036] 判断单元，用于判断当前帧的最大目标可信度Cmax是否大于第二阈值Θ:，如果 则认为跟踪结果正确，返回当前帧最终目标框bb max，同时以最终目标框bbmax为正样本更新 分类器模型；如果ΘΚ?ΧΘ:，其中θ 2为第三阈值，返回当前最终目标框bbmax，则保持分类器模 型不变，；如果(Χθ2，则返回无跟踪目标。
[0037] 作为进一步优选的，所述检测结果包括所有可信度大于第一阈值的候选目标框矩 阵bbd及其对应的可信度矩阵Cd，其中，所述第一阈值为通过实验整定选取。
[0038] 作为进一步优选的，所述跟踪结果包括跟踪目标框bbde及将其作为支持向量机 SVDD分类器输入而进一步得到的目标框可信度Cde。
[0039] 作为进一步优选的，所述当前帧的目标可信度集合C为：
[0040] C = Cd+acder (bbde, bbd)
[0041 1 其中，r(bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合 率，a为重合系数。
[0042]总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的 技术优点：
[0043] 1.本发明通过使用深度梯度信息和RGB信息，对目标从色彩和形状两个方面进行 描述，有效利用了目标信息，大大提高了目标跟踪的准确性；
[0044] 2.本发明的基于深度梯度的目标跟踪方法，对于每一帧图像分别使用目标检测和 目标跟踪进行估计，继而对获取的检测结果和跟踪结果加权平均，显著提高了本发明目标 跟踪的可靠性；
[0045] 3.另外，本发明在对每一帧处理后，对支持向量机SVDD分类器模型进行选择性调 整，从而减小了模型的漂移，进一步增强了目标跟踪的准确性。
【附图说明】
[0046] 图1表示深度梯度帧间的一致性；
[0047] 图2表示本发明方法适用的时间连续运动；
[0048]图3表示深度梯度的空间一致性；
[0049] 图4为本发明基于深度梯度的目标跟踪方法流程图；
[0050] 图5为本发明在实际的目标跟踪应用中的方法流程图；
[0051]图6为本发明基于深度梯度的目标跟踪系统结构图；
[0052]图7为本方法应用于目标与光照变化较明显场景下的跟踪效果图；
[0053]图8为本方法应用于目标与背景颜色接近的场景下的跟踪效果图。
【具体实施方式】
[0054]为了使本发明的目的、技术方案及优点更加清楚明白 ，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要 彼此之间未构成冲突就可以相互组合。
[0055] 以下首先对本发明用到的术语进行解释和说明。
[0056] 深度梯度:受限于深度信息获取的成本，传统的目标跟踪基本上都是基于图像的 RGB信息的，在复杂场景下，只使用RGB信息来进行目标跟踪，尤其是背景颜色和目标颜色相 近、有遮挡、光照变化大等场景下效果不理想。近年来，随着获取深度信息变得廉价方便，很 多目标跟踪算法中加入了深度信息，得益于深度信息的使用，目标跟踪效果的到了很大的 提升，但是直接使用深度来进行跟踪并不能充分利用深度信息。与深度不同，深度梯度是对 物体形状的一种描述，使用深度梯度做跟踪恰好可以和RGB颜色信息互补，提高跟踪算法的 鲁棒性。
[0057] 一致性:深度梯度作为对目标形状的一种描述，当目标外形不变时具有稳定性也 即一致性，深度梯度一致性需要满足三个假设。一是目标运动时需要假设目标像素被逐帧 跟踪时，其深度梯度不发生变化，如图1所示;二是目标的运动需要是时间连续的，也即运动 是小运动，图像的运动随时间的变化比较缓慢，实际应用中是指时间变化相对视频序列中 运动的比例要足够小，这样目标在帧间运动就比较小，如图2所示;三是在一个场景中同一 表面上邻近点具有相似的运动，邻近点在图像平面上投影也在邻近区域，如图3所示。满足 这三个假设，在目标跟踪时深度梯度便具有一致性了。
[0058] H0G:Histograms Of Oriented Gradient，即方向梯度直方图描述子。其主体思想 是:在一副图像中，局部目标的表象和形状(appearance and shape)能够被梯度或边缘的 方向密度分布很好地描述。具体的实现方法是:首先将图像分成小的连通区域，我们把它叫 细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方 图组合起来就可以构成特征描述器。运动目标的梯度方向直方图特征，描述了图像局部区 域的梯度强度和梯度方向的分布情况，该分布情况能对局部对象外观和形状进行很好的表 征，事实证明能够很好的应用在检测中，已经成为目前主流的方法。
[0059] SVDD: Support Vector Domain Description，SVDD单类分类器是机器学习中常用 的一种分类器，SVDD方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维 的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征 空间中的线性可分的问题。我们使用SVDD用来判断待检测区域是否是跟踪的目标。
[0060] 本发明可以在很大程度上提升目标跟踪的准确度。深度梯度信息和RGB色彩信息 互补，可以让目标跟踪具有更好的鲁棒性。深度梯度流的使用使得本方法在目标背景颜色 和目标相近以及光照变化大时提升效果显著。
[0061] 本发明的目标跟踪方法尤其适用于小速率的目标跟踪，即两帧之间目标的距离和 目标矩形框的对角线比值(设定为0到1之间)较小。按照图4及图5所示的方法流程图对本发 明方法进行具体介绍，所述方法包括以下步骤：
[0062] (1)获取待跟踪视频序列，，即获取RGB-D视频序列，包括RGB图像序列以及对应的 深度图像序列；
[0063] (2)对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置所处的最小 矩形框；
[0064] (3)将步骤(2)中最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域为 负样本，针对所述正样本提取RGB图像的方向梯度直方图HOG特征，训练支持向量机SVDD分 类器；
[0065] (4)根据步骤（1)中获取的所述深度图像序列，得到第k幅深度图像第i行第j列的 深度梯度信息gk(i,j)为：
[0066] gk(ij) = dk(i-i,j-i)-dk(i,j)
[0067] 其中，dk(1d)为深度图像序列中第k幅深度图像第i行第j列的深度值；
[0068] (5)针对当前帧进行目标检测:对当前帧在上一帧中最小矩形框1倍尺度范围内进 行基于RGB图像的H0G特征多尺度目标检测，得到对应的检测结果，所述检测结果包括所有 可信度大于第一阈值的候选目标框矩阵bbd及其对应的可信度矩阵Cd，所述第一阈值为通过 实验整定选取；
[0069] (6)针对当前帧进行目标跟踪:根据步骤(4)得到的深度梯度信息gk(^)，通过深度 梯度流方法进行目标跟踪，得到对应的跟踪结果，所述跟踪结果包括跟踪目标框bbde及将其 作为支持向量机SVDD分类器输入而进一步得到的目标框可信度Cde;
[0070] (7)根据步骤(5)和(6)中分别得到的检测结果和跟踪结果，得到当前帧的目标可 信度集合C为：
[0071] C = Cd+acder (bbde, bbd)
[0072] 其中，r (bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合 率，a为重合系数。
[0073] (8)在目标可信度集合C中选取最大目标可信度Cmax，并根据选取的最大目标可信 度C max进一步获取候选目标框矩阵bbd中对应的元素&\ ^继而，得到最终目标框bbmax为：
[0074]
[0075] (9)判断当前帧的最大目标可信度Cmax是否大于第二阈值Θ:，如果Οθ^则认为跟踪 结果正确，返回当前帧最终目标框bb max，同时以目标框bbmax为正样本更新分类器模型;如果 ΘΚ?ΧΘ:，其中θ2为第三阈值，返回当前最终目标框bb max，则保持分类器模型不变，；如果C〈 θ2,则返回无跟踪目标；
[0076] (10)对下一帧图像重复步骤(5)-(9)。
[0077] 在本发明中，深度梯度流是空间运动物体在观察成像平面上的像素运动的瞬时速 度，是利用深度梯度图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上 一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。 深度梯度流是可由场景中前景目标本身的移动、相机的运动，或者两者的共同运动产生。
[0078]深度梯度流是空间运动物体在观测成像平面上的像素运动的"瞬时速度"。深度梯 度流的利用图像序列中像素深度梯度数据的时域变化和相关性来确定各自像素位置的"运 动"，通过深度梯度流场从视频的深度图像序列中近似获得目标的运动场。
[0079]深度梯度流法的前提假设：
[0080] (1)相邻帧之间同一像素点的深度梯度度恒定；
[0081] (2)相邻视频帧的取帧时间连续，或者，相邻帧之间物体的运动比较"微小"；
[0082] (3)保持空间一致性;即，同一子图像的像素点具有相同的运动。
[0083]当满足以上三点假设时，就可以使用深度梯度流进行目标跟踪。本方法使用 Lucas-Kanade算法求深度梯度。它计算两帧在时间t到t+δ?之间每个像素点位置的移动。由 于它是基于图像信号的泰勒级数，这种方法称为差分，这就是对于空间和时间坐标使用偏 导数，它的约束为方程为：
[0084] G(x,y ,t) =G(x+5x,y+5y ,t+5t)
[0085] 其中G(x,y,t)是时刻t时点(x,y)处的深度梯度值，6(1+5乂，7+573+51：)是时刻七+5 t时点（Χ+δχ，y+5y )的深度梯度值，时刻t时的点（X，y )和时刻t+δ?时的点(Χ+δχ，y+5y )是物 体的同一点在图像上的投影。我们假设移动足够的小，那么对图像约束方程使用泰勒公式， 我们可以得到：
[0086]
[0087] 其中Η.0.Τ指高阶无穷小，即：
[0088] Gxdx+Gydy+Gtdt = 0,
[0089] 令U = g , V = 那么:Gxu+Gyv = _Gt，根据深度梯度一致性假设，
[0090]
[0091]即Α?= 6，.计算的目的是使得IIAS-IHI最小，
[0092]
[0093]在深度梯图像中，假设第k帧有一点H(x，y)，则在k+Ι帧中该点位置为H(x+u，y+v)。 [0094] 通过深度梯度流法进行目标跟踪，具体包括以下步骤：
[0095] (1)对一个连续的视频深度梯度帧序列进行处理；
[0096] (2)针对每一个视频序列，在第一帧标记出需要跟踪的目标；
[0097] (3)提取目标中具有代表性的关键特征点（可以随机产生，也可以利用角点来做特 征点）；
[0098] (4)对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前 帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；
[0099] (5)恰好框住所有被跟踪目标关键特征点的最小矩形框既是深度梯度流法跟踪的 目标框；
[0100] (6)如此迭代进行，便可实现目标的跟踪。
[0101] 相应地，本发明还提出了一种基于深度梯度的目标跟踪系 统，如图6所示，所述系 统包括：
[0102] 获取单元，用于获取待跟踪视频序列，包括RGB图像序列以及对应的深度图像序 列；
[0103] 标定单元，用于对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置 所处的最小矩形框；
[0104] 提取单元，用于将最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域 为负样本，针对所述正样本提取RGB图像的方向梯度直方图H0G特征，训练支持向量机SVDD 分类器；
[0105] 深度梯度信息估计单元，用于根据获取的所述深度图像序列，得到第k幅深度图像 第i行第j列的深度梯度信息gkUd为：
[0106] gk(ij) = dk(i-i,j-i)-dk(i,j)
[0107] 其中，dk(1^为深度图像序列中第k幅深度图像第i行第j列的深度值；
[0108] 目标检测单元，用于对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB 图像的HOG特征多尺度目标检测，得到对应的检测结果，包括所有可信度大于第一阈值的候 选目标框矩阵bbd及其对应的可信度矩阵Cd;
[0109] 目标跟踪单元，用于根据深度梯度信息gk(1d)，通过深度梯度流方法进行目标跟 踪，得到对应的跟踪结果，包括跟踪目标框bbde及将其作为支持向量机SVM分类器输入而进 一步得到的目标框可信度Cde;
[0110] 目标可信度集合估计单元，用于根据所述检测结果和所述跟踪结果，得到当前帧 的目标可信度集合C为：
[0111] C = Cd+acder (bbde, bbd)
[0112] 其中，r(bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合 率，a为重合系数。
[0113] 目标框估计单元，用于在目标可信度集合C中选取最大目标可信度Cmax，并根据选 取的最大目标可信度C max进一步获取候选目标框矩阵bbd中对应的元素&%，继而，得到最终 目标框bbmaxS :
[0114]
[0115] 判断单元，用于判断当前帧的最大目标可信度Cmax是否大于第二阈值Θ:，如果C> θχ，则认为跟踪结果正确，返回当前帧最终目标框bb max，同时以最终目标框bbmax为正样本更 新分类器模型；如果ΘΚ?ΧΘ:，其中θ 2为第三阈值，返回当前最终目标框bbmax，则保持分类器 模型不变，；如果(Χθ2，则返回无跟踪目标。
[0116] 如图7为在目标与光照变化比较明显的场景下所获得的跟踪效果图，图8为在目标 与背景颜色接近的场景下所获得的跟踪效果图，其中，第一行均为无深度梯度跟踪效果，第 二行均为执行本方法后的跟踪效果;通过跟踪效果图的对比，可以很明显地看出，通过执行 本发明的基于深度梯度的目标跟踪方法，进一步提高了跟踪的准确性和可靠性。
[0117]本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以 限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
【主权项】
1. 一种基于深度梯度的目标跟踪方法，其特征在于，所述方法包括： (1) 获取待跟踪视频序列，包括RGB图像序列以及对应的深度图像序列； (2) 对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置所处的最小矩形 框； (3) 将步骤(2)中最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域为负样 本，针对所述正样本提取RGB图像的方向梯度直方图HOG特征，训练支持向量机SVDD分类器； (4) 根据步骤（1)中获取的所述深度图像序列，得到第k幅深度图像第i行第j列的深度 梯度信息gk(i,j)为： gk(i, j) = dk(i-1, j-l)-dk(i, j) 其中，dk(1』为深度图像序列中第k幅深度图像第i行第j列的深度值； (5) 针对当前帧进行目标检测:对当前帧在上一帧中最小矩形框1倍尺度范围内进行基 于RGB图像的HOG特征多尺度目标检测，得到对应的检测结果； (6) 针对当前帧进行目标跟踪:根据步骤(4)得到的深度梯度信息gk(1』，通过深度梯度 流方法进行目标跟踪，得到对应的跟踪结果； (7) 根据步骤(5)和(6)中分别得到的检测结果和跟踪结果，得到当前帧的目标可信度 集合C; (8) 在目标可信度集合C中选取最大目标可信度Cmax，并根据选取的最大目标可信度Cmax 进一步获取候选目标框矩阵bbd中对应的元素&~，继而，得到最终目标框bbmax为：(9) 判断当前帧的最大目标可信度Cmax是否大于第二阈值Q1，如果OQ1^lj认为跟踪结果 正确，返回当前帧最终目标框bb max，同时以目标框bbmax为正样本更新分类器模型；如果02〈C U 1，其中θ2为第三阈值，返回当前最终目标框bbmax，则保持分类器模型不变，；如果(：〈0 2，则 返回无跟踪目标； (10) 对下一帧图像重复步骤(5)-(9)。2. 如权利要求1所述的方法，其特征在于，所述检测结果包括所有可信度大于第一阈值 的候选目标框矩阵bbd及其对应的可信度矩阵Cd，其中，所述第一阈值为通过实验整定选取。 3 .如权利要求1所述的方法，其特征在于，所述跟踪结果包括跟踪目标框bbde及将其作 为支持向量机SVDD分类器输入而进一步得到的目标框可信度Cde。4. 如权利要求1-3任一项所述的方法，其特征在于，所述当前帧的目标可信度集合C为： C = Cd+acder (bbde, bbd) 其中，r (bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合率，a 为重合系数。5. -种基于深度梯度的目标跟踪系统，其特征在于，所述系统包括： 获取单元，用于获取待跟踪视频序列，包括RGB图像序列以及对应的深度图像序列； 标定单元，用于对视频序列的第一帧进行标定，选取待跟踪的目标，给出目标位置所处 的最小矩形框； 提取单元，用于将最小矩形框所选矩形区域设定为正样本，其余非所选矩形区域为负 样本，针对所述正样本提取RGB图像的方向梯度直方图HOG特征，训练支持向量机SVDD分类 器； 深度梯度信息估计单元，用于根据获取的所述深度图像序列，得到第k幅深度图像第i 行第j列的深度梯度信息gkUd为： gk(i, j) = dk(i-1, j-l)-dk(i, j) 其中，dk(1』为深度图像序列中第k幅深度图像第i行第j列的深度值； 目标检测单元，用于对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB图像 的HOG特征多尺度目标检测，得到对应的检测结果； 目标跟踪单元，用于根据深度梯度信息gku』，通过深度梯度流方法进行目标跟踪，得 到对应的跟踪结果； 目标可信度集合估计单元，用于根据所述检测结果和所述跟踪结果，得到当前帧的目 标可信度集合C; 目标框估计单元，用于在目标可信度集合C中选取最大目标可信度Cmax，并根据选取的 最大目标可信度Cmax进一步获取候选目标框矩阵bbd中对应的元素％,，继而，得到最终目标 框bbmax为：判断单元，用于判断当前帧的最大目标可信度Cmax是否大于第二阈值Q1，如果Oe1，则认 为跟踪结果正确，返回当前帧最终目标框bbmax，同时以最终目标框bbmax为正样本更新分类 器模型；如果QXcxe 1，其中Θ2为第三阈值，返回当前最终目标框bbmax，则保持分类器模型不 变，；如果c〈0 2,则返回无跟踪目标。6. 如权利要求5所述的系统，其特征在于，所述检测结果包括所有可信度大于第一阈值 的候选目标框矩阵bbd及其对应的可信度矩阵Cd，其中，所述第一阈值为通过实验整定选取。7. 如权利要求5所述的系统，其特征在于，所述跟踪结果包括跟踪目标框bbde及将其作 为支持向量机SVDD分类器输入而进一步得到的目标框可信度Cde。8. 如权利要求5-7任一项所述的系统，其特征在于，所述当前帧的目标可信度集合C为： C = Cd+acder (bbde, bbd) 其中，r (bbde，bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合率，a 为重合系数。
【专利摘要】本发明公开了一种基于深度梯度的目标跟踪方法，通过对获取的待跟踪RGB-D视频序列的第一帧进行标定，提取RGB图像的方向梯度直方图特征和深度图像的深度梯度信息；基于上述信息，对当前帧进行目标检测和目标跟踪，并根据检测结果和跟踪结果，进一步得到最终目标框；最后，对下一帧重复前述步骤且在每一帧处理后，对分类器模型进行选择性调整。相应地本发明还公开了一种对应的系统。通过执行本发明中的方法，有效解决了当前目标跟踪方法中存在的在背景与目标颜色接近、光照变化明显、遮挡等导致的跟踪错误或丢失的问题，大大提高了目标跟踪的鲁棒性，同时减少了训练模型的漂移问题，尤其适用于小速率目标跟踪的应用场合。
【IPC分类】G06T7/20
【公开号】CN105488811
【申请号】CN201510822670
【发明人】高常鑫, 时辉章, 桑农, 刘心田, 邹雷, 赵俊, 李逢, 吴建雄
【申请人】华中科技大学
【公开日】2016年4月13日
【申请日】2015年11月23日
最新回复(0)