一种支持目标尺寸变化的实时对象跟踪方法
一种支持目标尺寸变化的实时对象跟踪方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域，具体涉及一种支持目标尺寸变化的实时对象跟 踪方法。
【背景技术】
[0002] 实时目标跟踪是智能视频监控系统中非常重要的功能之一，也是计算机视觉领域 非常重要的研究方向之一。同时，目标跟踪也可以为计算机视觉领域其他问题，如动作识 另IJ、视频内容分析等问题提供良好的输入数据。
[0003] 目标跟踪算法可以简单划分为基于轮廓的目标跟踪算法，基于特征匹配的目标跟 踪算法和基于区域搜索的目标跟踪算法。基于主动轮廓跟踪的方法同时考虑了目标的灰度 信息以及目标轮廓的几何信息，增强了跟踪的可靠性;但是由于跟踪过程是通过不断地寻 找最优过程，计算量非常大，且对于高速运动的物体或者形变较大的情况，跟踪效果不够理 想。基于特征的跟踪算法的优点在于对运动目标的尺度、形变和亮度等变化不敏感，即使目 标部分被遮挡，仍可以通过其他部分特征进行匹配跟踪;但是这类方法对于视频中噪声比 较敏感，图像特征的提取也依赖于各种特征算子及其参数的设置，此外，连续视频帧之间的 特征也可能发生变化，难以匹配。基于区域的搜索方法的优点在于当目标未被遮挡时，跟踪 精度非常高、跟踪非常稳定;但这类方法的缺点是当搜索区域较大时需要大量的计算匹配， 其次，对于目标在视频中发生的形变以及遮挡等情况的处理效果也很差。
[0004] 由于跟踪目标距离相机的距离不同导致其在相机内成像大小发生变化，而目前效 果较好的跟踪方法几乎都没有考虑目标成像缩放的问题，如Struck算法，压缩感知算法 (CT)，核协同滤波算法(KCF)，局部稀疏外观模型算法(ASLA)等，这无疑会导致跟踪框精度 下降。而一些考虑缩放问题带来的精度问题一般都是通过目标检测的方式获取到目标较为 准确的大小，再做关联匹配的，然而这类方法在目标受到遮挡时经常会检测不到或者检测 错误，如TLD算法。针对这一问题，本发明通过建立目标位置与成像大小的映射函数来解决 缩放带来的跟踪框精度问题，同时对目标提取了局部的Haar-like特征、全局的颜色直方图 信息以及空间位置的约束，增强了跟踪的鲁棒性，并且由于计算复杂度不高，能够很好地达 到实时性的要求。
【发明内容】
[0005] 本发明的目的是解决目前目标跟踪算法难以解决的目标尺寸变化的情况，提出了 一种支持目标尺寸变化的实时对象跟踪方法，可以达到实时性，能够准确的跟踪目标，并且 跟踪框的精度非常高。
[0006] 为完成本发明的目的，本发明采用的技术方案是一种支持目标尺寸变化的实时对 象跟踪方法，包括以下步骤：
[0007] 步骤(1)、目标跟踪预处理阶段：
[0008] a)对于运动物体在视频帧序列中成像大小的参数方程进行求解;首先根据手工标 定的不同运动物体在视频帧序列中的矩形框位置及大小，利用最小二乘法对矩形框大小计 算公式的参数进行求解；
[0009] b)设定模板矩形框大小S;
[00?0] c)根据模板框rs大小在模板框内随机生成Nh(Nh为常数，一般取模板框的长度或者 高度)个不同位置不同大小的Haar-1 ike特征；
[0011]步骤(2)、可变尺度跟踪模型的初始化：
[0012] a)获取需要跟踪目标的视频序列帧ft及目标初始位置矩形框r〇;
[0013] b)对每个Haar-like特征的特征值的概率分布进行初始化，对于每一个特征值作 为正样本和负样本均初始化为以特征值为中心位置的正态分布；
[0014] c)计算目标矩形框ro颜色直方图H。作为全局特征；
[0015] d)初始化跟踪目标在图像中的运动速度为V〇= (0,0)(在图像二维平面运动速度 为〇);
[0016] e)初始化跟踪目标在当前帧的匹配度S = l;
[0017] f)跳到步骤(3)f)。
[0018] 步骤(3)、可变尺度跟踪过程：
[0019] a)根据视频上一帧目标位置r，在当前帧对应位置周围进行采样，采样矩形框大小 根据当前采样位置、初始位置矩形框ro以及步骤(l)a)得到的参数方程进行计算；
[0020] b)对于每一个采样框，将其缩放到模板框大小，计算Nh个Haar-l ike特征值;利用 朴素贝叶斯分类器对每一个Haar-like特征值根据其对应的正态分布计算分类并求和，然 后通过sigmoid函数归一化，得到局部特征的相似度；
[0021 ] c)对于每一个采样框，计算其颜色直方图Hi，利用Bhattacharrya系数计算H。和Hi 的距离，利用sigmoid函数归一化，得到全局特征的相似度；
[0022] d)根据每一个采样框的位置，计算其相对于上一帧的运动速度，与当前跟踪目标 运动速度V。进行距离和角度比较，对空间运动关系进行约束，利用sigmoid函数归一化，得 到空间位置相似度；
[0023] e)根据每一个采样框的局部特征相似度、全局特征相似度以及空间位置相似度计 算最终的相似度，取最终相似度最大的采样框作为当前帧的跟踪目标的位置，若所有采样 框的最终相似度的最大值小于一定阈值则认为跟踪丢失，跳到步骤(4);否则，执行f)。 [0024] f)在跟踪目标的位置r临近的小范围区域生成正样本框，在跟踪目标的位置r 一定 距离范围的区域生成负样本框，通过将正负样本框缩放到模板框大小计算局部Haar-like 特征、全局颜色直方图特征以及速度;对跟踪目标的局部特征的概率分布、全局的颜色直方 图信息以及运动速度进行更新，特别的，将当前帧所有候选目标采样框中相似度最高的采 样框的相似度作为学习率，进行动态的更新；
[0025] g)获取视频下一帧作为当前视频帧，跳到步骤(3)a)，若无法获取视频下一帧，则 跳到步骤(4)。
[0026] 步骤(4)、目标跟踪结束。
[0027]在预处理阶段对视频的成像进行了分析，得到了物体在视频中成像大小与其位置 的关系。具体来说，在相机成像的图像中，假设地平面上沿深度方向直线的消失点在图像中 位置为Pv，物体与地面接触点在图像中成像位置为P，则必定存在一条直线，使得物体在图 像中的大小，与Pv和P连线在该直线上的投影长度成线性的正比例关系(假设物体与地平面 接触并且物体各个部分的位置处于同一深度）。又因为点在直线上投影是线性变换关系，所 以对于固定场景下的静态相机而言，存在常数Μ、 &1、&2使得同一目标在相机中成像大小有 如下关系：
[0028]
[0029] 其中，size(u，v)表示目标处于图像中坐标(u，v)处在图像中的大小，size(UQ，vo) 表示目标处于图像中坐标(u〇，VQ)处在图像中的大小。对于常数的求解，利用最小二 乘法根据标定的不同运动物体在视频帧序列中的矩形框位置及大小进行求解。
[0030] 在跟踪阶段，对生成候选目标位置的采样框的大小会根据当前采样位置以及初始 位置矩形框ro进行计算，得到较为准确的目标在图像中的大小。
[0031] 对于特征匹配，采用了局部Haar-like特征和全局颜色直方图特征以及空间位置 关系约束对目标进行跟踪。具体来说，首先通过对当前帧图像的不同颜色通道分别计算预 先定义好的Haar-1 ike特征，利用大量的Haar-1 ike特征充分表示跟踪目标的局部特征，通 过朴素m Π+浙分悉翌讲轩剌另丨匕
[0032]
[0033] 其中，Fi表示所有的Haar-like特征值，k表示不同颜色通道，時:表示在k颜色通道 的第i个采样框的Nh个Haar-1 ike特征值，y表示对当前采样框的分类，y = 0表示当前采样框 不是跟踪目标，y = l表示采样框是跟踪目标，P(c|y = 〇)表示特征值c作为负样本的概率分 布，p(c | y = 1)表示特征值c作为正样本的概率分布函数。
[0034] 然后考虑了全局的颜色直方图特征，对于跟踪框内的不同位置的像素给予不同的 权重，认为越靠近跟踪框的中心的像素，其更可能属于跟踪目标，故其权重越高，位于跟踪 框边缘的像素，其属于跟踪目标的可能性比较低，故为其分配较低的权重。根据这样的特 点，采用二维的正态分布为矩形跟踪框的每个像素分配权重。
[0035]
[0036]
[0037] 其中，H(x)表示第X个颜色区间Bin(x)的像素个数，r表示矩形框，rcu、rcv、r4Pn^ v 别表示矩形框的中心位置坐标和以及矩形的宽和高，》示按照矩形框r基于正态 分布生成的权重，It表示当前视频帧图像，表示处于图像(u，v)处的像素值;h x(p)表 示像素P是否属于第X个颜色区间Bin(x)。
[0038]最后，对候选目标采样框的位置进行了约束，对于运动目标的位置来说，在连续视 频帧中，运动目标的位置的变化具有连续性，并且变化较为平滑，不会发生突然的跳变，这 对于运动目标的跟踪来说，是一个非常有用的约束条件。
[0039]
[0040] 其中，V。表示当前跟踪目标的速度向量，V表示从上一帧目标矩形框中心位置指向 当前矩形框中心位置的向量，可看作是当前移动速度（以一帧时间为单位），arccos(V。· V) 为向量V。和向量V之间通过点积计算夹角，s为候选目标采样框的范围大小的一半，π为圆周 率常数，α为权重常数，取0.5。
[0041] 采用动态更新跟踪目标数据的方式对跟踪模型进行更新。将当前帧所有候选目标 采样框中相似度最高的采样框的相似度作为学习率，这样在动态的视频帧序列中，跟踪目 标的变化会因较高的学习率而快速更新到模型中，同时对于受到干扰的跟踪目标，如被其 他目标或场景中物体遮挡造成相似度较低的情况下，由于学习率较低，所以会更多地保留 原来的数据，使得模型更加鲁棒。
[0042] 本发明的原理在于：
[0043]首先通过相机成像原理以及一些标定数据，对于物体在视频中成像大小建立了模 型，可以通过当前目标位置及初始位置和大小准确地获取当前跟踪目标大小，有效提高跟 踪效果的准确度和精度。并且，本方法联合了局部Haar-like特征、全局颜色直方图信息以 及空间位置约束，使得目标的表示模型更加鲁棒，同时计算复杂度低，能够保持实时性;其 次，对于模型的更新采用了动态更新的机制，对于匹配度低的情况，更新率较低，抑制了噪 音的引入，更好的对目标进行跟踪。
[0044] 与现有技术相比，本发明可变尺度的实时目标跟踪方法还具有以下有益效果：
[0045] (1)本发明采用的可变尺度缩放的原理可以非常容易的应用于其他基于滑动窗口 采样的跟踪方法，具有普适性。
[0046] (2)本发明通过动态的基于匹配度的更新方式，这样在动态的视频帧序列中，跟踪 目标的变化会因较高的更新率而快速更新到模型中，同时对于受到干扰的跟踪目标，如被 其他目标或场景中物体遮挡造成相似度较低的情况下，由于更新率较低，所以会更多地保 留原来的数据，使得模型更加鲁棒。
【附图说明】
[0047] 图1为本发明的一种支持目标尺寸变化的实时对象跟踪流程图示意图；
[0048]图2为本发明的物体成像大小原理示意图；
[0049]图3为本发明的目标大小转换示例图；
[0050]图4为本发明的Haar-like特征计算流程示意图；
[0051]图5为本发明的空间位置约束相似度在不同参数下比较示意图；
[0052]图6为本发明的更新阶段采样框示意图，图6(a)为正样本框的示意图，图6(b)为负 样本框的。
【具体实施方式】
[0053]下面结合附图和实施例对本发明具体步骤进行详细描述。
[0054]本发明提出了一种支持目标尺寸变化的实时对象跟踪方法，首先结合图1 一种支 持目标尺寸变化的实时对象跟踪流程图示意图，详细介绍本发明的跟踪处理过程。
[0055] 步骤(1)、目标跟踪预处理阶段：
[0056 ] a)首先对运动物体在视频帧序列中的成像的矩形框大小计算公式参数进行求解； [0057]如图2所示，对于地平面上沿相机坐标系z轴的直线上的3个点来说，其在 图像中的投影位置仍位于同一直线上，并且图像中投影点和地平面上沿深度方 向直线的消失点在图像中成像位置和连线在该直线上的投影长度与原始点的位置距离相 机的距离成反比关系。所以在相机成像的图像中，假设地平面上沿深度方向直线的消失点 在图像中位置为Pv，物体与地面接触点在图像中成像位置为P，则必定存在一条直线，使得 物体在图像中的大小，与Pv和P连线在该直线上的投影长度成线性的正比例关系(假设物体 与地平面接触并且物体各个部分的位置处于同一深度）。又因为点在直线上投影是线性变 换关系，所以对于固定场景下的静态相机而言，存在常数Μ、 &1、&2使得同一目标在相机中成 像大小有如下关系：
[0058]
[0059] 其中，size(u，v)表示目标处于图像中坐标(u，v)处在图像中成像的大小，size (uo，νο)表示目标处于图像中坐标(uo，νο)处在图像中成像的大小。
[0060] 根据公式，可以利用预先在该视频序列中标定一些物体的位置及大小，通过利用 最小二乘法对参数ao、ai、a2进行直线拟合求解。
[0061]
[0062] 其中，矩阵AnX3和向量bnX1为通过标定一些物体的位置及大小的数据，AnX3+表示矩 阵的广义逆。
[0063] 图3展示了根据上述公式得到参数&〇、&1、&2以及根据初始跟踪位置（白色实线矩形 框)对目标可能处于的位置进行计算转换得到的矩形框（白色虚线矩形框)的一个例子。 [00 64] b)设定模板矩形框rs的大小s;
[0065] c)根据模板框rs大小在模板框内随机生成Nh(Nh为常数，一般取模板框的长度或者 高度)个不同位置不同大小的Haar-1 ike特征；
[0066] 步骤(2)、可变尺度跟踪模型的初始化：
[0067] a)获取需要跟踪目标的视频序列帧It及目标初始位置矩形框ro;
[0068] b)为每个Haar-1 ike特征的特征值的概率分布进行初始化，对于每一个特征值作 为正样本和负样本均初始化为以特征值为中心位置的正态分布；
[0069] c)计算目标矩形框ro颜色直方图H。作为全局特征；
[0070] 对于跟踪框内的不同位置的像素给予不同的权重，认为越靠近跟踪框的中心的像 素，其更可能属于跟踪目标，故其权重越高，位于跟踪框边缘的像素，其属于跟踪目标的可 能性比较低，故为其分配较低的权重。根据这样的特点，采用二维的正态分布为矩形跟踪框 的每个像素分配权重。则基于正态分布权重的颜色直方图计算公式如下所示：
[0071]
[0072]
[0073] 其中，H(x)表示第 x个颜色区间Bin(x)的像素个数，r表示矩形框，rcu、 rcv、r4Pn^v 别表示矩形框的中心位置和矩形的宽和高衣示按照矩形框r基于正态分布生成 的权重，It表示当前视频帧图像，表示处于图像(u，v)处的像素值;h x(p)表示像素 p 是否属于第X个颜色区间Bin(x)。
[0074] d)初始化跟踪目标在图像中的运动速度为V〇= (0,0)(在图像二维平面运动速度 为〇);
[0075] e)初始化跟踪目标在当前帧的匹配度S = l;
[0076] f)跳到步骤(3)f)。
[0077] 步骤(3)、可变尺度跟踪过程：
[0078] a)根据视频上一帧目标位置rt，在当前帧对应位置周围进行采样，得到目标候选 矩形框R= {η,κ，···^}，采样矩形框的大小根据当前采样位置以及初始位置矩形框Π )进行 以及在预处理阶段得到的参数ao、m、&2进行转换计算；
[0079] b)如图4所示，对于每一个采样框，将其缩放到模板框大小，计算Nh个Haar-1 ike特 征值;利用朴素贝叶斯分类器对每一个Haar-like特征值根据其对应的正态分布计算分类 并求和：
[0080]
[0081] 其中，Fi表示所有的Haar-like特征值，k表示不同颜色通道，Hjas：!%表示符合 Gaussian分布的随机矩阵，pf表示在k颜色通道的第i个采样框的Nh个Haar-1 ike特征值，y 表示对当前采样框的分类，y = 〇表示当前采样框不是跟踪目标，y= 1表示采样框是跟踪目 标，p(c I y = 0)表示特征值c不是跟踪目标的概率分布，p(c I y = 1)表示特征值c是跟踪目标 的概率分布，假设每个Haar-like特征值的是服从正态分布的，即：
[0082]
[0083] 为了能够协调Haar-like特征值匹配的过高或过低，将得到的分类和利用sigmoid 函数归一化得到局部特征的相似度：
[0084]
[0085]其中，β?为常数，一般取Nh的一半，e为自然常数。
[0086] c)对于每一个采样框，计算其基于正态分布权重的颜色直方图出与当前跟踪目标 的颜色直方图H。，采用Bhattacharrya系数公式作为直方图距离计算相似度。
[0087]
[0088]其中，HoUWmKu)分别表示跟踪目标和当前采样框的颜色直方图中的属于第u个 颜色区间的像素个数占所有像素个数的比例，Nb为颜色直方图颜色区间个数。
[0089] 同样的，利用sigmoid函数将颜色直方图归一化得到全局特征的相似度：
[0090]
[0091]其中，仇为常数，一般取6。
[0092] d)根据每一个采样框的位置，计算其相对于上一帧的运动速度，与当前跟踪目标 运动速度V。进行距离和角度比较，对空间运动关系进行约束，因为对于运动目标的位置来 说，在连续视频帧中，运动目标的位置的变化具有连续性，并且变化较为平滑，不会发生突 然的跳变，这对于运动目标的跟踪来说，是一个非常有用的约束条件。
[0093]
[0094] 其中，V。表示当前跟踪目标的速度向量，Vi表示从上一帧目标矩形框中心位置指向 当前矩形框中心位置的向量，可看作是当前移动速度（以一帧时间为单位），arccos(V。· V) 为向量V。和向量V之间通过点积计算夹角，s为候选目标采样框的范围大小的一半，π为圆周 率常数，α为权重常数，取0.5。
[0095]最后，利用s igmoid函数归一化得到空间位置的相似度：
[0096]
[0097]其中，βΡ为常数，一般取6。
[0098] 图5展示了不同α值对于SpJVc^Vi)的影响。
[0099] e)根据每一个候选目标的采样框^的局部特征相似度、全局特征相似度以及空间 位置相似度得到最终的相似度，计算公式如下：
[0100] Si = WlSHaar (Fi ) +W2SaPP (Ho , Hi ) +W3Spos ( Vo , Vi )
[0101] 其中，SHaar(Fi)表示根据Haar-like特征计算的相似度，Fi表示第i个采样框的 Haar-like特征值，SaWH。，^表示当前采样框与模型中的颜色直方图匹配程度，Η。表示当 前跟踪目标的颜色直方图，Hi表示第i个采样框基于正态分布权重的颜色直方图，S PC1S(V。， 表示对采样框的位置的匹配程度，V。表示当前跟踪目标的速度向量，￥1表示从上一帧目 标矩形框中心位置指向第i个采样框中心位置的向量，W1、W2、W3为参数，且W1+W2+W3 = 1。
[0102] 最后取相似度最大的采样框作为当前帧的跟踪目标的位置：
[0103]
[0104] 当存在全少一个米样框与当前跟踪目标的相似度S超过阈值Ts时，认为相似度最 大的那个采样框rt为最精确的跟踪目标位置;否则认为目标跟踪丢失，跳到步骤(4);
[0105] f)对于正态分布模型的更新，主要对正态分布中位置参数μ和尺度参数σ进行更 新。首先根据当前视频帧求得到的跟踪目标的位置，在其周围临近的小范围区域生成正样 本框，通过将正样本框缩放到模板框大小计算所有正样本框的Haar-1 ike特征值的分布，对 于每一个特征值，计算所有采样框的平均分布作为当前视频帧的Haar-1 ike特征值作为正 样本的概率分布，并用得到的分布对跟踪模型正样本的概率分布进行更新；同时，在距离跟 踪目标的位置一定距离范围的区域生成负样本框，通过将负样本框缩放到模板框大小计算 所有负样本框的Haar-1 ike特征值的分布，对于每一个特征值，计算所有采样框的平均分布 作为当前视频帧的Haar-like特征值作为负样本的概率分布，并用得到的分布对跟踪模型 负样本的概率分布进行更新，如图6所示。
[0106]
[0107]
[0108]
[0109]
[0110]其中，μ' i表示根据采样框的Haar-like特征值的第个特征值的正态分布的中心位 置，表示第k个采样框的第i个特征值，σ',表示第i个特征值的正态分布的标准差，Ns表示 采样框的个数，Pi和分别表示跟踪目标的Haar-like特征值的第i个特征值的正态分布的 中心位置和标准差，St表示当前视频帧采样框的最高的相似度。
[0111] 对于外观颜色直方图信息来说，对于跟踪目标运动速度的更新，同样需要更新，
[0112] Ho = (l-St)H〇+StHt
[0113] V〇=(l-St)V〇+StVt
[0114] 针对模型更新程度的更新率，采用的是动态的更新率，将当前帧所有采样框中相 似度最高的采样框的相似度作为更新率，这样在动态的视频帧序列中，跟踪目标的变化会 因较高的更新率而快速更新到模型中，同时对于受到干扰的跟踪目标，如被其他目标或场 景中物体遮挡造成相似度较低的情况下，由于更新率较低，所以会更多地保留原来的数据， 使得模型更加鲁棒。
[0115] g)获取视频下一帧作为当前视频帧，跳到步骤(3)a)，若无法获取视频下一帧，则 跳到步骤(4)。
[0116]步骤(4)、目标跟踪结束。
【主权项】
1. 一种支持目标尺寸变化的实时对象跟踪方法，其特征在于，包括以下步骤： 步骤（1 )、目标跟踪预处理阶段： a) 对于运动物体在视频帧序列中成像大小的参数方程进行求解； b) 设定模板矩形框大小； c) 根据模板框大小在模板框内随机生成Nh个不同位置不同大小的Haar-Iike特征;其中 Nh为常数，取模板框的长度或者高度； 步骤(2 )、可变尺度跟踪模型的初始化： a) 获取需要跟踪目标的视频序列帧及目标初始位置矩形框； b) 对每个Haar-Iike特征的特征值的概率分布进行初始化，对于每一个特征值作为正 样本和负样本均初始化为以特征值为中心位置的正态分布； c) 计算目标矩形框颜色直方图H。作为全局特征； d) 初始化跟踪目标在图像中的运动速度为1=(0,0)，即在图像二维平面运动速度为0; e) 初始化跟踪目标在当前帧的匹配度S = 1; f) 跳到步骤(3)f); 步骤(3 )、可变尺度跟踪过程： a) 根据视频上一帧目标位置，在当前帧对应位置周围进行候选目标采样，采样矩形框 大小根据当前采样位置以及初始位置矩形框以及步骤(Da)得到的参数方程进行计算； b) 对于每一个采样框，将其缩放到模板框大小，计算Nh个Haar-Iike特征值;利用朴素贝 叶斯分类器对每一个Haar-Iike特征值根据其对应的正态分布计算分类并求和，然后通过 sigmoid函数归一化，得到局部特征的相似度； c) 对于每一个采样框，计算其颜色直方图Hi，利用Bhattacharrya系数计算H。和Hi的距 离，利用sigmoid函数归一化，得到全局特征的相似度； d) 根据每一个采样框的位置，计算其相对于上一帧的运动速度，与当前跟踪目标运动 速度V。进行距离和角度比较，对空间运动关系进行约束，利用sigmoid函数归一化，得到空 间位置相似度； e) 根据每一个采样框的局部特征相似度、全局特征相似度以及空间位置相似度计算最 终的相似度，取最终相似度最大的采样框作为当前帧的跟踪目标的位置，若所有采样框的 最终相似度的最大值小于预定阈值则认为跟踪丢失，跳到步骤(4);否则，执行f); f) 在跟踪目标的位置临近的小范围区域生成正样本框，在跟踪目标的位置一定距离范 围的区域生成负样本框，通过将正负样本框缩放到模板框大小计算局部Haar-I ike特征、全 局颜色直方图特征以及速度;对跟踪目标的局部特征的概率分布、全局的颜色直方图信息 以及运动速度进行更新;将当前帧所有候选目标采样框中相似度最高的采样框的相似度作 为学习率，进行动态的更新； g) 获取视频下一帧作为当前视频帧，跳到步骤(3)a)，若无法获取视频下一帧，则跳到 步骤(4); 步骤(4)、目标跟踪结束。2. 根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:在 预处理阶段对视频的成像进行了分析，得到了物体在视频中成像大小与其位置的关系，具 体来说，在相机成像的图像中，假设地平面上沿深度方向直线的消失点在图像中位置为Pv， 物体与地面接触点在图像中成像位置为P1,则必定存在一条直线，使得物体在图像中的大 小，与Pv和P连线在该直线上的投影长度成线性的正比例关系，其中，假设物体与地平面接 触并且物体各个部分的位置处于同一深度;又因为点在直线上投影是线性变换关系，所以 对于固定场景下的静态相机而言，存在常数加、 &1、&2使得同一目标在相机中成像大小有如 下关系：其中，size(u，v)表示目标处于图像中坐标(u，v)处在图像中的大小，size(ut)，Vo)表示 目标处于图像中坐标(UQ，VQ)处在图像中的大小;对于常数ao、ai、a2的求解利用最小二乘法 根据标定的数据进行求解。3. 根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:所 述步骤3,在跟踪阶段，对生成候选目标位置的采样框的大小会根据当前采样位置以及初始 位置矩形框ro进行计算得到准确的目标在图像中成像的大小。4. 根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:所 述步骤3,采用了局部Haar-Iike特征和全局颜色直方图特征以及空间位置关系约束对目标 进行跟踪;首先通过对当前帧图像的不同颜色通道分别计算预先定义好的Haar-Iike特征， 利用大量的Haar-Iike特征充分表示跟踪目标的局部特征，通过朴素贝叶斯分类器进行判 别；其中，Fi表示所有的Haar-Iike特征值，k表示不同颜色通道，表示符合Gaussian 分布的随机矩阵，表示在k颜色通道的第i个采样框的Nh个Haar-Iike特征值，y表示对当 前采样框的分类，y = 〇表示当前采样框不是跟踪目标，y=l表示采样框是跟踪目标，P(c |y =0)表示投影值c作为负样本的概率分布，P(c|y=l)表示投影值c作为正样本的概率分布 函数； 然后考虑了全局的颜色直方图特征，对于跟踪框内的不同位置的像素给予不同的权 重，认为越靠近跟踪框的中心的像素，其更可能属于跟踪目标，故其权重越高，位于跟踪框 边缘的像素，其属于跟踪目标的可能性比较低，故为其分配较低的权重;根据这样的特点， 采用二维的正态分布为矩形跟踪框的每个像素分配权重；其中，H(X)表示第X个颜色区间Bin(X)的像素个数，r表示矩形框，^、~、^和^分别表 示矩形框的中心位置和矩形的宽和高，灰％^^>表示按照矩形框r基于正态分布生成的权 重，It表示当前视频帧图像，表示处于图像(u，v)处的像素值;h x(p)表示像素p是否 属于第X个颜色区间Bin(X); 最后，对候选目标采样框的位置进行了约束，对于运动目标的位置来说，在连续视频帧 中，运动目标的位置的变化具有连续性，并且变化较为平滑，不会发生突然的跳变，这对于 运动目标的跟踪来说，是一个非常有用的约束条件；其中，V。表示当前跟踪目标的速度向量，V表示从上一帧目标矩形框中心位置指向当前 矩形框中心位置的向量，看作是当前移动速度，arccos(V。· V)为向量V。和向量V之间通过点 积计算夹角，s为候选目标采样框的范围大小的一半，π为圆周率常数，α为权重常数。5.根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:步 骤(3)f)采用动态更新跟踪目标数据的方式对跟踪模型进行更新;将当前帧所有候选目标 采样框中相似度最高的采样框的相似度作为学习率，这样在动态的视频帧序列中，跟踪目 标的变化会因较高的学习率而快速更新到模型中，同时对于受到干扰的跟踪目标，在被其 他目标或场景中物体遮挡造成相似度较低的情况下，由于学习率较低，所以会更多地保留 原来的数据，使得模型更加鲁棒。
【专利摘要】本发明公开了一种支持目标尺寸变化的实时对象跟踪方法，首先通过相机成像原理以及一些标定数据，对于物体在视频中成像大小建立了模型，可以通过当前目标位置及初始位置和大小准确地获取当前跟踪目标大小，有效提高跟踪效果的准确度和精度。另外，本方法联合了局部Haar-like特征、全局颜色直方图信息以及空间位置约束，使得目标的表示模型更加鲁棒，同时计算复杂度低，能够保持实时性；其次，对于模型的更新采用了动态更新的机制，对于匹配度低的情况，更新率较低，抑制了噪音的引入，更好的对目标进行跟踪。本发明所述方法对于实时性要求较高且目标在视频中成像大小变化的场景非常适合，特别是现实的监控环境。
【IPC分类】G06T7/20
【公开号】CN105488815
【申请号】CN201510844876
【发明人】周忠, 张景昌, 姜那
【申请人】北京航空航天大学
【公开日】2016年4月13日
【申请日】2015年11月26日
【技术领域】
[0001] 本发明属于计算机视觉技术领域，具体涉及一种支持目标尺寸变化的实时对象跟 踪方法。
【背景技术】
[0002] 实时目标跟踪是智能视频监控系统中非常重要的功能之一，也是计算机视觉领域 非常重要的研究方向之一。同时，目标跟踪也可以为计算机视觉领域其他问题，如动作识 另IJ、视频内容分析等问题提供良好的输入数据。
[0003] 目标跟踪算法可以简单划分为基于轮廓的目标跟踪算法，基于特征匹配的目标跟 踪算法和基于区域搜索的目标跟踪算法。基于主动轮廓跟踪的方法同时考虑了目标的灰度 信息以及目标轮廓的几何信息，增强了跟踪的可靠性;但是由于跟踪过程是通过不断地寻 找最优过程，计算量非常大，且对于高速运动的物体或者形变较大的情况，跟踪效果不够理 想。基于特征的跟踪算法的优点在于对运动目标的尺度、形变和亮度等变化不敏感，即使目 标部分被遮挡，仍可以通过其他部分特征进行匹配跟踪;但是这类方法对于视频中噪声比 较敏感，图像特征的提取也依赖于各种特征算子及其参数的设置，此外，连续视频帧之间的 特征也可能发生变化，难以匹配。基于区域的搜索方法的优点在于当目标未被遮挡时，跟踪 精度非常高、跟踪非常稳定;但这类方法的缺点是当搜索区域较大时需要大量的计算匹配， 其次，对于目标在视频中发生的形变以及遮挡等情况的处理效果也很差。
[0004] 由于跟踪目标距离相机的距离不同导致其在相机内成像大小发生变化，而目前效 果较好的跟踪方法几乎都没有考虑目标成像缩放的问题，如Struck算法，压缩感知算法 (CT)，核协同滤波算法(KCF)，局部稀疏外观模型算法(ASLA)等，这无疑会导致跟踪框精度 下降。而一些考虑缩放问题带来的精度问题一般都是通过目标检测的方式获取到目标较为 准确的大小，再做关联匹配的，然而这类方法在目标受到遮挡时经常会检测不到或者检测 错误，如TLD算法。针对这一问题，本发明通过建立目标位置与成像大小的映射函数来解决 缩放带来的跟踪框精度问题，同时对目标提取了局部的Haar-like特征、全局的颜色直方图 信息以及空间位置的约束，增强了跟踪的鲁棒性，并且由于计算复杂度不高，能够很好地达 到实时性的要求。
【发明内容】
[0005] 本发明的目的是解决目前目标跟踪算法难以解决的目标尺寸变化的情况，提出了 一种支持目标尺寸变化的实时对象跟踪方法，可以达到实时性，能够准确的跟踪目标，并且 跟踪框的精度非常高。
[0006] 为完成本发明的目的，本发明采用的技术方案是一种支持目标尺寸变化的实时对 象跟踪方法，包括以下步骤：
[0007] 步骤(1)、目标跟踪预处理阶段：
[0008] a)对于运动物体在视频帧序列中成像大小的参数方程进行求解;首先根据手工标 定的不同运动物体在视频帧序列中的矩形框位置及大小，利用最小二乘法对矩形框大小计 算公式的参数进行求解；
[0009] b)设定模板矩形框大小S;
[00?0] c)根据模板框rs大小在模板框内随机生成Nh(Nh为常数，一般取模板框的长度或者 高度)个不同位置不同大小的Haar-1 ike特征；
[0011]步骤(2)、可变尺度跟踪模型的初始化：
[0012] a)获取需要跟踪目标的视频序列帧ft及目标初始位置矩形框r〇;
[0013] b)对每个Haar-like特征的特征值的概率分布进行初始化，对于每一个特征值作 为正样本和负样本均初始化为以特征值为中心位置的正态分布；
[0014] c)计算目标矩形框ro颜色直方图H。作为全局特征；
[0015] d)初始化跟踪目标在图像中的运动速度为V〇= (0,0)(在图像二维平面运动速度 为〇);
[0016] e)初始化跟踪目标在当前帧的匹配度S = l;
[0017] f)跳到步骤(3)f)。
[0018] 步骤(3)、可变尺度跟踪过程：
[0019] a)根据视频上一帧目标位置r，在当前帧对应位置周围进行采样，采样矩形框大小 根据当前采样位置、初始位置矩形框ro以及步骤(l)a)得到的参数方程进行计算；
[0020] b)对于每一个采样框，将其缩放到模板框大小，计算Nh个Haar-l ike特征值;利用 朴素贝叶斯分类器对每一个Haar-like特征值根据其对应的正态分布计算分类并求和，然 后通过sigmoid函数归一化，得到局部特征的相似度；
[0021 ] c)对于每一个采样框，计算其颜色直方图Hi，利用Bhattacharrya系数计算H。和Hi 的距离，利用sigmoid函数归一化，得到全局特征的相似度；
[0022] d)根据每一个采样框的位置，计算其相对于上一帧的运动速度，与当前跟踪目标 运动速度V。进行距离和角度比较，对空间运动关系进行约束，利用sigmoid函数归一化，得 到空间位置相似度；
[0023] e)根据每一个采样框的局部特征相似度、全局特征相似度以及空间位置相似度计 算最终的相似度，取最终相似度最大的采样框作为当前帧的跟踪目标的位置，若所有采样 框的最终相似度的最大值小于一定阈值则认为跟踪丢失，跳到步骤(4);否则，执行f)。 [0024] f)在跟踪目标的位置r临近的小范围区域生成正样本框，在跟踪目标的位置r 一定 距离范围的区域生成负样本框，通过将正负样本框缩放到模板框大小计算局部Haar-like 特征、全局颜色直方图特征以及速度;对跟踪目标的局部特征的概率分布、全局的颜色直方 图信息以及运动速度进行更新，特别的，将当前帧所有候选目标采样框中相似度最高的采 样框的相似度作为学习率，进行动态的更新；
[0025] g)获取视频下一帧作为当前视频帧，跳到步骤(3)a)，若无法获取视频下一帧，则 跳到步骤(4)。
[0026] 步骤(4)、目标跟踪结束。
[0027]在预处理阶段对视频的成像进行了分析，得到了物体在视频中成像大小与其位置 的关系。具体来说，在相机成像的图像中，假设地平面上沿深度方向直线的消失点在图像中 位置为Pv，物体与地面接触点在图像中成像位置为P，则必定存在一条直线，使得物体在图 像中的大小，与Pv和P连线在该直线上的投影长度成线性的正比例关系(假设物体与地平面 接触并且物体各个部分的位置处于同一深度）。又因为点在直线上投影是线性变换关系，所 以对于固定场景下的静态相机而言，存在常数Μ、 &1、&2使得同一目标在相机中成像大小有 如下关系：
[0028]
[0029] 其中，size(u，v)表示目标处于图像中坐标(u，v)处在图像中的大小，size(UQ，vo) 表示目标处于图像中坐标(u〇，VQ)处在图像中的大小。对于常数的求解，利用最小二 乘法根据标定的不同运动物体在视频帧序列中的矩形框位置及大小进行求解。
[0030] 在跟踪阶段，对生成候选目标位置的采样框的大小会根据当前采样位置以及初始 位置矩形框ro进行计算，得到较为准确的目标在图像中的大小。
[0031] 对于特征匹配，采用了局部Haar-like特征和全局颜色直方图特征以及空间位置 关系约束对目标进行跟踪。具体来说，首先通过对当前帧图像的不同颜色通道分别计算预 先定义好的Haar-1 ike特征，利用大量的Haar-1 ike特征充分表示跟踪目标的局部特征，通 过朴素m Π+浙分悉翌讲轩剌另丨匕
[0032]
[0033] 其中，Fi表示所有的Haar-like特征值，k表示不同颜色通道，時:表示在k颜色通道 的第i个采样框的Nh个Haar-1 ike特征值，y表示对当前采样框的分类，y = 0表示当前采样框 不是跟踪目标，y = l表示采样框是跟踪目标，P(c|y = 〇)表示特征值c作为负样本的概率分 布，p(c | y = 1)表示特征值c作为正样本的概率分布函数。
[0034] 然后考虑了全局的颜色直方图特征，对于跟踪框内的不同位置的像素给予不同的 权重，认为越靠近跟踪框的中心的像素，其更可能属于跟踪目标，故其权重越高，位于跟踪 框边缘的像素，其属于跟踪目标的可能性比较低，故为其分配较低的权重。根据这样的特 点，采用二维的正态分布为矩形跟踪框的每个像素分配权重。
[0035]
[0036]
[0037] 其中，H(x)表示第X个颜色区间Bin(x)的像素个数，r表示矩形框，rcu、rcv、r4Pn^ v 别表示矩形框的中心位置坐标和以及矩形的宽和高，》示按照矩形框r基于正态 分布生成的权重，It表示当前视频帧图像，表示处于图像(u，v)处的像素值;h x(p)表 示像素P是否属于第X个颜色区间Bin(x)。
[0038]最后，对候选目标采样框的位置进行了约束，对于运动目标的位置来说，在连续视 频帧中，运动目标的位置的变化具有连续性，并且变化较为平滑，不会发生突然的跳变，这 对于运动目标的跟踪来说，是一个非常有用的约束条件。
[0039]
[0040] 其中，V。表示当前跟踪目标的速度向量，V表示从上一帧目标矩形框中心位置指向 当前矩形框中心位置的向量，可看作是当前移动速度（以一帧时间为单位），arccos(V。· V) 为向量V。和向量V之间通过点积计算夹角，s为候选目标采样框的范围大小的一半，π为圆周 率常数，α为权重常数，取0.5。
[0041] 采用动态更新跟踪目标数据的方式对跟踪模型进行更新。将当前帧所有候选目标 采样框中相似度最高的采样框的相似度作为学习率，这样在动态的视频帧序列中，跟踪目 标的变化会因较高的学习率而快速更新到模型中，同时对于受到干扰的跟踪目标，如被其 他目标或场景中物体遮挡造成相似度较低的情况下，由于学习率较低，所以会更多地保留 原来的数据，使得模型更加鲁棒。
[0042] 本发明的原理在于：
[0043]首先通过相机成像原理以及一些标定数据，对于物体在视频中成像大小建立了模 型，可以通过当前目标位置及初始位置和大小准确地获取当前跟踪目标大小，有效提高跟 踪效果的准确度和精度。并且，本方法联合了局部Haar-like特征、全局颜色直方图信息以 及空间位置约束，使得目标的表示模型更加鲁棒，同时计算复杂度低，能够保持实时性;其 次，对于模型的更新采用了动态更新的机制，对于匹配度低的情况，更新率较低，抑制了噪 音的引入，更好的对目标进行跟踪。
[0044] 与现有技术相比，本发明可变尺度的实时目标跟踪方法还具有以下有益效果：
[0045] (1)本发明采用的可变尺度缩放的原理可以非常容易的应用于其他基于滑动窗口 采样的跟踪方法，具有普适性。
[0046] (2)本发明通过动态的基于匹配度的更新方式，这样在动态的视频帧序列中，跟踪 目标的变化会因较高的更新率而快速更新到模型中，同时对于受到干扰的跟踪目标，如被 其他目标或场景中物体遮挡造成相似度较低的情况下，由于更新率较低，所以会更多地保 留原来的数据，使得模型更加鲁棒。
【附图说明】
[0047] 图1为本发明的一种支持目标尺寸变化的实时对象跟踪流程图示意图；
[0048]图2为本发明的物体成像大小原理示意图；
[0049]图3为本发明的目标大小转换示例图；
[0050]图4为本发明的Haar-like特征计算流程示意图；
[0051]图5为本发明的空间位置约束相似度在不同参数下比较示意图；
[0052]图6为本发明的更新阶段采样框示意图，图6(a)为正样本框的示意图，图6(b)为负 样本框的。
【具体实施方式】
[0053]下面结合附图和实施例对本发明具体步骤进行详细描述。
[0054]本发明提出了一种支持目标尺寸变化的实时对象跟踪方法，首先结合图1 一种支 持目标尺寸变化的实时对象跟踪流程图示意图，详细介绍本发明的跟踪处理过程。
[0055] 步骤(1)、目标跟踪预处理阶段：
[0056 ] a)首先对运动物体在视频帧序列中的成像的矩形框大小计算公式参数进行求解； [0057]如图2所示，对于地平面上沿相机坐标系z轴的直线上的3个点来说，其在 图像中的投影位置仍位于同一直线上，并且图像中投影点和地平面上沿深度方 向直线的消失点在图像中成像位置和连线在该直线上的投影长度与原始点的位置距离相 机的距离成反比关系。所以在相机成像的图像中，假设地平面上沿深度方向直线的消失点 在图像中位置为Pv，物体与地面接触点在图像中成像位置为P，则必定存在一条直线，使得 物体在图像中的大小，与Pv和P连线在该直线上的投影长度成线性的正比例关系(假设物体 与地平面接触并且物体各个部分的位置处于同一深度）。又因为点在直线上投影是线性变 换关系，所以对于固定场景下的静态相机而言，存在常数Μ、 &1、&2使得同一目标在相机中成 像大小有如下关系：
[0058]
[0059] 其中，size(u，v)表示目标处于图像中坐标(u，v)处在图像中成像的大小，size (uo，νο)表示目标处于图像中坐标(uo，νο)处在图像中成像的大小。
[0060] 根据公式，可以利用预先在该视频序列中标定一些物体的位置及大小，通过利用 最小二乘法对参数ao、ai、a2进行直线拟合求解。
[0061]
[0062] 其中，矩阵AnX3和向量bnX1为通过标定一些物体的位置及大小的数据，AnX3+表示矩 阵的广义逆。
[0063] 图3展示了根据上述公式得到参数&〇、&1、&2以及根据初始跟踪位置（白色实线矩形 框)对目标可能处于的位置进行计算转换得到的矩形框（白色虚线矩形框)的一个例子。 [00 64] b)设定模板矩形框rs的大小s;
[0065] c)根据模板框rs大小在模板框内随机生成Nh(Nh为常数，一般取模板框的长度或者 高度)个不同位置不同大小的Haar-1 ike特征；
[0066] 步骤(2)、可变尺度跟踪模型的初始化：
[0067] a)获取需要跟踪目标的视频序列帧It及目标初始位置矩形框ro;
[0068] b)为每个Haar-1 ike特征的特征值的概率分布进行初始化，对于每一个特征值作 为正样本和负样本均初始化为以特征值为中心位置的正态分布；
[0069] c)计算目标矩形框ro颜色直方图H。作为全局特征；
[0070] 对于跟踪框内的不同位置的像素给予不同的权重，认为越靠近跟踪框的中心的像 素，其更可能属于跟踪目标，故其权重越高，位于跟踪框边缘的像素，其属于跟踪目标的可 能性比较低，故为其分配较低的权重。根据这样的特点，采用二维的正态分布为矩形跟踪框 的每个像素分配权重。则基于正态分布权重的颜色直方图计算公式如下所示：
[0071]
[0072]
[0073] 其中，H(x)表示第 x个颜色区间Bin(x)的像素个数，r表示矩形框，rcu、 rcv、r4Pn^v 别表示矩形框的中心位置和矩形的宽和高衣示按照矩形框r基于正态分布生成 的权重，It表示当前视频帧图像，表示处于图像(u，v)处的像素值;h x(p)表示像素 p 是否属于第X个颜色区间Bin(x)。
[0074] d)初始化跟踪目标在图像中的运动速度为V〇= (0,0)(在图像二维平面运动速度 为〇);
[0075] e)初始化跟踪目标在当前帧的匹配度S = l;
[0076] f)跳到步骤(3)f)。
[0077] 步骤(3)、可变尺度跟踪过程：
[0078] a)根据视频上一帧目标位置rt，在当前帧对应位置周围进行采样，得到目标候选 矩形框R= {η,κ，···^}，采样矩形框的大小根据当前采样位置以及初始位置矩形框Π )进行 以及在预处理阶段得到的参数ao、m、&2进行转换计算；
[0079] b)如图4所示，对于每一个采样框，将其缩放到模板框大小，计算Nh个Haar-1 ike特 征值;利用朴素贝叶斯分类器对每一个Haar-like特征值根据其对应的正态分布计算分类 并求和：
[0080]
[0081] 其中，Fi表示所有的Haar-like特征值，k表示不同颜色通道，Hjas：!%表示符合 Gaussian分布的随机矩阵，pf表示在k颜色通道的第i个采样框的Nh个Haar-1 ike特征值，y 表示对当前采样框的分类，y = 〇表示当前采样框不是跟踪目标，y= 1表示采样框是跟踪目 标，p(c I y = 0)表示特征值c不是跟踪目标的概率分布，p(c I y = 1)表示特征值c是跟踪目标 的概率分布，假设每个Haar-like特征值的是服从正态分布的，即：
[0082]
[0083] 为了能够协调Haar-like特征值匹配的过高或过低，将得到的分类和利用sigmoid 函数归一化得到局部特征的相似度：
[0084]
[0085]其中，β?为常数，一般取Nh的一半，e为自然常数。
[0086] c)对于每一个采样框，计算其基于正态分布权重的颜色直方图出与当前跟踪目标 的颜色直方图H。，采用Bhattacharrya系数公式作为直方图距离计算相似度。
[0087]
[0088]其中，HoUWmKu)分别表示跟踪目标和当前采样框的颜色直方图中的属于第u个 颜色区间的像素个数占所有像素个数的比例，Nb为颜色直方图颜色区间个数。
[0089] 同样的，利用sigmoid函数将颜色直方图归一化得到全局特征的相似度：
[0090]
[0091]其中，仇为常数，一般取6。
[0092] d)根据每一个采样框的位置，计算其相对于上一帧的运动速度，与当前跟踪目标 运动速度V。进行距离和角度比较，对空间运动关系进行约束，因为对于运动目标的位置来 说，在连续视频帧中，运动目标的位置的变化具有连续性，并且变化较为平滑，不会发生突 然的跳变，这对于运动目标的跟踪来说，是一个非常有用的约束条件。
[0093]
[0094] 其中，V。表示当前跟踪目标的速度向量，Vi表示从上一帧目标矩形框中心位置指向 当前矩形框中心位置的向量，可看作是当前移动速度（以一帧时间为单位），arccos(V。· V) 为向量V。和向量V之间通过点积计算夹角，s为候选目标采样框的范围大小的一半，π为圆周 率常数，α为权重常数，取0.5。
[0095]最后，利用s igmoid函数归一化得到空间位置的相似度：
[0096]
[0097]其中，βΡ为常数，一般取6。
[0098] 图5展示了不同α值对于SpJVc^Vi)的影响。
[0099] e)根据每一个候选目标的采样框^的局部特征相似度、全局特征相似度以及空间 位置相似度得到最终的相似度，计算公式如下：
[0100] Si = WlSHaar (Fi ) +W2SaPP (Ho , Hi ) +W3Spos ( Vo , Vi )
[0101] 其中，SHaar(Fi)表示根据Haar-like特征计算的相似度，Fi表示第i个采样框的 Haar-like特征值，SaWH。，^表示当前采样框与模型中的颜色直方图匹配程度，Η。表示当 前跟踪目标的颜色直方图，Hi表示第i个采样框基于正态分布权重的颜色直方图，S PC1S(V。， 表示对采样框的位置的匹配程度，V。表示当前跟踪目标的速度向量，￥1表示从上一帧目 标矩形框中心位置指向第i个采样框中心位置的向量，W1、W2、W3为参数，且W1+W2+W3 = 1。
[0102] 最后取相似度最大的采样框作为当前帧的跟踪目标的位置：
[0103]
[0104] 当存在全少一个米样框与当前跟踪目标的相似度S超过阈值Ts时，认为相似度最 大的那个采样框rt为最精确的跟踪目标位置;否则认为目标跟踪丢失，跳到步骤(4);
[0105] f)对于正态分布模型的更新，主要对正态分布中位置参数μ和尺度参数σ进行更 新。首先根据当前视频帧求得到的跟踪目标的位置，在其周围临近的小范围区域生成正样 本框，通过将正样本框缩放到模板框大小计算所有正样本框的Haar-1 ike特征值的分布，对 于每一个特征值，计算所有采样框的平均分布作为当前视频帧的Haar-1 ike特征值作为正 样本的概率分布，并用得到的分布对跟踪模型正样本的概率分布进行更新；同时，在距离跟 踪目标的位置一定距离范围的区域生成负样本框，通过将负样本框缩放到模板框大小计算 所有负样本框的Haar-1 ike特征值的分布，对于每一个特征值，计算所有采样框的平均分布 作为当前视频帧的Haar-like特征值作为负样本的概率分布，并用得到的分布对跟踪模型 负样本的概率分布进行更新，如图6所示。
[0106]
[0107]
[0108]
[0109]
[0110]其中，μ' i表示根据采样框的Haar-like特征值的第个特征值的正态分布的中心位 置，表示第k个采样框的第i个特征值，σ',表示第i个特征值的正态分布的标准差，Ns表示 采样框的个数，Pi和分别表示跟踪目标的Haar-like特征值的第i个特征值的正态分布的 中心位置和标准差，St表示当前视频帧采样框的最高的相似度。
[0111] 对于外观颜色直方图信息来说，对于跟踪目标运动速度的更新，同样需要更新，
[0112] Ho = (l-St)H〇+StHt
[0113] V〇=(l-St)V〇+StVt
[0114] 针对模型更新程度的更新率，采用的是动态的更新率，将当前帧所有采样框中相 似度最高的采样框的相似度作为更新率，这样在动态的视频帧序列中，跟踪目标的变化会 因较高的更新率而快速更新到模型中，同时对于受到干扰的跟踪目标，如被其他目标或场 景中物体遮挡造成相似度较低的情况下，由于更新率较低，所以会更多地保留原来的数据， 使得模型更加鲁棒。
[0115] g)获取视频下一帧作为当前视频帧，跳到步骤(3)a)，若无法获取视频下一帧，则 跳到步骤(4)。
[0116]步骤(4)、目标跟踪结束。
【主权项】
1. 一种支持目标尺寸变化的实时对象跟踪方法，其特征在于，包括以下步骤： 步骤（1 )、目标跟踪预处理阶段： a) 对于运动物体在视频帧序列中成像大小的参数方程进行求解； b) 设定模板矩形框大小； c) 根据模板框大小在模板框内随机生成Nh个不同位置不同大小的Haar-Iike特征;其中 Nh为常数，取模板框的长度或者高度； 步骤(2 )、可变尺度跟踪模型的初始化： a) 获取需要跟踪目标的视频序列帧及目标初始位置矩形框； b) 对每个Haar-Iike特征的特征值的概率分布进行初始化，对于每一个特征值作为正 样本和负样本均初始化为以特征值为中心位置的正态分布； c) 计算目标矩形框颜色直方图H。作为全局特征； d) 初始化跟踪目标在图像中的运动速度为1=(0,0)，即在图像二维平面运动速度为0; e) 初始化跟踪目标在当前帧的匹配度S = 1; f) 跳到步骤(3)f); 步骤(3 )、可变尺度跟踪过程： a) 根据视频上一帧目标位置，在当前帧对应位置周围进行候选目标采样，采样矩形框 大小根据当前采样位置以及初始位置矩形框以及步骤(Da)得到的参数方程进行计算； b) 对于每一个采样框，将其缩放到模板框大小，计算Nh个Haar-Iike特征值;利用朴素贝 叶斯分类器对每一个Haar-Iike特征值根据其对应的正态分布计算分类并求和，然后通过 sigmoid函数归一化，得到局部特征的相似度； c) 对于每一个采样框，计算其颜色直方图Hi，利用Bhattacharrya系数计算H。和Hi的距 离，利用sigmoid函数归一化，得到全局特征的相似度； d) 根据每一个采样框的位置，计算其相对于上一帧的运动速度，与当前跟踪目标运动 速度V。进行距离和角度比较，对空间运动关系进行约束，利用sigmoid函数归一化，得到空 间位置相似度； e) 根据每一个采样框的局部特征相似度、全局特征相似度以及空间位置相似度计算最 终的相似度，取最终相似度最大的采样框作为当前帧的跟踪目标的位置，若所有采样框的 最终相似度的最大值小于预定阈值则认为跟踪丢失，跳到步骤(4);否则，执行f); f) 在跟踪目标的位置临近的小范围区域生成正样本框，在跟踪目标的位置一定距离范 围的区域生成负样本框，通过将正负样本框缩放到模板框大小计算局部Haar-I ike特征、全 局颜色直方图特征以及速度;对跟踪目标的局部特征的概率分布、全局的颜色直方图信息 以及运动速度进行更新;将当前帧所有候选目标采样框中相似度最高的采样框的相似度作 为学习率，进行动态的更新； g) 获取视频下一帧作为当前视频帧，跳到步骤(3)a)，若无法获取视频下一帧，则跳到 步骤(4); 步骤(4)、目标跟踪结束。2. 根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:在 预处理阶段对视频的成像进行了分析，得到了物体在视频中成像大小与其位置的关系，具 体来说，在相机成像的图像中，假设地平面上沿深度方向直线的消失点在图像中位置为Pv， 物体与地面接触点在图像中成像位置为P1,则必定存在一条直线，使得物体在图像中的大 小，与Pv和P连线在该直线上的投影长度成线性的正比例关系，其中，假设物体与地平面接 触并且物体各个部分的位置处于同一深度;又因为点在直线上投影是线性变换关系，所以 对于固定场景下的静态相机而言，存在常数加、 &1、&2使得同一目标在相机中成像大小有如 下关系：其中，size(u，v)表示目标处于图像中坐标(u，v)处在图像中的大小，size(ut)，Vo)表示 目标处于图像中坐标(UQ，VQ)处在图像中的大小;对于常数ao、ai、a2的求解利用最小二乘法 根据标定的数据进行求解。3. 根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:所 述步骤3,在跟踪阶段，对生成候选目标位置的采样框的大小会根据当前采样位置以及初始 位置矩形框ro进行计算得到准确的目标在图像中成像的大小。4. 根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:所 述步骤3,采用了局部Haar-Iike特征和全局颜色直方图特征以及空间位置关系约束对目标 进行跟踪;首先通过对当前帧图像的不同颜色通道分别计算预先定义好的Haar-Iike特征， 利用大量的Haar-Iike特征充分表示跟踪目标的局部特征，通过朴素贝叶斯分类器进行判 别；其中，Fi表示所有的Haar-Iike特征值，k表示不同颜色通道，表示符合Gaussian 分布的随机矩阵，表示在k颜色通道的第i个采样框的Nh个Haar-Iike特征值，y表示对当 前采样框的分类，y = 〇表示当前采样框不是跟踪目标，y=l表示采样框是跟踪目标，P(c |y =0)表示投影值c作为负样本的概率分布，P(c|y=l)表示投影值c作为正样本的概率分布 函数； 然后考虑了全局的颜色直方图特征，对于跟踪框内的不同位置的像素给予不同的权 重，认为越靠近跟踪框的中心的像素，其更可能属于跟踪目标，故其权重越高，位于跟踪框 边缘的像素，其属于跟踪目标的可能性比较低，故为其分配较低的权重;根据这样的特点， 采用二维的正态分布为矩形跟踪框的每个像素分配权重；其中，H(X)表示第X个颜色区间Bin(X)的像素个数，r表示矩形框，^、~、^和^分别表 示矩形框的中心位置和矩形的宽和高，灰％^^>表示按照矩形框r基于正态分布生成的权 重，It表示当前视频帧图像，表示处于图像(u，v)处的像素值;h x(p)表示像素p是否 属于第X个颜色区间Bin(X); 最后，对候选目标采样框的位置进行了约束，对于运动目标的位置来说，在连续视频帧 中，运动目标的位置的变化具有连续性，并且变化较为平滑，不会发生突然的跳变，这对于 运动目标的跟踪来说，是一个非常有用的约束条件；其中，V。表示当前跟踪目标的速度向量，V表示从上一帧目标矩形框中心位置指向当前 矩形框中心位置的向量，看作是当前移动速度，arccos(V。· V)为向量V。和向量V之间通过点 积计算夹角，s为候选目标采样框的范围大小的一半，π为圆周率常数，α为权重常数。5.根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:步 骤(3)f)采用动态更新跟踪目标数据的方式对跟踪模型进行更新;将当前帧所有候选目标 采样框中相似度最高的采样框的相似度作为学习率，这样在动态的视频帧序列中，跟踪目 标的变化会因较高的学习率而快速更新到模型中，同时对于受到干扰的跟踪目标，在被其 他目标或场景中物体遮挡造成相似度较低的情况下，由于学习率较低，所以会更多地保留 原来的数据，使得模型更加鲁棒。
【专利摘要】本发明公开了一种支持目标尺寸变化的实时对象跟踪方法，首先通过相机成像原理以及一些标定数据，对于物体在视频中成像大小建立了模型，可以通过当前目标位置及初始位置和大小准确地获取当前跟踪目标大小，有效提高跟踪效果的准确度和精度。另外，本方法联合了局部Haar-like特征、全局颜色直方图信息以及空间位置约束，使得目标的表示模型更加鲁棒，同时计算复杂度低，能够保持实时性；其次，对于模型的更新采用了动态更新的机制，对于匹配度低的情况，更新率较低，抑制了噪音的引入，更好的对目标进行跟踪。本发明所述方法对于实时性要求较高且目标在视频中成像大小变化的场景非常适合，特别是现实的监控环境。
【IPC分类】G06T7/20
【公开号】CN105488815
【申请号】CN201510844876
【发明人】周忠, 张景昌, 姜那
【申请人】北京航空航天大学
【公开日】2016年4月13日
【申请日】2015年11月26日
最新回复(0)