一种前景物体检测方法和设备的制造方法
一种前景物体检测方法和设备的制造方法
【技术领域】
[0001] 本发明涉及物体识别领域，主要涉及不规律运动的前景物体的识别。
【背景技术】
[0002] 背景物体就是指静止的或是非常缓慢的移动的物体，而前景物体就相对移动的物 体。所以我们可以把物体检测看出一个分类问题，也就是来确定一个像素点是否属于背景 点。但是在不规律运动的前景物体，特别是在两次运动之间的间隔长时间静止的前景物体， 在静止的过程中容易被识别为背景物体。
[0003] 在实现本发明的过程中，发明人发现现有技术中存在如下问题，基于单背景模型 的检测方法往往需要计算复杂度较高的跟踪算法(如meanshif t算法）。同时这类方法无法 确认目标跟踪前的状态，例如物体静止后复运动，容易识别为另一个物体;而双背景模型的 算法计算量是单背景模型的两倍，双背景模型的方法其大致流程如下：
[0004] 建立两个更新速度不同的高斯背景模型。可以有两种实现方式，一是相同更新频 率/周期，不同更新速度;二是相同更新速度，不同更新频率/周期。这里使用第二种方式，更 新频率高的记为M0G_fast，更新频率低的记为M0G_slow。
[0005] 输入视频图像到两个高斯模型中，并以各自的频率开始计算，创建背景并分割前 景。前景分别记为FG_fast和FG_slow〇
[0006] 当FG_fast检测到目标前景，但FG_slow却未检测到，贝lj判定FG_fast检测到的目 标。
[0007] 使用额外的方法确认来区分目标前景是遗留物还是遗失物，并在设定的阈值时间 后报警。
【发明内容】
[0008] 以下给出对一个或更多个方面的简化概述以力图提供对此类方面的基本理解。此 概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性 要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或更多 个方面的一些概念以作为稍后给出的更加具体的说明之序。
[0009] 发明人提供一种前景物体检测方法，包括步骤：
[0010]获取一帧图像MG1，将所述图像頂G1输入到背景模型中计算，更新背景图像数据， 并标记前景区域；
[0011]若所述图像MG1中不存在被标记为前景区域的区域，则继续获取下一帧图像，并 基于获取到的下一帧图像更新背景图像数据和标记前景区域，若图像頂G1中存在被标记为 前景区域的区域，则根据所述前景区域标记前景轮廓，根据所述前景轮廓计算前景轮廓掩 模区域；
[0012]计算所述背景图像数据在所述前景轮廓掩模区域的梯度值6_81，和所述图像IMG1 在所述前景轮廓掩模区域的梯度值G_IMG1;
[0013] 通过G_B1和GJMG1判断前景区域中的物体是否为前景物。
[0014] 进一步，所述前景轮廓掩模区域由膨胀轮廓和腐蚀轮廓之间的区域构成;所述膨 胀轮廓根据前景轮廓和膨胀公式计算得到;所述腐蚀轮廓根据前景轮廓和腐蚀公式计算得 到。
[0015] 进一步，所述背景模型为高斯背景模型。
[0016] 进一步，所述通过G_B1和GJMG1判断前景区域中的物体是否为前景物包括步骤： [0017]判断G_IMG1-G_B1的值是否小于第一预设值，若小于则判断前景区域中的物体为 前景物，并标记前景物为遗失物，否则判断当前前景区域无前景物体。
[0018]进一步，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
[0019]获取頂G1之后的图像帧頂G2,将所述图像帧MG2输入到所述背景模型中计算出更 新后的背景图像数据；
[0020] 计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;
[0021] 判断所述G_B2_G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物 为遗失物，若小于则继续获取之后的图像帧IMGx;将获得的图像帧IMGx输入到所述背景模 型中更新背景图像数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设 定的时间T，若T时间内G_Bx-G_Bl的差均小于第二预设值，则触发遗失物报警动作。
[0022 ]进一步，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
[0023]获取MG1之后的图像帧頂G2,将所述图像帧MG2输入到所述背景模型中计算出更 新后的背景图像数据;计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2;
[0024] 判断所述GJMG2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景 物为遗失物，若小于则继续获取之后的图像帧;将获得的图像帧頂Gx，并计算图像帧頂Gx在 前景轮廓掩模区域的梯度值GJMGx，直到经过设定的时间T，若T时间内G_MG X-G_B 1的差均 小于第二预设值，则触发遗失物报警动作。
[0025] 进一步，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
[0026] 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背 景图像数据；
[0027]在标记前景物为遗失物并经过设定的时间后，获取下一帧图像頂G2,用頂G2更新 背景图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;
[0028]判断所述G_B2_G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物 为遗失物，若小于则触发遗失物报警动作。
[0029 ]进一步，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
[0030] 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背 景图像数据；
[0031] 在标记前景物为遗失物并经过设定的时间后，获取下一帧图像MG2,计算MG2在 所述前景轮廓掩模区域的梯度值G_IMG2;
[0032] 判断所述GJMG2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景 物为遗失物，若小于则触发遗失物报警动作。
[0033]进一步，所述"通过G_B0PG_IMG1判断前景区域中的物体是否为前景物"包括步 骤：
[0034] 判断GJMG1-G_B1的差值是否大于第三预设值，是则判断前景区域中的物体为前 景物，标记前景物为遗留物，否则判断当前前景区域无前景物。
[0035] 进一步，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤，
[0036]获取MG1之后的图像帧頂G2,将所述图像帧MG2输入到所述背景模型中计算出更 新后的背景图像数据；
[0037] 计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;
[0038] 判断所述G_B2_G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留 物，否则继续获取之后的图像帧;将获得的图像帧IMGx输入到所述背景模型中更新背景图 像数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间，若G_ Bx-G_B1的差均大于第四预设值，则触发遗留物报警动作。
[0039] 进一步，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
[0040] 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背 景图像数据；
[0041] 在标记前景物为遗留物并经过设定的时间后，获取下一帧图像頂G2,用頂G2更新 背景图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;
[0042] 判断所述G_B2_G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留 物，否则触发遗留物报警动作。
[0043] 进一步，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
[0044] 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背 景图像数据；
[0045]在标记前景物为遗留物后并经过设定的时间后，获取下一帧图像MG2,计算頂G2 在所述前景轮廓掩模区域的梯度值G_IMG2;
[0046] 判断所述GJMG2_G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗 留物，否则触发遗留物报警动作。
[0047] 进一步，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
[0048]获取MG1之后的图像帧頂G2,将所述图像帧MG2输入到所述背景模型中计算出更 新后的背景图像数据；
[0049]计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2;
[0050] 判断所述GJMG2_G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗 失物，若大于或等于则继续获取之后的图像帧;将获得的图像帧頂Gx，并计算图像真頂Gx在 前景轮廓掩模区域的梯度值GJMGx，直到经过设定的时间T，若T时间内G_MG X-G_B 1的差均 小于则取消标记前景物为遗留物，否则触发遗留物报警动作。
[0051] 发明人还提供一种前景检测设备，包括前景区域检测模块、前景轮廓模块、梯度计 算模块、前景物检测控制模块；
[0052]所述前景区域检测模块用于获取一帧图像頂G1，将所述图像頂G1输入到背景模型 中计算，更新背景图像数据，并标记前景区域；
[0053]所述前景轮廓模块用于判断若所述图像頂G1中不存在被标记为前景区域的区域， 则继续获取下一帧图像，并基于获取到的下一帧图像更新背景图像数据和标记前景区域， 若图像MG1中存在被标记为前景区域的区域，则根据所述前景区域标记前景轮廓，根据所 述前景轮廓计算前景轮廓掩模区域；
[0054] 所述梯度计算模块用于计算所述背景图像数据在所述前景轮廓掩模区域的梯度 值6_81，和所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1;
[0055] 所述前景物检测控制模块用于通过6_81和6_頂61判断前景区域中的物体是否为 前景物。
[0056] 进一步，还包括前景轮廓掩模区域获得模块，其用于获得前景轮廓掩模区域，所述 前景轮廓掩模区域由膨胀轮廓和腐蚀轮廓之间的区域构成;所述膨胀轮廓根据前景轮廓和 膨胀公式计算得到;所述腐蚀轮廓根据前景轮廓和腐蚀公式计算得到。
[0057]进一步，所述前景物检测控制模块具体用于判断G_MG1_G_B1的差值是否小于第 一预设值，若小于则判断前景区域中的物体为前景物，标记前景物为遗失物，否则判断当前 前景区域无前景物体。
[0058]进一步，所述前景物检测控制模块用于获取MG1之后的图像帧MG2,将所述图像 帧IMG2输入到所述背景模型中计算出更新后的背景图像数据;计算更新后的背景数据在所 述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否小于第二预设值，若大于 或等于则取消标记前景物为遗失物，若小于则继续获取之后的图像帧IMGx;将获得的图像 帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像在前景轮廓掩模区域的 梯度值G_Bx，直到经过设定的时间T，若在T时间内G_Bx-G_Bl的差均小于第二预设值，则触 发遗失物报警动作。
[0059] 进一步，所述前景物检测控制模块用于获取IMG1之后的 图像帧，将所述图像帧输 入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗失物并经过设定的 时间T后，获取下一帧图像IMG2,用IMG2更新背景图像数据，计算更新后的背景数据在所述 前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否小于第二预设值，若大于或 等于则取消标记前景物为遗失物，若小于则触发遗失物报警动作。
[0060] 进一步，所述前景物检测控制模块用判断GJMG1-G_B1的差值是否大于第三预设 值，是则判断前景区域中的物体为前景物，标记前景物为遗留物，否则判断当前前景区域无 前景物。
[0061] 进一步，所述前景物检测控制模块用于获取MG1之后的图像帧MG2,将所述图像 帧IMG2输入到所述背景模型中计算出更新后的背景图像数据;计算更新后的背景数据在所 述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否小于第四预设值，若小于 则取消标记前景物为遗留物，否则继续获取之后的图像帧;将获得的图像帧IMGx输入到所 述背景模型中更新背景图像数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直 到经过设定的时间T，若在T时间内G_Bx-G_Bl的差都大于第四预设值，则触发遗留物报警动 作。
[0062] 进一步，所述前景物检测控制模块用于获取IMG1之后的图像帧，将所述图像帧输 入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗留物后并经过设定 的时间T后，获取下一帧图像IMG2,用IMG2更新背景图像数据，计算更新后的背景数据在所 述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否小于第四预设值，若小于 则取消标记前景物为遗留物，否则触发遗留物报警动作。
[0063] 此外，附加方面可包括一种用于实现本文中描述一种前景物体检测方法的第一代 码集。在此方面的进一步方面可包括:包括执行的至少一个处理器;包括计算机可读介质的 计算机程序产品，该计算机可读介质包括能由计算机执行以检测和响应前景物体的指令； 或包括用于检测和响应前景物体的装置或组件的设备。为能达成前述及相关目的，这一个 或更多个方面包括在下文中充分描述并在所附权利要求中特别指出的特征。以下描述和附 图详细阐述了这一个或更多个方面的某些说明性特征。但是，这些特征仅仅是指示了可采 用各种方面的原理的各种方式中的若干种，并且本描述旨在涵盖所有此类方面及其等效方 面。
[0064] 区别于现有技术，本方法根据在前景轮廓掩模区域的梯度值的变化，以达到检测 前景物体的目的。相比单背景高斯模型中运动的物体静止后容易被识别为背景，而静止较 长时间后又发生运动时会被识别为另一物体，本方法提高了前景物体的识别效率和识别的 一致性。又因为在前景物体跟踪识别过程中，只需要额外计算跟踪前景轮廓掩模区域的梯 度变化，相比双背景模型的前景物体识别需要以不同的频率或周期维护两个不同的背景图 层数据，本方法显著的降低了数据的计算规模。并且本方法通过较少的计算就能检测出前 景物体，不需通过计算多个加权的背景图层而检测出前景物体(通常加权背景在前景物体 发生运动的开始时刻，加权背景不会发生较大的变化），减少前景物体检测的延时。
【附图说明】
[0065] 以下将结合附图来描述所公开的方面，提供附图是为了说明而非限定所公开的方 面，附图中相似的标号标示相似要素，并且在其中：
[0066] 图1为【具体实施方式】所述前景物体检测方法流程图；
[0067] 图2为【具体实施方式】所述前景区域再检测方法流程图；
[0068] 图3为【具体实施方式】所述遗失物检测方法流程图；
[0069] 图4为【具体实施方式】所述遗失物再检测方法流程图；
[0070] 图5为【具体实施方式】所述遗留物检测方法流程图；
[0071 ]图6为【具体实施方式】所述遗留物再检测方法流程图；
[0072]图7为参考时间轴；
[0073]图8为tl时刻输入的图像頂G1的示例；
[0074] 图9为tl时刻模型中背景图像数据的示例；
[0075] 图10为tl时刻模型识别出的前景区域示例；
[0076] 图11为【具体实施方式】所述的前景区域轮廓的示例；
[0077] 图12为【具体实施方式】所述的前景轮廓掩模区域的示例；
[0078] 图13为【具体实施方式】所述的前景轮廓掩模区域结合tl时刻模型中背景图像数据 的示例；
[0079]图14为【具体实施方式】所述的前景轮廓掩模区域结合tl时刻的输入的图像IMG1示 例；
[0080] 图15为【具体实施方式】所述前景物体静置一段时间后的t2时刻，前景轮廓掩模区域 结合t2时刻模型中背景图像数据的示例；
[0081] 图16为另一【具体实施方式】tl时刻输入的图像IMG1的示例；
[0082] 图17为另一【具体实施方式】tl时刻模型中背景图像数据的示例；
[0083] 图18为另一【具体实施方式】tl时刻模型识别出的前景区域示例；
[0084] 图19为另一【具体实施方式】所述的前景轮廓掩模区域结合tl时刻模型中背景图像 数据的示例；
[0085] 图20为另一【具体实施方式】所述的前景轮廓掩模区域结合tl时刻的输入的图像 頂G1示例；
[0086] 图21为另一【具体实施方式】所述前景物体静置一段时间后的t2时刻，前景轮廓掩模 区域结合t2时刻模型中背景图像数据的示例；
[0087] 图22、为另一【具体实施方式】所述设备模块图；
[0088]图23、为前景轮廓掩模区域示意图。
[0089] 附图标记：
[0090] 20、设备；
[0091] 201、前景区域检测模块；
[0092] 203、前景轮廓模块；
[0093] 205、梯度计算模块；
[0094] 207、前景检测控制模块；
[0095] 301、腐蚀轮廓；
[0096] 302、前景轮廓；
[0097] 303、膨胀轮廓。
【具体实施方式】
[0098] 为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实 施例并配合附图详予说明。在以下描述中，出于解释目的阐述了众多的具体细节以提供对 一个或更多个方面的透彻理解。但是显而易见的是，没有这些具体细节也可实践此类方面。
[0099] 本发明中所述的图像幀序列，主要指图像帧按照时间顺序排列成的序列，例如常 见的视频监控录制的视频画面构成的序列。图像帧序列即可以使视频文件，也可以是视频 流。需要说明的是，图像帧有时也被称作是图像。
[0100] 发明人提出了一种计算物体轮廓掩模，再通过计算图像帧在物体轮廓掩模区域的 梯度，进而识别前景物体以及判断出前景物体的运动状态的方法。可以用于搜寻追踪和寻 找发生长时间相对静止物件。
[0101] 请参阅图1，所述的一种识别前景物体的方法步骤包括：
[0102] S101对输入的图像序列进行建模处理，得到背景图像数据；
[0103] S102获取下一帧图像頂G1，将所述图像頂G1输入到上述模型中计算，用于更新背 景图像数据和标记前景区域；
[0104] S103若所述图像頂G1中没有区域被标注为前景区域，则返回步骤S102;
[0105] 若有，则S104根据所述前景区域标记前景轮廓，根据所述前景轮廓计算前景轮廓 掩模区域；
[0106] S105计算所述背景图像数据在所述前景轮廓掩模区域的梯度值6_81，和计算所述 图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1;
[0107] S106判断G_B0PG_IMG1是否达到设定的确定前景物体的触发条件，若达到则触发 确定为前景物。
[0108] 优选的G_B1对应输入图像IMG1后的模型中的背景图像数据在所述前景轮廓掩模 区域的梯度值，在另一些实施例中也可以是对应输入MG1前的背景图像数据在所述前景轮 廓掩模区域的梯度值。优选的，G_IMG1可以是对应图像IMG1在所述前景轮廓掩模区域的梯 度值，在另一些实施例中也可以是对应输入頂G1后背景图像数据在所述前景轮廓掩模区域 的梯度值。
[0109] 上述方法步骤中，步骤S101~S103主要作用为通过建模识别出输入的图像序列中 背景图像数据和前景区域。所述的建模为建立背景识别模型，该模型用于识别出背景和前 景，可以是基于运动物体的前景检测建立的模型，也可以是基于运动物体和色彩检测建立 的模型。其一般根据输入的图像更新模型中的背景图像数据和前景区域。在不同的模型中， 所述背景图像数据一般是不同的。例如高斯背景模型中，所述背景图像数据为带权值的背 景图像数据。在一些实施例中背景图像数据中的权值是通过物品在图像中的透明度表示， 即越透明度的物体，权值越小，静止的背景物体不透明。优选的所述模型为高斯背景模型。 所述的高斯背景模型可以是基于单背景的模型，也可以是基于双背景的模型，也可以说混 合其他方法的模型，例如颜色或图像分割等。图像帧序列输入到高斯背景模型中，根据输入 的图像帧产生加权的背景图像数据。在加权的背景图像数据中，权值越大的区域，其为背景 的可能性越大;优选的高斯背景模型背景图像数据可以通过下述方法产生。
[0110]
[0111] 其中，（x，y)为图像像素坐标，BG(x，y)表示背景图像数据中像素坐标为(x，y)的点 的像素值。η为当前有效的背景模型个数，GMM_weight和GMM_mean为对应的模型权重和均 值，即GMM_weight n即表示第η个模型的权重，GMM_meann(x，y)表示(x，y)像素点在1~η个模 型中的均值。
[0112] 通过建模识别出背景图像数据和前景区域，请参考图7~15,图7表示输入图像帧 序列的时间轴。在11时刻，输入下一帧MG1到模型中，頂G1如图8所示，图8中框出的区域为 前景物所在区域。此时模型中的背景图像数据表示为图9,前景区域表示为图10;图10中的 白色和灰色区域表示前景物体出现的区域，即前景区域，在另一些实施例中，因为采用模型 或计算方法的不同，得到的前景区域可能是不同的，例如在一些简单的运动物体前景检测 中，前景区域可能被表示为一个矩形区域。优选的，所述前景轮廓为白色和灰色区域并集的 轮廓。在通常情况下该轮廓圈定前景物体和其阴影所在区域。必须说明的是，根据实际处理 需要，本发明中所述的下一帧可以是在视频时序中等间隔的抽样组成的帧序列中的下一 帧。即例如原来视频是等时录制的，视频中的帧按其出现的时间顺序编号为1，2，3，4，5，6， 7,8,9,10……，间隔取为3,则选取1，4,7，11……，即帧4的下一帧是帧7，帧7的下一帧是帧 11。在另一些实施例中也可以是视频时序等间隔分段之后，在单位段之中的随机位置的图 像帧。例如，原来的视频帧序列按其出现的时间顺序编号为1，2,3,4,5,6……，间隔取为3， 则分段为1~3,4~6,7~11......，1~3中选一帧作为第一帧，4~6帧中选一帧作为下一帧。
[0113] 标记所述并集轮廓为前景轮廓，参考图11，标记的轮廓为轮廓A所示。根据得到的 前景轮廓计算前景轮 廓掩模区域，前景轮廓掩模区域也被称为前景轮廓掩模。在一些实施 例中，如图12所示，在所示实施例中，前景轮廓掩模为环形区域(如图中轮廓D和轮廓E之间 的区域）。通过前景轮廓计算出前景轮廓掩模的方法，在不同的实施例中可以是不同的，通 过不同方法产生的前景轮廓掩模可能是有差别的。优选的所述前景轮廓掩模可以通过下述 方法产生：
[0114] FG_mask = dilate (FG)&(~erode (FG))......(式2)
[0115] 其中，FG为二值前景，表示前景轮廓，dilate表示形态学膨胀，erode表示形态学腐 蚀，~表示二值取反，&表示二值求与，FG_mask表示前景前景轮廓掩模区域。请参考图12,图 中轮廓D是通过前景轮廓根据膨胀算子计算得到的，图中轮廓是E通过前景轮廓根据腐蚀算 子计算得到的。轮廓掩模区域为轮廓D与轮廓E之间的区域。
[0116] 膨胀和腐蚀是对形态学上的操作，是形态学处理的基础，更多关于腐蚀算子、腐蚀 计算或膨胀计算的介绍请参考由电子工业出版社，闪萨雷斯著，阮秋琦，阮宇智等译的《数 字图像处理》的第九章内容。请参考图23,前景轮廓302经过膨胀计算公式计算后得到膨胀 轮廓303;前景轮廓302经过腐蚀计算公式计算后得到腐蚀轮廓301;膨胀轮廓303和腐蚀轮 廓301之间的区域即前景轮廓掩模区域。更多关于腐蚀算子的介绍请参考闪萨雷斯所著的 《数字图像处理》的第九章内容。
[0117]前景轮廓掩模区域包含前景物体的边界，在前景物体出现后，该区域的图像元素 相对出现之前复杂，在前景轮廓掩模区域内计算图像的梯度值，前景物体出现前的梯度值 小于该物体出现后的梯度值;或前景物体消失前的梯度值大于该物体消失后的梯度值。
[0118]请参考图13~图15所示，图12为背景图像数据结合前景轮廓掩模区域的视图，图 14为IMG1结合前景轮廓掩模区域的视图，图15为前景物静置一段时间后的背景图像数据结 合前景轮廓掩模区域的视图。
[0119]图像梯度可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的 求导。图13~图15中根据在前景轮廓掩模区域的梯度值的变化，能达到检测前景物体的目 的。由于不同物体的背景掩模区域，以及背景掩模区域内的梯度值有很大的概率是不同的， 因而可以通过本方法提高不同物体的识别效率，和相同物体在时间顺序上识别的一致性。 [0120]相比现有技术中单背景高斯模型中运动的物体静止后容易被识别为背景，而静止 较长时间后又发生运动时会被识别为另一物体，本方法提高了前景物体的识别效率和识别 的一致性。又因为在前景物体跟踪识别过程中，只需要额外计算跟踪前景轮廓掩模区域的 梯度变化，相比双背景模型的前景物体识别需要以不同的频率或周期维护两个不同的背景 图层数据，本方法显著的降低了数据的计算规模。并且本方法通过较少的计算就能检测出 前景物体，不需通过计算多个加权的背景图层而检测出前景物体(通常加权背景在前景物 体发生运动的开始时刻，加权背景不会发生较大的变化），减少前景物体检测的延时。
[0121] 在另一些实施例中，为了进一步提高前景物体的识别精度，在上述识别前景区域 的基础上，还计算前景区域在设定时间内的位移，并设定位移阀值。在设定时间内，若前景 识别区域的位移超过设定阀值，则判断该前景区域的物体处于运动状态，放弃标记该前景 区域的轮廓。参考图2。必须说明的是，在不同实施例中为了检测不同特征的前景物体，其设 定的位移阀值和设定的时间是不同的；例如在追踪超市门口时而运动时而静止的购物车 时，其设定的时间可以是15分钟以上，而在追踪道路上的违规停车则可以设置更短的时间。
[0122] 在另一些实施例中，所述"S106判断G_B1和GJMG1是否达到设定的确定前景物体 的触发条件"可以为判断6_頂61减6_81的差值是否小于第一预设值。在另一些实施例中，所 述"S106判断G_B0PG_IMG1是否达到设定的确定前景物体的触发条件"可以为判断G_IMG1 减6_81的差值是否大于第一预设值。根据不同的实施例，第一预设值可以是一个带参数的 表达式，例如x*G_Bl，则判断条件为6_頂61-6_81&*6_81 ;其中1的取值可以是1或0，例如1 为0时，则判断条件SG_IMG1>G_B1，当例如X为1时，则判断条件SG_IMG1>0。
[0123] 在另一些实施例中，所述前景物体检测方法还可以应用于遗失物体检测中。即当 判断6_頂61减6_81的差值是小于第一预设值后，判断为识别出前景物，并标识前景区域内 的物体为前景物体，并标记前景物体为遗失物，在另一些实施例中还包括步骤S201触发遗 失物预警（遗失物预警也被称为第一动作）。遗失物预警可以是通过触发预警装置，例如 LED、蜂鸣器、电脑等，即通过LED灯闪烁，蜂鸣器响一声，控制中心的电脑画面中出现一个提 示框等方式预警。
[0124] 请参考图7和图16~图21，假设tl时刻物体被拿走，此时tl对应的图片頂G1，相比 MG1之前的图片，頂G1中物体被拿走，留下背景，頂G1如图16所示。为了便于理解，图16中用 线宽标识了被拿走的物体的位置。在tl时刻输入图片IMG1，此时模型中的背景图像(即图像 BG1)如图17所示，此时模型中检测出的前景区域如图18所示。在tl时刻背景图像数据（即图 像BG1)结合前景轮廓掩模区域的视图如图19所示，图像IMG1结合前景轮廓掩模区域的视图 如图20所示。前景物体遗失一段时间后的t2时刻，背景图像数据（即图像BG2，）结合前景轮 廓掩模区域的视如图21所示。可以理解的是背景图像是在模型中是不断更新，对于不同的 t2时刻，背景图像是不同的，即BG2是不同。
[0125] 为了进一步提高遗失物的检测的准确性，在标记前景物体为遗失物时，还启动一 个定时器，定时器根据不同遗失物体和场所设定不同的超时阀值。从标记前景物体为遗失 物起，再经过设定的时间阀值后，若检测到遗失物体已回归，则取消标记的遗失物。在另一 些实施例中，若在标记前景物体为遗失物之后还触发遗失物预警;在检测到遗失物体已回 归后，取消遗失物预警，或还发出撤回遗失物预警的动作。
[0126] 优选的，参考图3,检测遗失物已回归的方法可以是:在触发遗失物预警后并经过 设定的时间后，
[0127] S211继续获取下一帧图像IMG2并计算该图像IMG2在所述前景轮廓掩模区域的梯 度值GJMG2;
[0128] S212判断所述6_11?；2减6_81是否小于第二预设值，若大于则S222取消遗失物预 警，否则S221触发遗失物警报(遗失物警报也称作第二动作）。
[0129] 可以理解的是，也可以用MG2更新背景图像模型，计算更新后的背景图像数据在 所述前景轮廓掩模区域的梯度值G_B2;并判断所述6_82减6_81是否小于第二预设值，若大 于则取消遗失物预警，否则触发遗失物警报。
[0130]优选的，所述第二预设值可以是0,即判断G_IMG2〈G_B1时，触发遗失物警报。
[0131]可以理解的是，参考图4,检测遗失物已回归的方法也可以是在触发遗失物预警后 并经过设定的时间T内，不断计算下一帧图像IMGx在所述前景轮廓掩模区域的梯度值G_ 頂Gx;判断GJMGx-G_Bl是否小于第二预设值，在设定的时间T内，若GJMGx-G_Bl大于或等 于第二预设值则取消遗失物预警，否则在经过所述设定的时间T后，触发遗失物报警。可以 理解的是X的取值是2~n，即G_niGx可以是6_頂62,6_頂63,6_頂64等，但是在本方法中^的 取值是递增的。
[0132] 在一些实施例中，在标记前景物为遗失物后，还获取IMG1之后的图像帧，将所述图 像帧输入到所述背景模型中计算出更新后的背景图像数据；
[0133] 检测遗失物已回归的方法也可以是在触发遗失物预警后并经过设定的时间内，， 不断获取下一帧图像IMGx，将获得的图像帧IMGx输入到所述背景模型中更新背景图像数 据，并计算背景图像在前景轮廓掩模区域的梯度值G_IMGx;在设定的时间T内，判断所述G_ 頂Gx-G_B1的值是否大于第二预设值，若大于则取消标记前景物为遗失物，否则在经过所述 设定的时间T后，触发第二动作。
[0134] 必须说明的是在本发明的所述方法中，一直将图像帧输入所述背景模型中计算和 更新背景图像数据，在更新背景图像数据的过程中，若识别出前景区域，则通过上述步骤确 定前景物是遗失物，以及进一步确认。
[0135] 第二动作可以是触发遗失物警报装置。
[0136] 在另一些实施例中，参见图5,所述前景物体检测方法还可以应用于遗留物体检测 中。即当判断6_頂61减6_81的差值是大于第三预设值后，表示前景区域内的物体为前景物 体，并标记前物体为遗留物，在另一些实施例中，还包括步骤S410触发遗留物预警(遗留物 预警也被称作第三动作）。
[0137] 参见图5,在标记前物体为遗留物时，还可以启动一个定时器，定时器根据不同遗 留物体和场所设定不同的超时阀值。从标记前物体为遗留物时起，再经过设定的时间阀值 后，若检测到遗留物体已被取走，则取消标记的遗留物，在另一些实施例中，若在标记遗留 物之后还触发了遗留物预警，则取消遗留物预警或发出测绘遗留物预警的动作。
[0138] 优选的，检测遗留物已被取走的方法可以是:在触发遗留物预警后并经过设定的 时间后，
[0139] S411继续获取下一帧图像MG2并计算该图像MG2在所述前景轮廓掩模区域的梯 度值GJMG2;
[0140] S412判断所述6_頂62减6_81是否小于第四预设值，若小于则S430取消遗留物预 警，否则S420触发遗留物警报(遗留物警报也被称作第四动作）。
[0141] 可以理解的是，也可以不断更新背景图像模型，并在触发遗留物预警后并经过设 定的时间后，获取图像MG2,通过MG2更新背景图像模型，计算更新后的背景图像数据在所 述前景轮廓掩模区域的梯度值G_B2;并通过判断所述6_82减6_81是否小于第四预设值，若 小于则取消遗留物预警，否则触发遗留物警报。
[0142] 可以理解的是，参见图6,检测遗留物已被取走的方法也可以是在触发遗失物预警 后并经过设定的时间内，不断计算该下一帧图像在所述前景轮廓掩模区域的梯度值G_ IMGx;判断G_IMGx-G_Bl是否小于第四预设值，若G_IMGx-G_Bl小于第四预设值则取消遗留 物预警，否则在经过所述设定的时间后，触发遗留物报警。
[0143] 可以理解的是，在一种实施例中，可以通过下述步骤方法进一步确认遗留物，这些 步骤包括，
[0144] 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背 景图像数据;在标记前景物为遗失物并经过设定的时间后，获取下一帧图像頂G2,用頂G2更 新背景图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所 述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，若G_B2-G_B1 的差大于第四预设值，则触发第四动作。
[0145] 在一种实施例中，可以通过下述步骤方法进一步确认遗留物：
[0146] 这些步骤包括，获取頂G1之后的图像帧MG2，将所述图像帧MG2 输入到所述背景 模型中计算出更新后的背景图像数据;计算更新后的背景数据在所述前景轮廓掩模区域的 梯度值G_B2;判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗 留物，否则继续获取之后的图像帧;将获得的图像帧IMGx输入到所述背景模型中更新背景 图像数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间，若G_ Bx-G_B1的差都不大于第四预设值，则触发第四动作。
[0147] 为了便于描述也可以称第一动作为遗失物预警动作，第二动作为遗失物报警动 作，第三动作为遗留物预警动作，第四动作为遗留物报警动作。在一些实施例中例如在贵重 物品的柜台，在发现柜面上的物体消失时，即当判断G_MG1-G_B1小于第一预设值，可以触 发遗失物预警，第一动作可以是提示灯闪烁等，也可以是相关人员知道的提示信号，当通过 预设的时间后，例如2分钟后，通过比较或通过比较(比较过程参 考前述提到的方法)确定柜面的物体消失，则触发第二警报动作，第二警报动作可以是蜂鸣 器鸣叫等。在一些实施例中第一动作和第二动作可以是同一个报警设备完成的，例如，触发 第一动作时，报警等慢速闪烁，当触发第二动作时，报警灯采用比上述慢速闪烁更快的速度 闪烁。可以理解的是，第三动作和第四动作类似第一动作和第二动作。可以理解的是报警装 置和预警装置可以是，例如LED、蜂鸣器、电脑等，即通过LED灯闪烁，蜂鸣器响一声，控制中 心的电脑画面中出现一个提示框等方式预警或报警。
[0148] 发明人还提供一种前景检测设备，用于实现上述方法。请参考图22,所述设备20包 括前景区域检测模块201、前景轮廓模块203、梯度计算模块205、前景检测控制模块207;
[0149] 所述前景区域检测模块201用于对输入的图像序列进行建模处理，得到背景图像 数据和前景区域。
[0150] 所述前景轮廓模块203用于根据得到的前景区域标记前景轮廓，再根据所述前景 轮廓计算前景轮廓掩模区域；
[0151]所述梯度计算模块205用于计算给定图像在给定区域的梯度值；
[0152]所述前景检测控制模块207用于判断前景轮廓掩模区域的梯度值的数值变化，若 数值变化达到设定触发条件，则触发判断前景区域的物体为前景物体。
[0153]需要说明的是，本发明并不限于使用现有的背景建模方法，还可以使用将来的背 景建模方法计算的到背景数据和前景区域。
[0154] 在另一些优选的实施例中，所述前景区域检测模块201用于将输入的图像序列输 入到高斯背景模型计算，得到背景图像数据和前景区域。
[0155] 在另一些实施例中，所述梯度计算模块用于计算背景图像数据在所述前景轮廓掩 模区域的梯度值6_81，和计算所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1;
[0156] 所述所述前景检测控制模块用于判断6_頂61和6_81数值的差值，若差值达到第一 设置触发条件时，触发遗失物预警。
[0157] 在另一些实施例中，所述前景检测控制模块用于获取MG1之后的图像帧MG2,将 所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据;计算更新后的背景 数据在所述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否大于第二预设 值，若大于则取消标记前景物为遗失物，否则继续获取之后的图像帧;将获得的图像帧MGx 输入到所述背景模型中更新背景图像数据，并计算背景图像在前景轮廓掩模区域的梯度值 G_Bx，直到经过设定的时间，若G_Bx-G_Bl的差都小于第二预设值，则触发第二动作。
[0158] 在另一些实施例中，所述第二动作为触发报警装置。
[0159] 在另一些实施例中，所述前景物检测控制模块用于获取頂G1之后的图像帧，将所 述图像帧输入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗失物并 经过设定的时间T后，获取下一帧图像MG2,用MG2更新背景图像数据，计算更新后的背景 数据在所述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否小于第二预设 值，若大于或等于则取消标记前景物为遗失物，若G_B2-G_B1的差都小于第二预设值，则触 发第二动作。在另一些实施例中，所述前景检测控制模块用于获取頂G1之后的图像帧，将所 述图像帧输入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗失物后 并经过设定的时间后，获取下一帧图像頂G2,用頂G2更新背景图像数据，计算更新后的背景 数据在所述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否大于第二预设 值，若大于则取消标记前景物为遗失物，否则则触发第二动作。
[0160] 在另一些实施例中，所述前景检测控制模块用于获取MG1之后的图像帧，将所述 图像帧输入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗失物后并 经过设定的时间后，获取下一帧图像IMG2,计算IMG2在所述前景轮廓掩模区域的梯度值G_ MG2;判断所述GJMG2-G_B1的值是否大于第二预设值，若大于则取消标记前景物为遗失 物，否则则触发第二动作。
[0161 ]在另一些实施例中，第二动作为触发报警装置。
[0162] 在另一些实施例中，所述前景检测控制模块用判断G_MG1_G_B1的差值是否大于 第三预设值，是则判断前景区域中的物体为前景物，标记前景物为遗留物，否则判断当前前 景区域无前景物。
[0163] 在另一些实施例中，所述前景检测控制模块用判断G_MG1_G_B1的差值大于第三 预设值时，还触发第三动作。
[0164] 在另一些实施例中，所述第三动作为触发预警装置。
[0165] 在另一些实施例中，所述前景物体检测方法在标记前景物为遗失物后，还包括步 骤:获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据;在标记前景物为遗失物并经过设定的时间后，获取下一帧图像MG2,计算頂G2在所 述前景轮廓掩模区域的梯度值6_頂62;判断所述6_頂62-6_81的值是否小于第二预设值，若 大于或等于则取消标记前景物为遗失物，若小于则触发遗失物报警动作。
[0166] 在另一些实施例中，所述第四动作为触发报警装置。
[0167] 在另一些实施例中，所述前景检测控制模块用于获取获取IMG1之后的图像帧 MG2,将所述图像帧MG2输入到所述背景模型中计算出更新后的背景图像数据;计算更新 后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所述6_頂62-6_81的值是否小 于第四预设值，若小于则取消标记前景物为遗留物，否则继续获取之后的图像帧;将获得的 图像帧MGx，并计算图像真MGx在前景轮廓掩模区域的梯度值GJMGx，直到经过设定的时 间，若G_IMGx-G_Bl的差都不大于第四预设值，贝触发第四动作。
[0168] 在另一些实施例中，所述前景检测控制模块用于获取MG1之后的图像帧，将所述 图像帧输入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗留物后并 经过设定的时间后，获取下一帧图像MG2,用頂G2更新背景图像数据，计算更新后的背景数 据在所述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是小于与第四预设值， 若小于则取消标记前景物为遗留物，否则则触发第四动作。
[0169] 在另一些实施例中，其特征在于，所述第四动作为触发报警装置。
[0170] 在另一些实施例中，所述前景检测控制模块用于获取MG1之后的图像帧，将所述 图像帧输入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗留物后并 经过设定的时间后，获取下一帧图像IMG2,计算IMG2在所述前景轮廓掩模区域的梯度值G_ MG2;判断所述GJMG2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留 物，否则则触发第四动作。
[0171]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实 体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存 在任何这种实际的关系或者顺序。而且，术语"包括"、"包含"或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些 要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终 端设备所固有的要素。在没有更多限制的情况下，由语句"包括……"或"包含……"限定的 要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此 外，在本文中，"大于"、"小于"、"超过"等理解为不包括本数；"以上"、"以下"、"以内"等理解 为包括本数。
[0172] 本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产 品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例 的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来 完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方 法所述的全部或部分步骤。所述计算机设备，包括但不限于:个人计算机、服务器、通用计算 机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式 智能设备、车载智能设备等;所述的存储介质，包括但不限于:RAM、R0M、磁碟、磁带、光盘、闪 存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
[0173] 上述各实施例是参照根据实施例所述的方法、设备（系统）、和计算机程序产品的 流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每 一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机 程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指 令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的 功能的装置。
[0174] 这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设 备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造 品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指 定的功能。
[0175] 这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列 操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程 图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0176]尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创 造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例， 并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构 或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利 保护范围之内。
【主权项】
1. 一种前景物体检测方法，其特征在于，包括步骤： 获取一帧图像MG1，将所述图像頂G1输入到背景模型中计算，更新背景图像数据，并标 记前景区域； 若所述图像頂G1中不存在被标记为前景区域的区域，则继续获取下一帧图 像，并基于 获取到的下一帧图像更新背景图像数据和标记前景区域，若图像MG1中存在被标记为前景 区域的区域，则根据所述前景区域标记前景轮廓，根据所述前景轮廓计算前景轮廓掩模区 域； 计算所述背景图像数据在所述前景轮廓掩模区域的梯度值6_81，和所述图像IMG1在所 述前景轮廓掩模区域的梯度值6_頂61; 通过G_B1和6_頂61判断前景区域中的物体是否为前景物。2. 根据权利要求1所述的一种前景物体检测方法，其特征在于，所述前景轮廓掩模区域 由膨胀轮廓和腐蚀轮廓之间的区域构成；所述膨胀轮廓根据前景轮廓和膨胀公式计算得 至IJ;所述腐蚀轮廓根据前景轮廓和腐蚀公式计算得到。3. 根据权利要求1所述的一种前景物体检测方法，其特征在于，所述背景模型为高斯背 景模型。4. 根据权利要求1所述的一种前景物体检测方法，其特征在于，所述通过6_81和6_頂61 判断前景区域中的物体是否为前景物包括步骤： 判断G_IMG1-G_B1的值是否小于第一预设值，若小于则判断前景区域中的物体为前景 物，并标记前景物为遗失物，否则判断当前前景区域无前景物体。5. 根据权利要求4所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法 在标记前景物为遗失物后，还包括步骤： 获取MG1之后的图像帧MG2,将所述图像帧頂G2输入到所述背景模型中计算出更新后 的背景图像数据； 计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2; 判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗 失物，若小于则继续获取之后的图像帧MGx;将获得的图像帧MGx输入到所述背景模型中 更新背景图像数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的 时间T，若T时间内G_Bx-G_Bl的差均小于第二预设值，则触发遗失物报警动作。6. 根据权利要求5所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法 在标记前景物为遗失物后，还包括步骤： 获取MG1之后的图像帧MG2,将所述图像帧頂G2输入到所述背景模型中计算出更新后 的背景图像数据;计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2; 判断所述6_頂62-6_81的值是否小于第二预设值，若大于或等于则取消标记前景物为 遗失物，若小于则继续获取之后的图像帧;将获得的图像帧頂Gx，并计算图像帧頂Gx在前景 轮廓掩模区域的梯度值GJMGx，直到经过设定的时间T，若T时间内GJMGx-G_B1的差均小于 第二预设值，则触发遗失物报警动作。7. 根据权利要求4所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法 在标记前景物为遗失物后，还包括步骤： 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据； 在标记前景物为遗失物并经过设定的时间后，获取下一帧图像頂G2,用MG2更新背景 图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2; 判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗 失物，若小于则触发遗失物报警动作。8. 根据权利要求4或7所述的一种前景物体检测方法，其特征在于，所述前景物体检测 方法在标记前景物为遗失物后，还包括步骤： 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据； 在标记前景物为遗失物并经过设定的时间后，获取下一帧图像頂G2,计算MG2在所述 前景轮廓掩模区域的梯度值G_IMG2; 判断所述6_頂62-6_81的值是否小于第二预设值，若大于或等于则取消标记前景物为 遗失物，若小于则触发遗失物报警动作。9. 根据权利要求1所述的一种前景物体检测方法，其特征在于，所述"通过6_81和6_ IMG1判断前景区域中的物体是否为前景物"包括步骤： 判断GJMG1-G_B1的差值是否大于第三预设值，是则判断前景区域中的物体为前景物， 标记前景物为遗留物，否则判断当前前景区域无前景物。10. 根据权利要求9所述的一种前景物体检测方法，其特征在于，所述前景物体检测方 法在标记前景物为遗留物后，还包括步骤， 获取MG1之后的图像帧MG2,将所述图像帧頂G2输入到所述背景模型中计算出更新后 的背景图像数据； 计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2; 判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否 则继续获取之后的图像帧；将获得的图像帧頂Gx输入到所述背景模型中更新背景图像数 据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间，若G_Bx-G_ B1的差均大于第四预设值，则触发遗留物报警动作。11. 根据权利要求9所述的一种前景物体检测方法，其特征在于，所述前景物体检测方 法在标记前景物为遗留物后，还包括步骤： 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据； 在标记前景物为遗留物并经过设定的时间后，获取下一帧图像頂G2,用MG2更新背景 图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2; 判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否 则触发遗留物报警动作。12. 根据权利要求9所述的一种前景物体检测方法，其特征在于，所述前景物体检测方 法在标记前景物为遗留物后，还包括步骤： 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据； 在标记前景物为遗留物后并经过设定的时间后，获取下一帧图像頂G2,计算IMG2在所 述前景轮廓掩模区域的梯度值6_頂62; 判断所述G_niG2-G_Bl的值是否小于第四预设值，若小于则取消标记前景物为遗留物， 否则触发遗留物报警动作。13. 根据权利要求12所述的一种前景物体检测方法，其特征在于，所述前景物体检测方 法在标记前景物为遗留物后，还包括步骤： 获取MG1之后的图像帧MG2,将所述图像帧頂G2输入到所述背景模型中计算出更新后 的背景图像数据； 计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2; 判断所述G_niG2-G_Bl的值是否小于第四预设值，若小于则取消标记前景物为遗失物， 若大于或等于则继续获取之后的图像帧；获取图像帧頂Gx，并计算图像真頂Gx在前景轮廓 掩模区域的梯度值GJMGx，直到经过设定的时间T，若T时间内GJMGx-G_B1的差均小于则取 消标记前景物为遗留物，否则触发遗留物报警动作。14. 一种前景检测设备，其特征在于，包括前景区域检测模块、前景轮廓模块、梯度计算 模块、前景物检测控制模块； 所述前景区域检测模块用于获取一帧图像MG1，将所述图像MG1输入到背景模型中计 算，更新背景图像数据，并标记前景区域； 所述前景轮廓模块用于判断若所述图像IMG1中不存在被标记为前景区域的区域，则继 续获取下一帧图像，并基于获取到的下一帧图像更新背景图像数据和标记前景区域，若图 像頂G1中存在被标记为前景区域的区域，则根据所述前景区域标记前景轮廓，根据所述前 景轮廓计算前景轮廓掩模区域； 所述梯度计算模块用于计算所述背景图像数据在所述前景轮廓掩模区域的梯度值G_B1，和所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1; 所述前景物检测控制模块用于通过G_B0PG_IMG1判断前景区域中的物体是否为前景 物。15. 根据权利要求14所述的一种前景检测设备，其特征在于，还包括前景轮廓掩模区域 获得模块，其用于获得前景轮廓掩模区域，所述前景轮廓掩模区域由膨胀轮廓和腐蚀轮廓 之间的区域构成;所述膨胀轮廓根据前景轮廓和膨胀公式计算得到;所述腐蚀轮廓根据前 景轮廓和腐蚀公式计算得到。16. 根据权利要求14所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 具体用于判断G_IMG1-G_B1的差值是否小于第一预设值，若小于则判断前景区域中的物体 为前景物，标记前景物为遗失物，否则判断当前前景区域无前景物体。17. 根据权利要求16所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 用于获取頂G1之后的图像帧MG2,将所述图像帧MG2输入到所述背景模型中计算出更新后 的背景图像数据;计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所 述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于 则继续获取之后的图像帧IMGx;将获得的图像帧頂Gx输入到所述背景模型中更新背景图像 数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间T，若在T时 间内G_Bx-G_Bl的差均小于第二预设值，则触发遗失物报警动作。18. 根据权利要求16所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据;在标记前景物为遗失物并经过设定的时间T后，获取下一帧图像MG2，用MG2更新 背景图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所述 G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则 触发遗失物报警动作。19. 根据权利要求14所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 用判断GJMG1-G_B1的差值是否大于第三预设值，是则判断前景区域中的物体为前景物，标 记前景物为遗留物，否则判断当前前景区域无前景物。20. 根据权利要求19所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 用于获取頂G1之后的图像帧MG2,将所述图像帧MG2输入到所述背景模型中计算出更新后 的背景图像数据;计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所 述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则继续获取 之后的图像帧；将获得的图像帧MGx输入到所述背景模型中更新背景图像数据，并计算背 景图像在前景轮廓掩模区域的梯度直到经过设定的时间T，若在T时间内G_Bx-G_Bl 的差都大于第四预设值，则触发遗留物报警动作。21. 根据权利要求19所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据;在标记前景物为遗留物后并经过设定的时间T后，获取下一帧图像MG2,用MG2更 新背景图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所 述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则触发遗留 物报警动作。
【专利摘要】发明人提供一种前景物体检测方法和设备，所述设备包括前景区域检测模块、前景轮廓模块、梯度计算模块、前景检测控制模块。涉及物体识别领域，主要涉及不规律运动的前景物体的识别。所述前景物体检测方法根据在前景轮廓掩模区域的梯度值的变化，相比单背景高斯模型中运动的物体静止后容易被识别为背景，而静止较长时间后又发生运动时会被识别为另一物体，本方法提高了前景物体的识别效率和识别的一致性。
【IPC分类】G06K9/62
【公开号】CN105488542
【申请号】CN201510982581
【发明人】吕俊杰
【申请人】福建星网锐捷安防科技有限公司
【公开日】2016年4月13日
【申请日】2015年12月24日
【技术领域】
[0001] 本发明涉及物体识别领域，主要涉及不规律运动的前景物体的识别。
【背景技术】
[0002] 背景物体就是指静止的或是非常缓慢的移动的物体，而前景物体就相对移动的物 体。所以我们可以把物体检测看出一个分类问题，也就是来确定一个像素点是否属于背景 点。但是在不规律运动的前景物体，特别是在两次运动之间的间隔长时间静止的前景物体， 在静止的过程中容易被识别为背景物体。
[0003] 在实现本发明的过程中，发明人发现现有技术中存在如下问题，基于单背景模型 的检测方法往往需要计算复杂度较高的跟踪算法(如meanshif t算法）。同时这类方法无法 确认目标跟踪前的状态，例如物体静止后复运动，容易识别为另一个物体;而双背景模型的 算法计算量是单背景模型的两倍，双背景模型的方法其大致流程如下：
[0004] 建立两个更新速度不同的高斯背景模型。可以有两种实现方式，一是相同更新频 率/周期，不同更新速度;二是相同更新速度，不同更新频率/周期。这里使用第二种方式，更 新频率高的记为M0G_fast，更新频率低的记为M0G_slow。
[0005] 输入视频图像到两个高斯模型中，并以各自的频率开始计算，创建背景并分割前 景。前景分别记为FG_fast和FG_slow〇
[0006] 当FG_fast检测到目标前景，但FG_slow却未检测到，贝lj判定FG_fast检测到的目 标。
[0007] 使用额外的方法确认来区分目标前景是遗留物还是遗失物，并在设定的阈值时间 后报警。
【发明内容】
[0008] 以下给出对一个或更多个方面的简化概述以力图提供对此类方面的基本理解。此 概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性 要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或更多 个方面的一些概念以作为稍后给出的更加具体的说明之序。
[0009] 发明人提供一种前景物体检测方法，包括步骤：
[0010]获取一帧图像MG1，将所述图像頂G1输入到背景模型中计算，更新背景图像数据， 并标记前景区域；
[0011]若所述图像MG1中不存在被标记为前景区域的区域，则继续获取下一帧图像，并 基于获取到的下一帧图像更新背景图像数据和标记前景区域，若图像頂G1中存在被标记为 前景区域的区域，则根据所述前景区域标记前景轮廓，根据所述前景轮廓计算前景轮廓掩 模区域；
[0012]计算所述背景图像数据在所述前景轮廓掩模区域的梯度值6_81，和所述图像IMG1 在所述前景轮廓掩模区域的梯度值G_IMG1;
[0013] 通过G_B1和GJMG1判断前景区域中的物体是否为前景物。
[0014] 进一步，所述前景轮廓掩模区域由膨胀轮廓和腐蚀轮廓之间的区域构成;所述膨 胀轮廓根据前景轮廓和膨胀公式计算得到;所述腐蚀轮廓根据前景轮廓和腐蚀公式计算得 到。
[0015] 进一步，所述背景模型为高斯背景模型。
[0016] 进一步，所述通过G_B1和GJMG1判断前景区域中的物体是否为前景物包括步骤： [0017]判断G_IMG1-G_B1的值是否小于第一预设值，若小于则判断前景区域中的物体为 前景物，并标记前景物为遗失物，否则判断当前前景区域无前景物体。
[0018]进一步，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
[0019]获取頂G1之后的图像帧頂G2,将所述图像帧MG2输入到所述背景模型中计算出更 新后的背景图像数据；
[0020] 计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;
[0021] 判断所述G_B2_G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物 为遗失物，若小于则继续获取之后的图像帧IMGx;将获得的图像帧IMGx输入到所述背景模 型中更新背景图像数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设 定的时间T，若T时间内G_Bx-G_Bl的差均小于第二预设值，则触发遗失物报警动作。
[0022 ]进一步，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
[0023]获取MG1之后的图像帧頂G2,将所述图像帧MG2输入到所述背景模型中计算出更 新后的背景图像数据;计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2;
[0024] 判断所述GJMG2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景 物为遗失物，若小于则继续获取之后的图像帧;将获得的图像帧頂Gx，并计算图像帧頂Gx在 前景轮廓掩模区域的梯度值GJMGx，直到经过设定的时间T，若T时间内G_MG X-G_B 1的差均 小于第二预设值，则触发遗失物报警动作。
[0025] 进一步，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
[0026] 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背 景图像数据；
[0027]在标记前景物为遗失物并经过设定的时间后，获取下一帧图像頂G2,用頂G2更新 背景图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;
[0028]判断所述G_B2_G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物 为遗失物，若小于则触发遗失物报警动作。
[0029 ]进一步，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
[0030] 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背 景图像数据；
[0031] 在标记前景物为遗失物并经过设定的时间后，获取下一帧图像MG2,计算MG2在 所述前景轮廓掩模区域的梯度值G_IMG2;
[0032] 判断所述GJMG2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景 物为遗失物，若小于则触发遗失物报警动作。
[0033]进一步，所述"通过G_B0PG_IMG1判断前景区域中的物体是否为前景物"包括步 骤：
[0034] 判断GJMG1-G_B1的差值是否大于第三预设值，是则判断前景区域中的物体为前 景物，标记前景物为遗留物，否则判断当前前景区域无前景物。
[0035] 进一步，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤，
[0036]获取MG1之后的图像帧頂G2,将所述图像帧MG2输入到所述背景模型中计算出更 新后的背景图像数据；
[0037] 计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;
[0038] 判断所述G_B2_G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留 物，否则继续获取之后的图像帧;将获得的图像帧IMGx输入到所述背景模型中更新背景图 像数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间，若G_ Bx-G_B1的差均大于第四预设值，则触发遗留物报警动作。
[0039] 进一步，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
[0040] 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背 景图像数据；
[0041] 在标记前景物为遗留物并经过设定的时间后，获取下一帧图像頂G2,用頂G2更新 背景图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;
[0042] 判断所述G_B2_G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留 物，否则触发遗留物报警动作。
[0043] 进一步，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
[0044] 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背 景图像数据；
[0045]在标记前景物为遗留物后并经过设定的时间后，获取下一帧图像MG2,计算頂G2 在所述前景轮廓掩模区域的梯度值G_IMG2;
[0046] 判断所述GJMG2_G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗 留物，否则触发遗留物报警动作。
[0047] 进一步，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
[0048]获取MG1之后的图像帧頂G2,将所述图像帧MG2输入到所述背景模型中计算出更 新后的背景图像数据；
[0049]计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2;
[0050] 判断所述GJMG2_G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗 失物，若大于或等于则继续获取之后的图像帧;将获得的图像帧頂Gx，并计算图像真頂Gx在 前景轮廓掩模区域的梯度值GJMGx，直到经过设定的时间T，若T时间内G_MG X-G_B 1的差均 小于则取消标记前景物为遗留物，否则触发遗留物报警动作。
[0051] 发明人还提供一种前景检测设备，包括前景区域检测模块、前景轮廓模块、梯度计 算模块、前景物检测控制模块；
[0052]所述前景区域检测模块用于获取一帧图像頂G1，将所述图像頂G1输入到背景模型 中计算，更新背景图像数据，并标记前景区域；
[0053]所述前景轮廓模块用于判断若所述图像頂G1中不存在被标记为前景区域的区域， 则继续获取下一帧图像，并基于获取到的下一帧图像更新背景图像数据和标记前景区域， 若图像MG1中存在被标记为前景区域的区域，则根据所述前景区域标记前景轮廓，根据所 述前景轮廓计算前景轮廓掩模区域；
[0054] 所述梯度计算模块用于计算所述背景图像数据在所述前景轮廓掩模区域的梯度 值6_81，和所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1;
[0055] 所述前景物检测控制模块用于通过6_81和6_頂61判断前景区域中的物体是否为 前景物。
[0056] 进一步，还包括前景轮廓掩模区域获得模块，其用于获得前景轮廓掩模区域，所述 前景轮廓掩模区域由膨胀轮廓和腐蚀轮廓之间的区域构成;所述膨胀轮廓根据前景轮廓和 膨胀公式计算得到;所述腐蚀轮廓根据前景轮廓和腐蚀公式计算得到。
[0057]进一步，所述前景物检测控制模块具体用于判断G_MG1_G_B1的差值是否小于第 一预设值，若小于则判断前景区域中的物体为前景物，标记前景物为遗失物，否则判断当前 前景区域无前景物体。
[0058]进一步，所述前景物检测控制模块用于获取MG1之后的图像帧MG2,将所述图像 帧IMG2输入到所述背景模型中计算出更新后的背景图像数据;计算更新后的背景数据在所 述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否小于第二预设值，若大于 或等于则取消标记前景物为遗失物，若小于则继续获取之后的图像帧IMGx;将获得的图像 帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像在前景轮廓掩模区域的 梯度值G_Bx，直到经过设定的时间T，若在T时间内G_Bx-G_Bl的差均小于第二预设值，则触 发遗失物报警动作。
[0059] 进一步，所述前景物检测控制模块用于获取IMG1之后的 图像帧，将所述图像帧输 入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗失物并经过设定的 时间T后，获取下一帧图像IMG2,用IMG2更新背景图像数据，计算更新后的背景数据在所述 前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否小于第二预设值，若大于或 等于则取消标记前景物为遗失物，若小于则触发遗失物报警动作。
[0060] 进一步，所述前景物检测控制模块用判断GJMG1-G_B1的差值是否大于第三预设 值，是则判断前景区域中的物体为前景物，标记前景物为遗留物，否则判断当前前景区域无 前景物。
[0061] 进一步，所述前景物检测控制模块用于获取MG1之后的图像帧MG2,将所述图像 帧IMG2输入到所述背景模型中计算出更新后的背景图像数据;计算更新后的背景数据在所 述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否小于第四预设值，若小于 则取消标记前景物为遗留物，否则继续获取之后的图像帧;将获得的图像帧IMGx输入到所 述背景模型中更新背景图像数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直 到经过设定的时间T，若在T时间内G_Bx-G_Bl的差都大于第四预设值，则触发遗留物报警动 作。
[0062] 进一步，所述前景物检测控制模块用于获取IMG1之后的图像帧，将所述图像帧输 入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗留物后并经过设定 的时间T后，获取下一帧图像IMG2,用IMG2更新背景图像数据，计算更新后的背景数据在所 述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否小于第四预设值，若小于 则取消标记前景物为遗留物，否则触发遗留物报警动作。
[0063] 此外，附加方面可包括一种用于实现本文中描述一种前景物体检测方法的第一代 码集。在此方面的进一步方面可包括:包括执行的至少一个处理器;包括计算机可读介质的 计算机程序产品，该计算机可读介质包括能由计算机执行以检测和响应前景物体的指令； 或包括用于检测和响应前景物体的装置或组件的设备。为能达成前述及相关目的，这一个 或更多个方面包括在下文中充分描述并在所附权利要求中特别指出的特征。以下描述和附 图详细阐述了这一个或更多个方面的某些说明性特征。但是，这些特征仅仅是指示了可采 用各种方面的原理的各种方式中的若干种，并且本描述旨在涵盖所有此类方面及其等效方 面。
[0064] 区别于现有技术，本方法根据在前景轮廓掩模区域的梯度值的变化，以达到检测 前景物体的目的。相比单背景高斯模型中运动的物体静止后容易被识别为背景，而静止较 长时间后又发生运动时会被识别为另一物体，本方法提高了前景物体的识别效率和识别的 一致性。又因为在前景物体跟踪识别过程中，只需要额外计算跟踪前景轮廓掩模区域的梯 度变化，相比双背景模型的前景物体识别需要以不同的频率或周期维护两个不同的背景图 层数据，本方法显著的降低了数据的计算规模。并且本方法通过较少的计算就能检测出前 景物体，不需通过计算多个加权的背景图层而检测出前景物体(通常加权背景在前景物体 发生运动的开始时刻，加权背景不会发生较大的变化），减少前景物体检测的延时。
【附图说明】
[0065] 以下将结合附图来描述所公开的方面，提供附图是为了说明而非限定所公开的方 面，附图中相似的标号标示相似要素，并且在其中：
[0066] 图1为【具体实施方式】所述前景物体检测方法流程图；
[0067] 图2为【具体实施方式】所述前景区域再检测方法流程图；
[0068] 图3为【具体实施方式】所述遗失物检测方法流程图；
[0069] 图4为【具体实施方式】所述遗失物再检测方法流程图；
[0070] 图5为【具体实施方式】所述遗留物检测方法流程图；
[0071 ]图6为【具体实施方式】所述遗留物再检测方法流程图；
[0072]图7为参考时间轴；
[0073]图8为tl时刻输入的图像頂G1的示例；
[0074] 图9为tl时刻模型中背景图像数据的示例；
[0075] 图10为tl时刻模型识别出的前景区域示例；
[0076] 图11为【具体实施方式】所述的前景区域轮廓的示例；
[0077] 图12为【具体实施方式】所述的前景轮廓掩模区域的示例；
[0078] 图13为【具体实施方式】所述的前景轮廓掩模区域结合tl时刻模型中背景图像数据 的示例；
[0079]图14为【具体实施方式】所述的前景轮廓掩模区域结合tl时刻的输入的图像IMG1示 例；
[0080] 图15为【具体实施方式】所述前景物体静置一段时间后的t2时刻，前景轮廓掩模区域 结合t2时刻模型中背景图像数据的示例；
[0081] 图16为另一【具体实施方式】tl时刻输入的图像IMG1的示例；
[0082] 图17为另一【具体实施方式】tl时刻模型中背景图像数据的示例；
[0083] 图18为另一【具体实施方式】tl时刻模型识别出的前景区域示例；
[0084] 图19为另一【具体实施方式】所述的前景轮廓掩模区域结合tl时刻模型中背景图像 数据的示例；
[0085] 图20为另一【具体实施方式】所述的前景轮廓掩模区域结合tl时刻的输入的图像 頂G1示例；
[0086] 图21为另一【具体实施方式】所述前景物体静置一段时间后的t2时刻，前景轮廓掩模 区域结合t2时刻模型中背景图像数据的示例；
[0087] 图22、为另一【具体实施方式】所述设备模块图；
[0088]图23、为前景轮廓掩模区域示意图。
[0089] 附图标记：
[0090] 20、设备；
[0091] 201、前景区域检测模块；
[0092] 203、前景轮廓模块；
[0093] 205、梯度计算模块；
[0094] 207、前景检测控制模块；
[0095] 301、腐蚀轮廓；
[0096] 302、前景轮廓；
[0097] 303、膨胀轮廓。
【具体实施方式】
[0098] 为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实 施例并配合附图详予说明。在以下描述中，出于解释目的阐述了众多的具体细节以提供对 一个或更多个方面的透彻理解。但是显而易见的是，没有这些具体细节也可实践此类方面。
[0099] 本发明中所述的图像幀序列，主要指图像帧按照时间顺序排列成的序列，例如常 见的视频监控录制的视频画面构成的序列。图像帧序列即可以使视频文件，也可以是视频 流。需要说明的是，图像帧有时也被称作是图像。
[0100] 发明人提出了一种计算物体轮廓掩模，再通过计算图像帧在物体轮廓掩模区域的 梯度，进而识别前景物体以及判断出前景物体的运动状态的方法。可以用于搜寻追踪和寻 找发生长时间相对静止物件。
[0101] 请参阅图1，所述的一种识别前景物体的方法步骤包括：
[0102] S101对输入的图像序列进行建模处理，得到背景图像数据；
[0103] S102获取下一帧图像頂G1，将所述图像頂G1输入到上述模型中计算，用于更新背 景图像数据和标记前景区域；
[0104] S103若所述图像頂G1中没有区域被标注为前景区域，则返回步骤S102;
[0105] 若有，则S104根据所述前景区域标记前景轮廓，根据所述前景轮廓计算前景轮廓 掩模区域；
[0106] S105计算所述背景图像数据在所述前景轮廓掩模区域的梯度值6_81，和计算所述 图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1;
[0107] S106判断G_B0PG_IMG1是否达到设定的确定前景物体的触发条件，若达到则触发 确定为前景物。
[0108] 优选的G_B1对应输入图像IMG1后的模型中的背景图像数据在所述前景轮廓掩模 区域的梯度值，在另一些实施例中也可以是对应输入MG1前的背景图像数据在所述前景轮 廓掩模区域的梯度值。优选的，G_IMG1可以是对应图像IMG1在所述前景轮廓掩模区域的梯 度值，在另一些实施例中也可以是对应输入頂G1后背景图像数据在所述前景轮廓掩模区域 的梯度值。
[0109] 上述方法步骤中，步骤S101~S103主要作用为通过建模识别出输入的图像序列中 背景图像数据和前景区域。所述的建模为建立背景识别模型，该模型用于识别出背景和前 景，可以是基于运动物体的前景检测建立的模型，也可以是基于运动物体和色彩检测建立 的模型。其一般根据输入的图像更新模型中的背景图像数据和前景区域。在不同的模型中， 所述背景图像数据一般是不同的。例如高斯背景模型中，所述背景图像数据为带权值的背 景图像数据。在一些实施例中背景图像数据中的权值是通过物品在图像中的透明度表示， 即越透明度的物体，权值越小，静止的背景物体不透明。优选的所述模型为高斯背景模型。 所述的高斯背景模型可以是基于单背景的模型，也可以是基于双背景的模型，也可以说混 合其他方法的模型，例如颜色或图像分割等。图像帧序列输入到高斯背景模型中，根据输入 的图像帧产生加权的背景图像数据。在加权的背景图像数据中，权值越大的区域，其为背景 的可能性越大;优选的高斯背景模型背景图像数据可以通过下述方法产生。
[0110]
[0111] 其中，（x，y)为图像像素坐标，BG(x，y)表示背景图像数据中像素坐标为(x，y)的点 的像素值。η为当前有效的背景模型个数，GMM_weight和GMM_mean为对应的模型权重和均 值，即GMM_weight n即表示第η个模型的权重，GMM_meann(x，y)表示(x，y)像素点在1~η个模 型中的均值。
[0112] 通过建模识别出背景图像数据和前景区域，请参考图7~15,图7表示输入图像帧 序列的时间轴。在11时刻，输入下一帧MG1到模型中，頂G1如图8所示，图8中框出的区域为 前景物所在区域。此时模型中的背景图像数据表示为图9,前景区域表示为图10;图10中的 白色和灰色区域表示前景物体出现的区域，即前景区域，在另一些实施例中，因为采用模型 或计算方法的不同，得到的前景区域可能是不同的，例如在一些简单的运动物体前景检测 中，前景区域可能被表示为一个矩形区域。优选的，所述前景轮廓为白色和灰色区域并集的 轮廓。在通常情况下该轮廓圈定前景物体和其阴影所在区域。必须说明的是，根据实际处理 需要，本发明中所述的下一帧可以是在视频时序中等间隔的抽样组成的帧序列中的下一 帧。即例如原来视频是等时录制的，视频中的帧按其出现的时间顺序编号为1，2，3，4，5，6， 7,8,9,10……，间隔取为3,则选取1，4,7，11……，即帧4的下一帧是帧7，帧7的下一帧是帧 11。在另一些实施例中也可以是视频时序等间隔分段之后，在单位段之中的随机位置的图 像帧。例如，原来的视频帧序列按其出现的时间顺序编号为1，2,3,4,5,6……，间隔取为3， 则分段为1~3,4~6,7~11......，1~3中选一帧作为第一帧，4~6帧中选一帧作为下一帧。
[0113] 标记所述并集轮廓为前景轮廓，参考图11，标记的轮廓为轮廓A所示。根据得到的 前景轮廓计算前景轮 廓掩模区域，前景轮廓掩模区域也被称为前景轮廓掩模。在一些实施 例中，如图12所示，在所示实施例中，前景轮廓掩模为环形区域(如图中轮廓D和轮廓E之间 的区域）。通过前景轮廓计算出前景轮廓掩模的方法，在不同的实施例中可以是不同的，通 过不同方法产生的前景轮廓掩模可能是有差别的。优选的所述前景轮廓掩模可以通过下述 方法产生：
[0114] FG_mask = dilate (FG)&(~erode (FG))......(式2)
[0115] 其中，FG为二值前景，表示前景轮廓，dilate表示形态学膨胀，erode表示形态学腐 蚀，~表示二值取反，&表示二值求与，FG_mask表示前景前景轮廓掩模区域。请参考图12,图 中轮廓D是通过前景轮廓根据膨胀算子计算得到的，图中轮廓是E通过前景轮廓根据腐蚀算 子计算得到的。轮廓掩模区域为轮廓D与轮廓E之间的区域。
[0116] 膨胀和腐蚀是对形态学上的操作，是形态学处理的基础，更多关于腐蚀算子、腐蚀 计算或膨胀计算的介绍请参考由电子工业出版社，闪萨雷斯著，阮秋琦，阮宇智等译的《数 字图像处理》的第九章内容。请参考图23,前景轮廓302经过膨胀计算公式计算后得到膨胀 轮廓303;前景轮廓302经过腐蚀计算公式计算后得到腐蚀轮廓301;膨胀轮廓303和腐蚀轮 廓301之间的区域即前景轮廓掩模区域。更多关于腐蚀算子的介绍请参考闪萨雷斯所著的 《数字图像处理》的第九章内容。
[0117]前景轮廓掩模区域包含前景物体的边界，在前景物体出现后，该区域的图像元素 相对出现之前复杂，在前景轮廓掩模区域内计算图像的梯度值，前景物体出现前的梯度值 小于该物体出现后的梯度值;或前景物体消失前的梯度值大于该物体消失后的梯度值。
[0118]请参考图13~图15所示，图12为背景图像数据结合前景轮廓掩模区域的视图，图 14为IMG1结合前景轮廓掩模区域的视图，图15为前景物静置一段时间后的背景图像数据结 合前景轮廓掩模区域的视图。
[0119]图像梯度可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的 求导。图13~图15中根据在前景轮廓掩模区域的梯度值的变化，能达到检测前景物体的目 的。由于不同物体的背景掩模区域，以及背景掩模区域内的梯度值有很大的概率是不同的， 因而可以通过本方法提高不同物体的识别效率，和相同物体在时间顺序上识别的一致性。 [0120]相比现有技术中单背景高斯模型中运动的物体静止后容易被识别为背景，而静止 较长时间后又发生运动时会被识别为另一物体，本方法提高了前景物体的识别效率和识别 的一致性。又因为在前景物体跟踪识别过程中，只需要额外计算跟踪前景轮廓掩模区域的 梯度变化，相比双背景模型的前景物体识别需要以不同的频率或周期维护两个不同的背景 图层数据，本方法显著的降低了数据的计算规模。并且本方法通过较少的计算就能检测出 前景物体，不需通过计算多个加权的背景图层而检测出前景物体(通常加权背景在前景物 体发生运动的开始时刻，加权背景不会发生较大的变化），减少前景物体检测的延时。
[0121] 在另一些实施例中，为了进一步提高前景物体的识别精度，在上述识别前景区域 的基础上，还计算前景区域在设定时间内的位移，并设定位移阀值。在设定时间内，若前景 识别区域的位移超过设定阀值，则判断该前景区域的物体处于运动状态，放弃标记该前景 区域的轮廓。参考图2。必须说明的是，在不同实施例中为了检测不同特征的前景物体，其设 定的位移阀值和设定的时间是不同的；例如在追踪超市门口时而运动时而静止的购物车 时，其设定的时间可以是15分钟以上，而在追踪道路上的违规停车则可以设置更短的时间。
[0122] 在另一些实施例中，所述"S106判断G_B1和GJMG1是否达到设定的确定前景物体 的触发条件"可以为判断6_頂61减6_81的差值是否小于第一预设值。在另一些实施例中，所 述"S106判断G_B0PG_IMG1是否达到设定的确定前景物体的触发条件"可以为判断G_IMG1 减6_81的差值是否大于第一预设值。根据不同的实施例，第一预设值可以是一个带参数的 表达式，例如x*G_Bl，则判断条件为6_頂61-6_81&*6_81 ;其中1的取值可以是1或0，例如1 为0时，则判断条件SG_IMG1>G_B1，当例如X为1时，则判断条件SG_IMG1>0。
[0123] 在另一些实施例中，所述前景物体检测方法还可以应用于遗失物体检测中。即当 判断6_頂61减6_81的差值是小于第一预设值后，判断为识别出前景物，并标识前景区域内 的物体为前景物体，并标记前景物体为遗失物，在另一些实施例中还包括步骤S201触发遗 失物预警（遗失物预警也被称为第一动作）。遗失物预警可以是通过触发预警装置，例如 LED、蜂鸣器、电脑等，即通过LED灯闪烁，蜂鸣器响一声，控制中心的电脑画面中出现一个提 示框等方式预警。
[0124] 请参考图7和图16~图21，假设tl时刻物体被拿走，此时tl对应的图片頂G1，相比 MG1之前的图片，頂G1中物体被拿走，留下背景，頂G1如图16所示。为了便于理解，图16中用 线宽标识了被拿走的物体的位置。在tl时刻输入图片IMG1，此时模型中的背景图像(即图像 BG1)如图17所示，此时模型中检测出的前景区域如图18所示。在tl时刻背景图像数据（即图 像BG1)结合前景轮廓掩模区域的视图如图19所示，图像IMG1结合前景轮廓掩模区域的视图 如图20所示。前景物体遗失一段时间后的t2时刻，背景图像数据（即图像BG2，）结合前景轮 廓掩模区域的视如图21所示。可以理解的是背景图像是在模型中是不断更新，对于不同的 t2时刻，背景图像是不同的，即BG2是不同。
[0125] 为了进一步提高遗失物的检测的准确性，在标记前景物体为遗失物时，还启动一 个定时器，定时器根据不同遗失物体和场所设定不同的超时阀值。从标记前景物体为遗失 物起，再经过设定的时间阀值后，若检测到遗失物体已回归，则取消标记的遗失物。在另一 些实施例中，若在标记前景物体为遗失物之后还触发遗失物预警;在检测到遗失物体已回 归后，取消遗失物预警，或还发出撤回遗失物预警的动作。
[0126] 优选的，参考图3,检测遗失物已回归的方法可以是:在触发遗失物预警后并经过 设定的时间后，
[0127] S211继续获取下一帧图像IMG2并计算该图像IMG2在所述前景轮廓掩模区域的梯 度值GJMG2;
[0128] S212判断所述6_11?；2减6_81是否小于第二预设值，若大于则S222取消遗失物预 警，否则S221触发遗失物警报(遗失物警报也称作第二动作）。
[0129] 可以理解的是，也可以用MG2更新背景图像模型，计算更新后的背景图像数据在 所述前景轮廓掩模区域的梯度值G_B2;并判断所述6_82减6_81是否小于第二预设值，若大 于则取消遗失物预警，否则触发遗失物警报。
[0130]优选的，所述第二预设值可以是0,即判断G_IMG2〈G_B1时，触发遗失物警报。
[0131]可以理解的是，参考图4,检测遗失物已回归的方法也可以是在触发遗失物预警后 并经过设定的时间T内，不断计算下一帧图像IMGx在所述前景轮廓掩模区域的梯度值G_ 頂Gx;判断GJMGx-G_Bl是否小于第二预设值，在设定的时间T内，若GJMGx-G_Bl大于或等 于第二预设值则取消遗失物预警，否则在经过所述设定的时间T后，触发遗失物报警。可以 理解的是X的取值是2~n，即G_niGx可以是6_頂62,6_頂63,6_頂64等，但是在本方法中^的 取值是递增的。
[0132] 在一些实施例中，在标记前景物为遗失物后，还获取IMG1之后的图像帧，将所述图 像帧输入到所述背景模型中计算出更新后的背景图像数据；
[0133] 检测遗失物已回归的方法也可以是在触发遗失物预警后并经过设定的时间内，， 不断获取下一帧图像IMGx，将获得的图像帧IMGx输入到所述背景模型中更新背景图像数 据，并计算背景图像在前景轮廓掩模区域的梯度值G_IMGx;在设定的时间T内，判断所述G_ 頂Gx-G_B1的值是否大于第二预设值，若大于则取消标记前景物为遗失物，否则在经过所述 设定的时间T后，触发第二动作。
[0134] 必须说明的是在本发明的所述方法中，一直将图像帧输入所述背景模型中计算和 更新背景图像数据，在更新背景图像数据的过程中，若识别出前景区域，则通过上述步骤确 定前景物是遗失物，以及进一步确认。
[0135] 第二动作可以是触发遗失物警报装置。
[0136] 在另一些实施例中，参见图5,所述前景物体检测方法还可以应用于遗留物体检测 中。即当判断6_頂61减6_81的差值是大于第三预设值后，表示前景区域内的物体为前景物 体，并标记前物体为遗留物，在另一些实施例中，还包括步骤S410触发遗留物预警(遗留物 预警也被称作第三动作）。
[0137] 参见图5,在标记前物体为遗留物时，还可以启动一个定时器，定时器根据不同遗 留物体和场所设定不同的超时阀值。从标记前物体为遗留物时起，再经过设定的时间阀值 后，若检测到遗留物体已被取走，则取消标记的遗留物，在另一些实施例中，若在标记遗留 物之后还触发了遗留物预警，则取消遗留物预警或发出测绘遗留物预警的动作。
[0138] 优选的，检测遗留物已被取走的方法可以是:在触发遗留物预警后并经过设定的 时间后，
[0139] S411继续获取下一帧图像MG2并计算该图像MG2在所述前景轮廓掩模区域的梯 度值GJMG2;
[0140] S412判断所述6_頂62减6_81是否小于第四预设值，若小于则S430取消遗留物预 警，否则S420触发遗留物警报(遗留物警报也被称作第四动作）。
[0141] 可以理解的是，也可以不断更新背景图像模型，并在触发遗留物预警后并经过设 定的时间后，获取图像MG2,通过MG2更新背景图像模型，计算更新后的背景图像数据在所 述前景轮廓掩模区域的梯度值G_B2;并通过判断所述6_82减6_81是否小于第四预设值，若 小于则取消遗留物预警，否则触发遗留物警报。
[0142] 可以理解的是，参见图6,检测遗留物已被取走的方法也可以是在触发遗失物预警 后并经过设定的时间内，不断计算该下一帧图像在所述前景轮廓掩模区域的梯度值G_ IMGx;判断G_IMGx-G_Bl是否小于第四预设值，若G_IMGx-G_Bl小于第四预设值则取消遗留 物预警，否则在经过所述设定的时间后，触发遗留物报警。
[0143] 可以理解的是，在一种实施例中，可以通过下述步骤方法进一步确认遗留物，这些 步骤包括，
[0144] 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背 景图像数据;在标记前景物为遗失物并经过设定的时间后，获取下一帧图像頂G2,用頂G2更 新背景图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所 述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，若G_B2-G_B1 的差大于第四预设值，则触发第四动作。
[0145] 在一种实施例中，可以通过下述步骤方法进一步确认遗留物：
[0146] 这些步骤包括，获取頂G1之后的图像帧MG2，将所述图像帧MG2 输入到所述背景 模型中计算出更新后的背景图像数据;计算更新后的背景数据在所述前景轮廓掩模区域的 梯度值G_B2;判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗 留物，否则继续获取之后的图像帧;将获得的图像帧IMGx输入到所述背景模型中更新背景 图像数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间，若G_ Bx-G_B1的差都不大于第四预设值，则触发第四动作。
[0147] 为了便于描述也可以称第一动作为遗失物预警动作，第二动作为遗失物报警动 作，第三动作为遗留物预警动作，第四动作为遗留物报警动作。在一些实施例中例如在贵重 物品的柜台，在发现柜面上的物体消失时，即当判断G_MG1-G_B1小于第一预设值，可以触 发遗失物预警，第一动作可以是提示灯闪烁等，也可以是相关人员知道的提示信号，当通过 预设的时间后，例如2分钟后，通过比较或通过比较(比较过程参 考前述提到的方法)确定柜面的物体消失，则触发第二警报动作，第二警报动作可以是蜂鸣 器鸣叫等。在一些实施例中第一动作和第二动作可以是同一个报警设备完成的，例如，触发 第一动作时，报警等慢速闪烁，当触发第二动作时，报警灯采用比上述慢速闪烁更快的速度 闪烁。可以理解的是，第三动作和第四动作类似第一动作和第二动作。可以理解的是报警装 置和预警装置可以是，例如LED、蜂鸣器、电脑等，即通过LED灯闪烁，蜂鸣器响一声，控制中 心的电脑画面中出现一个提示框等方式预警或报警。
[0148] 发明人还提供一种前景检测设备，用于实现上述方法。请参考图22,所述设备20包 括前景区域检测模块201、前景轮廓模块203、梯度计算模块205、前景检测控制模块207;
[0149] 所述前景区域检测模块201用于对输入的图像序列进行建模处理，得到背景图像 数据和前景区域。
[0150] 所述前景轮廓模块203用于根据得到的前景区域标记前景轮廓，再根据所述前景 轮廓计算前景轮廓掩模区域；
[0151]所述梯度计算模块205用于计算给定图像在给定区域的梯度值；
[0152]所述前景检测控制模块207用于判断前景轮廓掩模区域的梯度值的数值变化，若 数值变化达到设定触发条件，则触发判断前景区域的物体为前景物体。
[0153]需要说明的是，本发明并不限于使用现有的背景建模方法，还可以使用将来的背 景建模方法计算的到背景数据和前景区域。
[0154] 在另一些优选的实施例中，所述前景区域检测模块201用于将输入的图像序列输 入到高斯背景模型计算，得到背景图像数据和前景区域。
[0155] 在另一些实施例中，所述梯度计算模块用于计算背景图像数据在所述前景轮廓掩 模区域的梯度值6_81，和计算所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1;
[0156] 所述所述前景检测控制模块用于判断6_頂61和6_81数值的差值，若差值达到第一 设置触发条件时，触发遗失物预警。
[0157] 在另一些实施例中，所述前景检测控制模块用于获取MG1之后的图像帧MG2,将 所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据;计算更新后的背景 数据在所述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否大于第二预设 值，若大于则取消标记前景物为遗失物，否则继续获取之后的图像帧;将获得的图像帧MGx 输入到所述背景模型中更新背景图像数据，并计算背景图像在前景轮廓掩模区域的梯度值 G_Bx，直到经过设定的时间，若G_Bx-G_Bl的差都小于第二预设值，则触发第二动作。
[0158] 在另一些实施例中，所述第二动作为触发报警装置。
[0159] 在另一些实施例中，所述前景物检测控制模块用于获取頂G1之后的图像帧，将所 述图像帧输入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗失物并 经过设定的时间T后，获取下一帧图像MG2,用MG2更新背景图像数据，计算更新后的背景 数据在所述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否小于第二预设 值，若大于或等于则取消标记前景物为遗失物，若G_B2-G_B1的差都小于第二预设值，则触 发第二动作。在另一些实施例中，所述前景检测控制模块用于获取頂G1之后的图像帧，将所 述图像帧输入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗失物后 并经过设定的时间后，获取下一帧图像頂G2,用頂G2更新背景图像数据，计算更新后的背景 数据在所述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是否大于第二预设 值，若大于则取消标记前景物为遗失物，否则则触发第二动作。
[0160] 在另一些实施例中，所述前景检测控制模块用于获取MG1之后的图像帧，将所述 图像帧输入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗失物后并 经过设定的时间后，获取下一帧图像IMG2,计算IMG2在所述前景轮廓掩模区域的梯度值G_ MG2;判断所述GJMG2-G_B1的值是否大于第二预设值，若大于则取消标记前景物为遗失 物，否则则触发第二动作。
[0161 ]在另一些实施例中，第二动作为触发报警装置。
[0162] 在另一些实施例中，所述前景检测控制模块用判断G_MG1_G_B1的差值是否大于 第三预设值，是则判断前景区域中的物体为前景物，标记前景物为遗留物，否则判断当前前 景区域无前景物。
[0163] 在另一些实施例中，所述前景检测控制模块用判断G_MG1_G_B1的差值大于第三 预设值时，还触发第三动作。
[0164] 在另一些实施例中，所述第三动作为触发预警装置。
[0165] 在另一些实施例中，所述前景物体检测方法在标记前景物为遗失物后，还包括步 骤:获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据;在标记前景物为遗失物并经过设定的时间后，获取下一帧图像MG2,计算頂G2在所 述前景轮廓掩模区域的梯度值6_頂62;判断所述6_頂62-6_81的值是否小于第二预设值，若 大于或等于则取消标记前景物为遗失物，若小于则触发遗失物报警动作。
[0166] 在另一些实施例中，所述第四动作为触发报警装置。
[0167] 在另一些实施例中，所述前景检测控制模块用于获取获取IMG1之后的图像帧 MG2,将所述图像帧MG2输入到所述背景模型中计算出更新后的背景图像数据;计算更新 后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所述6_頂62-6_81的值是否小 于第四预设值，若小于则取消标记前景物为遗留物，否则继续获取之后的图像帧;将获得的 图像帧MGx，并计算图像真MGx在前景轮廓掩模区域的梯度值GJMGx，直到经过设定的时 间，若G_IMGx-G_Bl的差都不大于第四预设值，贝触发第四动作。
[0168] 在另一些实施例中，所述前景检测控制模块用于获取MG1之后的图像帧，将所述 图像帧输入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗留物后并 经过设定的时间后，获取下一帧图像MG2,用頂G2更新背景图像数据，计算更新后的背景数 据在所述前景轮廓掩模区域的梯度值G_B2;判断所述G_B2-G_B1的值是小于与第四预设值， 若小于则取消标记前景物为遗留物，否则则触发第四动作。
[0169] 在另一些实施例中，其特征在于，所述第四动作为触发报警装置。
[0170] 在另一些实施例中，所述前景检测控制模块用于获取MG1之后的图像帧，将所述 图像帧输入到所述背景模型中计算出更新后的背景图像数据;在标记前景物为遗留物后并 经过设定的时间后，获取下一帧图像IMG2,计算IMG2在所述前景轮廓掩模区域的梯度值G_ MG2;判断所述GJMG2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留 物，否则则触发第四动作。
[0171]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实 体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存 在任何这种实际的关系或者顺序。而且，术语"包括"、"包含"或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些 要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终 端设备所固有的要素。在没有更多限制的情况下，由语句"包括……"或"包含……"限定的 要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此 外，在本文中，"大于"、"小于"、"超过"等理解为不包括本数；"以上"、"以下"、"以内"等理解 为包括本数。
[0172] 本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产 品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例 的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来 完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方 法所述的全部或部分步骤。所述计算机设备，包括但不限于:个人计算机、服务器、通用计算 机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式 智能设备、车载智能设备等;所述的存储介质，包括但不限于:RAM、R0M、磁碟、磁带、光盘、闪 存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
[0173] 上述各实施例是参照根据实施例所述的方法、设备（系统）、和计算机程序产品的 流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每 一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机 程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指 令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的 功能的装置。
[0174] 这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设 备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造 品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指 定的功能。
[0175] 这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列 操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程 图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0176]尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创 造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例， 并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构 或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利 保护范围之内。
【主权项】
1. 一种前景物体检测方法，其特征在于，包括步骤： 获取一帧图像MG1，将所述图像頂G1输入到背景模型中计算，更新背景图像数据，并标 记前景区域； 若所述图像頂G1中不存在被标记为前景区域的区域，则继续获取下一帧图 像，并基于 获取到的下一帧图像更新背景图像数据和标记前景区域，若图像MG1中存在被标记为前景 区域的区域，则根据所述前景区域标记前景轮廓，根据所述前景轮廓计算前景轮廓掩模区 域； 计算所述背景图像数据在所述前景轮廓掩模区域的梯度值6_81，和所述图像IMG1在所 述前景轮廓掩模区域的梯度值6_頂61; 通过G_B1和6_頂61判断前景区域中的物体是否为前景物。2. 根据权利要求1所述的一种前景物体检测方法，其特征在于，所述前景轮廓掩模区域 由膨胀轮廓和腐蚀轮廓之间的区域构成；所述膨胀轮廓根据前景轮廓和膨胀公式计算得 至IJ;所述腐蚀轮廓根据前景轮廓和腐蚀公式计算得到。3. 根据权利要求1所述的一种前景物体检测方法，其特征在于，所述背景模型为高斯背 景模型。4. 根据权利要求1所述的一种前景物体检测方法，其特征在于，所述通过6_81和6_頂61 判断前景区域中的物体是否为前景物包括步骤： 判断G_IMG1-G_B1的值是否小于第一预设值，若小于则判断前景区域中的物体为前景 物，并标记前景物为遗失物，否则判断当前前景区域无前景物体。5. 根据权利要求4所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法 在标记前景物为遗失物后，还包括步骤： 获取MG1之后的图像帧MG2,将所述图像帧頂G2输入到所述背景模型中计算出更新后 的背景图像数据； 计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2; 判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗 失物，若小于则继续获取之后的图像帧MGx;将获得的图像帧MGx输入到所述背景模型中 更新背景图像数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的 时间T，若T时间内G_Bx-G_Bl的差均小于第二预设值，则触发遗失物报警动作。6. 根据权利要求5所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法 在标记前景物为遗失物后，还包括步骤： 获取MG1之后的图像帧MG2,将所述图像帧頂G2输入到所述背景模型中计算出更新后 的背景图像数据;计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2; 判断所述6_頂62-6_81的值是否小于第二预设值，若大于或等于则取消标记前景物为 遗失物，若小于则继续获取之后的图像帧;将获得的图像帧頂Gx，并计算图像帧頂Gx在前景 轮廓掩模区域的梯度值GJMGx，直到经过设定的时间T，若T时间内GJMGx-G_B1的差均小于 第二预设值，则触发遗失物报警动作。7. 根据权利要求4所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法 在标记前景物为遗失物后，还包括步骤： 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据； 在标记前景物为遗失物并经过设定的时间后，获取下一帧图像頂G2,用MG2更新背景 图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2; 判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗 失物，若小于则触发遗失物报警动作。8. 根据权利要求4或7所述的一种前景物体检测方法，其特征在于，所述前景物体检测 方法在标记前景物为遗失物后，还包括步骤： 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据； 在标记前景物为遗失物并经过设定的时间后，获取下一帧图像頂G2,计算MG2在所述 前景轮廓掩模区域的梯度值G_IMG2; 判断所述6_頂62-6_81的值是否小于第二预设值，若大于或等于则取消标记前景物为 遗失物，若小于则触发遗失物报警动作。9. 根据权利要求1所述的一种前景物体检测方法，其特征在于，所述"通过6_81和6_ IMG1判断前景区域中的物体是否为前景物"包括步骤： 判断GJMG1-G_B1的差值是否大于第三预设值，是则判断前景区域中的物体为前景物， 标记前景物为遗留物，否则判断当前前景区域无前景物。10. 根据权利要求9所述的一种前景物体检测方法，其特征在于，所述前景物体检测方 法在标记前景物为遗留物后，还包括步骤， 获取MG1之后的图像帧MG2,将所述图像帧頂G2输入到所述背景模型中计算出更新后 的背景图像数据； 计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2; 判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否 则继续获取之后的图像帧；将获得的图像帧頂Gx输入到所述背景模型中更新背景图像数 据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间，若G_Bx-G_ B1的差均大于第四预设值，则触发遗留物报警动作。11. 根据权利要求9所述的一种前景物体检测方法，其特征在于，所述前景物体检测方 法在标记前景物为遗留物后，还包括步骤： 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据； 在标记前景物为遗留物并经过设定的时间后，获取下一帧图像頂G2,用MG2更新背景 图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2; 判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否 则触发遗留物报警动作。12. 根据权利要求9所述的一种前景物体检测方法，其特征在于，所述前景物体检测方 法在标记前景物为遗留物后，还包括步骤： 获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据； 在标记前景物为遗留物后并经过设定的时间后，获取下一帧图像頂G2,计算IMG2在所 述前景轮廓掩模区域的梯度值6_頂62; 判断所述G_niG2-G_Bl的值是否小于第四预设值，若小于则取消标记前景物为遗留物， 否则触发遗留物报警动作。13. 根据权利要求12所述的一种前景物体检测方法，其特征在于，所述前景物体检测方 法在标记前景物为遗留物后，还包括步骤： 获取MG1之后的图像帧MG2,将所述图像帧頂G2输入到所述背景模型中计算出更新后 的背景图像数据； 计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2; 判断所述G_niG2-G_Bl的值是否小于第四预设值，若小于则取消标记前景物为遗失物， 若大于或等于则继续获取之后的图像帧；获取图像帧頂Gx，并计算图像真頂Gx在前景轮廓 掩模区域的梯度值GJMGx，直到经过设定的时间T，若T时间内GJMGx-G_B1的差均小于则取 消标记前景物为遗留物，否则触发遗留物报警动作。14. 一种前景检测设备，其特征在于，包括前景区域检测模块、前景轮廓模块、梯度计算 模块、前景物检测控制模块； 所述前景区域检测模块用于获取一帧图像MG1，将所述图像MG1输入到背景模型中计 算，更新背景图像数据，并标记前景区域； 所述前景轮廓模块用于判断若所述图像IMG1中不存在被标记为前景区域的区域，则继 续获取下一帧图像，并基于获取到的下一帧图像更新背景图像数据和标记前景区域，若图 像頂G1中存在被标记为前景区域的区域，则根据所述前景区域标记前景轮廓，根据所述前 景轮廓计算前景轮廓掩模区域； 所述梯度计算模块用于计算所述背景图像数据在所述前景轮廓掩模区域的梯度值G_B1，和所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1; 所述前景物检测控制模块用于通过G_B0PG_IMG1判断前景区域中的物体是否为前景 物。15. 根据权利要求14所述的一种前景检测设备，其特征在于，还包括前景轮廓掩模区域 获得模块，其用于获得前景轮廓掩模区域，所述前景轮廓掩模区域由膨胀轮廓和腐蚀轮廓 之间的区域构成;所述膨胀轮廓根据前景轮廓和膨胀公式计算得到;所述腐蚀轮廓根据前 景轮廓和腐蚀公式计算得到。16. 根据权利要求14所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 具体用于判断G_IMG1-G_B1的差值是否小于第一预设值，若小于则判断前景区域中的物体 为前景物，标记前景物为遗失物，否则判断当前前景区域无前景物体。17. 根据权利要求16所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 用于获取頂G1之后的图像帧MG2,将所述图像帧MG2输入到所述背景模型中计算出更新后 的背景图像数据;计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所 述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于 则继续获取之后的图像帧IMGx;将获得的图像帧頂Gx输入到所述背景模型中更新背景图像 数据，并计算背景图像在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间T，若在T时 间内G_Bx-G_Bl的差均小于第二预设值，则触发遗失物报警动作。18. 根据权利要求16所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据;在标记前景物为遗失物并经过设定的时间T后，获取下一帧图像MG2，用MG2更新 背景图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所述 G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则 触发遗失物报警动作。19. 根据权利要求14所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 用判断GJMG1-G_B1的差值是否大于第三预设值，是则判断前景区域中的物体为前景物，标 记前景物为遗留物，否则判断当前前景区域无前景物。20. 根据权利要求19所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 用于获取頂G1之后的图像帧MG2,将所述图像帧MG2输入到所述背景模型中计算出更新后 的背景图像数据;计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所 述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则继续获取 之后的图像帧；将获得的图像帧MGx输入到所述背景模型中更新背景图像数据，并计算背 景图像在前景轮廓掩模区域的梯度直到经过设定的时间T，若在T时间内G_Bx-G_Bl 的差都大于第四预设值，则触发遗留物报警动作。21. 根据权利要求19所述的一种前景检测设备，其特征在于，所述前景物检测控制模块 用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图 像数据;在标记前景物为遗留物后并经过设定的时间T后，获取下一帧图像MG2,用MG2更 新背景图像数据，计算更新后的背景数据在所述前景轮廓掩模区域的梯度值G_B2;判断所 述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则触发遗留 物报警动作。
【专利摘要】发明人提供一种前景物体检测方法和设备，所述设备包括前景区域检测模块、前景轮廓模块、梯度计算模块、前景检测控制模块。涉及物体识别领域，主要涉及不规律运动的前景物体的识别。所述前景物体检测方法根据在前景轮廓掩模区域的梯度值的变化，相比单背景高斯模型中运动的物体静止后容易被识别为背景，而静止较长时间后又发生运动时会被识别为另一物体，本方法提高了前景物体的识别效率和识别的一致性。
【IPC分类】G06K9/62
【公开号】CN105488542
【申请号】CN201510982581
【发明人】吕俊杰
【申请人】福建星网锐捷安防科技有限公司
【公开日】2016年4月13日
【申请日】2015年12月24日
最新回复(0)