一种人脸识别系统和方法
一种人脸识别系统和方法
【技术领域】
[0001] 本公开设及视频监控领域，特别设及一种人脸识别系统和方法。
【背景技术】
[0002] 目前很多行业为了吸收、维护更多有价值、有潜力的贵宾(VIP)客户，越来越重视 对贵宾客户提供更优质、有针对性的服务。传统行业会使用VIP卡等形式来区分客户，但是 携带卡片，报卡号等方式并不人性化、便捷化。而人脸识别技术是依据人脸部的特征信息进 行身份识别的一种技术，具有非接触性、并发性、非强制性、直观性等优点。
【发明内容】
[0003] 针对上述部分问题，本公开提供了一种人脸识别系统和方法，所述系统借助深度 学习技术进行人脸识别，提供一套完善的视频监控人脸识别系统，利用所述系统可W为银 行VIP识别、Π 店迎宾、监控场景人脸识别提供服务支持;若利用系统中检测到人脸的时间、 地点和时长，可W进一步实现客流统计，为改进服务或查询特殊用户提供帮助。另外，本公 开还提供了一种实现本公开系统的方法。
[0004] 一种人脸识别系统，所述系统至少包括:数据输入模块、人脸分析模块和数据输出 模块；
[0005] 所述数据输入模块用于将欲检测图像序列传送给人脸分析模块；
[0006] 所述数据输出模块包括图像输出单元和/或消息订阅单元；
[0007] 所述图像输出单元用于将人脸分析模块中得到的人脸进行标识，并将该人脸相关 的信息叠加到原始视频上；
[000引所述消息订阅单元用于往终端订阅用户发送事件消息；
[0009] 其中，所述人脸分析模块用于检测分析识别欲检测图像序列中的人脸，至少包括 下述单元：
[0010] U100、人脸检测跟踪单元:对接收的图像，检测跟踪图像中的人脸，并进行质量判 断，挑选满足要求的若干帖作为关键帖，传递给人脸比对单元；
[0011] U200、人脸比对单元:接收所述关键帖并提取每一帖的人脸特征，在用户信息数据 库中查找并选择多个相似的人脸特征进行比对分析；
[0012] 其中:所述人脸特征使用多维特征向量表示；
[0013] 所述用户信息数据库允许单人有Μ张人脸图像使用相同的第一标识符标识存入。
[0014] 为了方便实现本系统，在一个实施例中，提供了一种实现本公开系统的方法，即： 一种人脸识别方法，所述方法至少包括：
[0015] S100、对人脸进行检测跟踪:接收的欲检测图像序列，对欲检测的图像，检测跟踪 图像中的人脸，并进行质量判断，挑选满足要求的若干帖作为关键帖用于比对分析;所述欲 检测图像序列为在一定时间间隔内的若干帖图像；
[0016] S200、对人脸进行比对分析:提取所述关键帖的人脸特征，在用户信息数据库中查 找并选择多个相似的人脸特征进行比对分析；
[0017] 其中:所述人脸特征使用多维特征向量表示；
[0018] 所述用户信息数据库允许单人有Μ张人脸图像使用相同的第一标识符标识存入所 述数据输出模块包括图像输出单元和/或消息订阅单元；
[0019] S300、输出结果:将关键帖中检测到的人脸使用标识框标识，并将与该人脸相关的 信息叠加到原始视频上；W及/或向终端用户发送订阅的事件消息。
【具体实施方式】
[0020] 在一个基础实施例中，提供了一种人脸识别系统，所述系统至少包括:数据输入模 块、人脸分析模块和数据输出模块；
[0021 ]所述数据输入模块用于将欲检测图像序列传送给人脸分析模块；
[0022] 所述数据输出模块包括图像输出单元和/或消息订阅单元；
[0023] 所述图像输出单元用于将人脸分析模块中得到的人脸进行标识，并将该人脸相关 的信息叠加到原始视频上；
[0024] 所述消息订阅单元用于往终端订阅用户发送事件消息；
[0025] 其中，所述人脸分析模块用于检测分析识别欲检测图像序列中的人脸，至少包括 下述单元：
[0026] U100、人脸检测跟踪单元:对接收的图像，检测跟踪图像中的人脸，并进行质量判 断，挑选满足要求的若干帖作为关键帖，传递给人脸比对单元；
[0027] U200、人脸比对单元:接收所述关键帖并提取每一帖的人脸特征，在用户信息数据 库中查找并选择多个相似的人脸特征进行比对分析；
[0028] 其中:所述人脸特征使用多维特征向量表示；
[0029] 所述用户信息数据库允许单人有Μ张人脸图像使用相同的第一标识符标识存入。
[0030] 在运个实施例中，数据输入模块的输出是人脸图像，其输入可W是多重网络视频 源、图像序列、离线视频或者实时视频，只要经过处理后可W获得带有人脸的图像即可。在 对图像进行检测时，可W对接收的所有图像进行检测，也可W优选的对图像进行检测。所述 欲检测图像序列可W是在一定时间间隔内采集的若干帖图像，也可W是人为挑选的若干帖 图像。在一个实施例中，系统每隔6帖进行一次人脸检测。在对图像进行检测时，提取图像中 的人脸位置、人脸关键点信息，所述人脸关键点信息可包括眼角、眉毛的末端、嘴角、鼻尖等 位置信息。当所述图像序列为单帖时，该图像本身为关键帖;所述图像序列为多帖时，从该 序列中挑选质量好的Ν帖作为关键帖。其中，质量的判断可W通过对后述指标进行打分后， 选取得分高的前Ν帖作为关键帖。所述指标包括人脸图片清晰度、大小、真实人脸、遮挡、光 照等等。所述人脸特征通过多维特征向量表示，在一个实施例中，使用约180维特征向量来 表示人脸特征。对已检测到人脸，在后续帖中进行跟踪。在查找时，将Ν组人脸特征作为一个 整体，在用户信息数据库中检索相似人脸，选择得分最高的几个人脸作为返回结果。而比对 分析的结果即所述视频组装分发单元W及原图像可W通过ht化协议或消息服务器发送至 图像输出单元。在一个实施例中，当在监控区域识别人脸库人脸，系统立即发布通知或报 警，消息包括往订阅者发送其关注的特殊人员比如VIP、可疑人等识别结果、地点时间、人脸 图片等信息。
[0031] 在一个实施例中，给出了一种用于UlOO中所述质量判断的方法，即包括下述步骤：
[0032] S1010、对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足 要求则执行步骤S1011;否则，舍弃该检测到的人脸图像；
[0033] S1011、计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求 则执行步骤S1012;否则，舍弃该检测到的人脸图像；
[0034] S1012、计算正脸得分是否满足设定要求，如满足则判断该帖能够用于识别人脸； 否则，舍弃该检测到的人脸图像。
[0035] 在一个实施例中，提供了一种具体挑选关键帖的实现方式。在运个实施例中，对单 个跟踪抓拍的人脸，根据两眼间距>25,人脸置信度得分>0.95,正脸得分，判断该帖是否用 于识别。进一步地，在运个实施例中还提供了通过程序实现挑选关键帖的方法，即对每个跟 踪为同一人脸的图像，内部维护一个关键帖容器，容量为10。开始时，若不满10帖，则每帖均 存储入容器内；满10帖后，适合用于识别的帖，且与最后存入的帖号间隔大于10,则替换掉 已知质量最差的帖;记录单个跟踪为同一人脸的图像已被处理的帖数，若帖数大于20,则结 束跟踪。
[0036] 在一个实施例中，给出了一种用于所述U100中检测跟踪包括下述步骤，其步骤为：
[0037] S101、每隔若干帖进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使 用标记框对包括人脸的部分进行标记；
[0038] S102、判断标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足预 设阔值时，则认为与已检测到的人脸为同一人脸，则进入步骤S103;否则认为当前标记的人 脸为新的人脸，跟踪结束；
[0039] S103、对标记的人脸在标记框内进行人脸对齐，检测人脸关键点位置，计算人脸关 键点外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。
[0040] 在运个实施例中，使用标记框对包括人脸的部分进行标记，所标记的部分可W是 头部，更优的，还可W包括肩部，在包括肩部的标记方式中，可W提高识别率。不论采用哪种 方式，重合度的计算均可W通过置信度来度量，当计算的置信度达到一定的范围时，可W认 为两个对象为同一对象。而所应达到的范围可W通过试验的方式来确定。
[0041] 优选的，使用多库与并行检索，即：所述U200中的用户信息数据库包括多个子数据 库，则所述查找为基于多个子数据库进行并行检索。而比对分析则在检索结果的基础上进 行比对，然后合并分析结果。运种方式不仅支持将大量人脸图像导入用户信息数据库，同时 又不加大检索时间。每个子数据库导入一定量的人脸图像，单人的多个人脸图像导入相同 的数据库。在检索时，在一个实施例中采用多线程并行检索每个数据库的方式，然后根据比 较分析的结果合并多个子数据库的结果。
[0042] 在一个实施例中，给出了关于入库的人脸图像中人脸特征的获取方法，即：所述 U200中的提取使用Deepid深度学习算法提取人脸特征。运种方式获取人脸特征能够有助于 精准的识别人脸。在一个实施例中，使用运种提取人脸特征提取方式，提取约180维的特征 向量。
[0043] 基于人脸特征使用多维特征向量表示，在一个实施例中，给出了一种在查找相似 特征向量时，减少比较次数加速比对过程方法，即:所述U200中的相似的人脸特征通过下述 步骤获得：
[0044] S2011、建立KD树:在查找时，建立KD树捜索Κ个近邻，Κ > Μ;
[0045 ] S2012、遍历KD树:在遍历KD树时，每层选取人脸特征中的一维进行比较，W确定下 一层检索的分支，最后确定与关键帖相似的多个人脸特征。
[0046] 运种通过建立KD特征检索树的方式，在捜索相似特征时，通过遍历检索树来实现， 为了减少比对次数，在每层选取一维的特征进行比较，W确定下一层要检索的分支。
[0047] 在一个实施例中，在所述步骤S102中，当判断新标记的人脸与已检测到的人脸为 同一人脸时，将该新标记的人脸图像和已检测到的人脸使用相同的第二标识符标识;且，所 述U200中的比对分析包括下述步骤：
[0048] S201、对具有相同第二标识符标识的Μ帖图像，根据是否正脸、清晰度计算一个质 量分值 qi，iE[l，M];
[0049] S202、对Μ帖图像中的每帖图像，分别从人脸库中检索比对找出最相似的N个用户， 对应相似度为Si,userj，i e [ 1，Μ]，j e [ 1，Ν];
[0050] S203、对Μ帖图像检索比对共得到Κ个用户，计算此Κ个用户中每个用户的相似度的 得分，
[0化1 ]
[0化2] S204、根据沒胃对Κ个用户按降序排列，选取最相似的若干个用户。
[0053]在运种比对方式下，若是用户信息数据库包括多个子数据库，可W有多种获取最 终识别结果的方式。比如在对多个子数据库进行并行检索后，对每个子数据库都进行步骤 S202~S204然后将所有最相似的用户的相似度进行排序后选取返回结果。再比如，对每个 子数据库都返回该子数据库中得分排序在前的若干个人脸特征，然后对返回的人脸特征再 使用相似度值进行排序，选择当前排序下的在前的若干个人脸特征所对应的人脸图像作为 返回结果。
[0化4] 可选的，在比对分析之后，所述人脸比对单元还实现下述操作：
[0055] S2031、使用深度学习方法进行人脸属性计算；
[0056] S2032、判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信 息数据库中，则将人脸属性结果进行更新;否则将识别结果及人脸属性计算结果一起存储。
[0057] 所述人脸属性包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属性。增加存储 人脸属性的系统可W在对外提供检索功能时，增加检索维度，可W按时间、欲检测人脸与入 库人脸相似值、外观属性、地点进行过滤，缩小检索范围，加快检索速度，提供检索准确度。
[0058] 可选的，在存储人脸属性的计算结果的基础上还可W为每个结果附上统计时间 点、地点，即：所述人脸属性计算结果还包括获取图像时的时间点和地点。运为定位某个人 脸什么时间是否在某个区域出现过提供数据支持。在一个实施例中，系统为VIP或可疑人等 特殊人员单独建立用户信息数据库，在用户查询运类人员时，可W直接与该库存储的人脸 图像的人脸特征进行比对，方便快速的定位某个人脸什么时间在某个区域是否出现过。
[0059] 在一个实施例中，所述系统具有人流统计功能，即：所述人脸比对单元还实现如下 操作：
[0060] S2030、统计一定时间内检测到的人脸的数目、每个人脸的出现的时间和时长。在 运个实施例中，系统会将当前检测到的人脸和一定时间内已经检测过的人脸进行比对，若 判断为同一个人，则认为该人出现的次数为1次;运样可W获得在一定时间间隔内出现的不 同人脸数目，同时也可W得到若干个时间间隔中，同一人脸出现的次数、每次出现的时间和 时长。为了实现运样的统计功能，系统可W为检测到的人脸建立临时用户信息数据库，该数 据库可W按时间定期建立。系统也可W专口建立访客特征库。当系统用于口店时，可W为口 店进行上述客流统计。
[0061] 在一个实施例中，针对人脸图像来源为视频时，所述视频可W是多重网络视频源、 离线视频或者实时视频时，为获取视频帖图像，所述数据输入模块还包括视频解码单元，所 述数据输出模块还包括视频组装分发单元；
[0062] 所述视频解码单元用于读取实时视频流或本地视频文件，并解析出视频帖图像；
[0063] 所述视频组装分发单元用于将叠加了人脸检测框W及与该人脸相关的信息的原 视频帖图像重新编码成视频。
[0064] 在运个实施例中，当所述数据输入模块向人脸分析模块发送欲检测图像序列时， 可W通过队列的方式来实现。
[0065] 在一个实施例中，视频组装时，将人脸分析模块得到的人脸检测框、识别出的用户 名等信息，叠加到原始视频帖上，然后按X264格式重新编码成视频，在组装之后，通过 live555广播出去，提供浏览器或其他客户端进行播放。
[0066] 在一个实施例中，所述视频解码单元读取dsp视频流或本地视频文件，通过vie视 频解码器，解释出视频帖图像，使用缓存队列，把图像传送给人脸分析模块。
[0067] 优选的，所述系统还包括摄像头，则所述数据输入模块还包括视频配置单元，所述 视频配置单元用于配置视频通道场景的监控参数。在一个实施例中，需要配置视频通道地 址。在运种方式下，可W将实现的系统应用于实时监控，并对监控中的人脸进行实时识别。 在本公开的基础上附加报警功能，可W为有安保需要的场景提供一套完整的人脸识别监控 服务，比如在公安关注的人流出入口，对过往人员自动进行人脸抓拍，自动识别人员外观特 征，自动与入库可疑人员进行快速自动比对，若发现可疑人，给出报警提示。再比如，应用于 小区口禁安保。
[0068] 在一个实施例中，所述系统能够实现实时显示视频与识别结果；当用户需要用于 识别其服务的VIP客户识别时，还可W识别出进入口店的VIP客户，并给出提示;帮助用户统 计每天进入口店的客户人数，统计每个客户进入口店的时间和次数;通过对进入店口的客 户人脸图片进行保存，计算并保存包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属 性、保存进店时间和时长，方便用户对客户进行查询条件过滤;显示最近进入口店的客户信 息，包括抓拍人脸图片、访问时间、地点、访问次数等。
[0069] 在一个实施例中，所述系统为公安系统提供视频监控服务，在监控区域，检测进入 的人脸，并与入库的可疑人进行比对，在发现欲监控的人员时，给出提示。所述提示可W是 下述一种或任意多种方式的组合形式:静态文字、图案或动态文字、动态图案、声音。
[0070] 为了方便实现本系统，在一个实施例中，提供了一种实现本公开系统的方法，即： 一种人脸识别方法，所述方法至少包括：
[0071] S100、对人脸进行检测跟踪:接收的欲检测图像序列，对欲检测的图像，检测跟踪 图像中的人脸，并进行质量判断，挑选满足要求的若干帖作为关键帖用于比对分析;所述欲 检测图像序列为在一定时间间隔内的若干帖图像；
[0072] S200、对人脸进行比对分析:提取所述关键帖的人脸特征，在用户信息数据库中查 找并选择多个相似的人脸特征进行比对分析；
[0073] 其中:所述人脸特征使用多维特征向量表示；
[0074] 所述用户信息数据库允许单人有Μ张人脸图像使用相同的第一标识符标识存入所 述数据输出模块包括图像输出单元和/或消息订阅单元；
[0075] S300、输出结果:将关键帖中检测到的人脸使用标识框标识，并将与该人脸相关的 信息叠加到原始视频上；W及/或向终端用户发送订阅的事件消息。
[0076] 在运个实施例中，数据输入模块的输出是人脸图像，其输入可W是多重网络视频 源、图像序列、离线视频或者实时视频，只要经过处理后可W获得带有人脸的图像即可。在 对图像进行检测时，可W对接收的所有图像进行检测，也可W优选的对图像进行检测。在一 个实施例中，系统每隔6帖进行一次人脸检测。在对图像进行检测时，提取图像中的人脸位 置、人脸关键点信息，所述人脸关键点信息可包括眼角、眉毛的末端、嘴角、鼻尖等位置信 息。当所述图像序列为单帖时，该图像本身为关键帖;所述图像序列为多帖时，从该序列中 挑选质量好的Ν帖作为关键帖。其中，质量的判断可W通过对后述指标进行打分后，选取得 分高的前Ν帖作为关键帖。所述指标包括人脸图片清晰度、大小、真实人脸、遮挡、光照等等。 所述人脸特征通过多维特征向量表示，在一个实施例中，使用约180维特征向量来表示人脸 特征。对已检测到人脸，在后续帖中进行跟踪。在查找时，将Ν组人脸特征作为一个整体，在 用户信息数据库中检索相似人脸，选择得分最高的几个人脸作为返回结果。而比对分析的 结果即所述视频组装分发单元W及原图像可W通过ht化协议或消息服务器发送至图像输 出单元。在一个实施例中，当在监控区域识别人脸库人脸，系统立即发布通知或报警，消息 包括往订阅者发送其关注的特殊人员比如VIP、可疑人等识别结果、地点时间、人脸图片等 信息。
[0077] 在一个实施例中，给出了一种用于S100中所述质量判断的方法，即包括下述步骤：
[0078] S1010、对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足 要求则执行步骤S1011;否则，舍弃该检测到的人脸图像；
[0079] S1011、计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求 则执行步骤S1012;否则，舍弃该检测到的人脸图像；
[0080] S1012、计算正脸得分是否满足设定要求，如满足则判断该帖能够用于识别人脸； 否则，舍弃该检测到的人脸图像。
[0081] 在一个实施例中，提供了一种具体挑选关键帖的实现方式。在运个实施例中，对单 个跟踪抓拍的人脸，根据两眼间距>25,人脸置信度得分>0.95,正脸得分，判断该帖是否用 于识别。进一步地，在运个实施例中还提供了通过程序实现挑选关键帖的方法，即对每个跟 踪为同一人脸的图像，内部维护一个关键帖容器，容量为10。开始时，若不满10帖，则每帖均 存储入容器内；满10帖后，适合用于识别的帖，且与最后存入的帖号间隔大于10,则替换掉 已知质量最差的帖;记录单个跟踪为同一人脸的图像已被处理的帖数，若帖数大于20,则结 束跟踪。
[0082] 在一个实施例中，给出了一种用于所述S100中检测跟踪的实现方法，其步骤包括：
[0083] S101、每隔若干帖进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使 用标记框对包括人脸的部分进行标记；
[0084] S102、判断新标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足 预设阔值时，则认为与已检测到的人脸为同一人脸，则进入步骤S103;否则认为当前标记的 人脸为新的人脸，跟踪结束；
[0085] S103、对新标记的人脸在标记框内进行人脸对齐，检测人脸关键点位置，计算人脸 关键点外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。
[0086] 在运个实施例中，使用标记框对包括人脸的部分进行标记，所标记的部分可W是 头部，更优的，还可W包括肩部，在包括肩部的标记方式中，可W提高识别率。不论采用哪种 方式，重合度的计算均可W通过置信度来度量，当计算的置信度达到一定的范围时，可W认 为两个对象为同一对象。而所应达到的范围可W通过试验的方式来确定。
[0087] 优选的，使用多库与并行检索，即：所述S200中的用户信息数据库包括多个子数据 库，所述U200中的用户信息数据库包括多个子数据库，则所述查找为基于多个子数据库进 行并行检索。而比对分析则在检索结果的基础上进行比对，然后合并分析结果。运种方式不 仅支持将大量人脸图像导入用户信息数据库，同时又不加大检索时间。每个子数据库导入 一定量的人脸图像，单人的多个人脸图像导入相同的数据库。在检索时，在一个实施例中采 用多线程并行检索每个数据库的方式，然后根据比较分析的结果合并多个子数据库的结 果。
[0088] 在一个实施例中，给出了关于入库的人脸图像中人脸特征的获取方法，即：所述 S200中的提取使用Deepid深度学习算法提取人脸特征。在一个实施例中，使用运种提取人 脸特征提取方式，提取约180维的特征向量。
[0089] 基于人脸特征使用多维特征向量表示，在一个实施例中，给出了一种在查找相似 特征向量时，减少比较次数加速比对过程方法，即:所述S200中相似的人脸特征通过下述步 骤获得：
[0090] S2011、建立KD树:在查找相似的人脸特征过程中，通过捜索K个近邻来建立KD树，K >M；
[0091 ] S2012、遍历KD树:在遍历KD树时，每层选取人脸特征中的一维进行比较，W确定下 一层检索的分支，最后确定与关键帖相似的多个人脸特征。
[0092] 在一个实施例中，在所述步骤S102中，当判断新标记的人脸与已检测到的人脸为 同一人脸时，将该新标记的人脸图像和已检测到的人脸使用相同的第二标识符标识;且，所 述S200中的比对分析包括下述步骤：
[0093] S201、对相同第二标识符标识的Μ帖图像，根据是否正脸、清晰度计算一个质量分 值 qi，ie[l，M];
[0094] S202、对Μ帖图像中的每帖图像，分别从人脸库中检索比对找出最相似的N个用户， 对应相似度为Si,userj，i e [ 1，Μ]，j e [ 1，Ν];
[OOM] S203、对Μ帖图像检索比对共得到Κ个用户，计算此Κ个用户中每个用户的相似度的 得分，
[0096]
[0097] S204、根据^胃.1对Κ个用户按降序排列，选取最相似的若干个用户。
[0098] 在运种比对方式下，若是用户信息数据库包括多个子数据库，可W有多种获取最 终识别结果的方式。比如在对多个子数据库进行并行检索后，对每个子数据库都进行步骤 S202~S204然后将所有最相似的用户的相似度进行排序后选取返回结果。再比如，对每个 子数据库都返回该子数据库中得分排序在前的若干个人脸特征，然后对返回的人脸特征再 使用相似度值进行排序，选择当前排序下的在前的若干个人脸特征所对应的人脸图像作为 返回结果。
[0099] 可选的，在比对分析之后，所述步骤S200还实现下述操作：
[0100] S2031、使用深度学习方法进行人脸属性计算；
[0101] S2032、判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信 息数据库中，则将人脸属性结果进行更新;否则将识别结果及人脸属性计算结果一起存储。
[0102] 所述人脸属性包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属性。增加存储 人脸属性的系统可W在对外提供检索功能时，增加检索维度，可W按时间、欲检测人脸与入 库人脸相似值、外观属性、地点进行过滤，缩小检索范围，加快检索速度，提供检索准确度。
[0103] 可选的，在存储人脸属性的计算结果的基础上还可W为每个结果附上统计时间 点、地点，即：所述人脸属性计算结果还包括首次获取人脸图像时的时间点和地点。运为定 位某个人脸什么时间是否在某个区域出现过提供数据支持。在一个实施例中，系统为VIP或 可疑人等特殊人员单独建立用户信息数据库，在用户查询运类人员时，可W直接与该库存 储的人脸图像的人脸特征进行比对，方便快速的定位某个人脸什么时间在某个区域是否出 现过。
[0104] 在一个实施例中，所述方法包括人流统计功能，即：在步骤S2031之前，所述步骤 S200还实现如下操作：
[0105] S2030、统计一定时间内检测到的人脸的数目、每个人脸出现的时间和时长。
[0106] 在一个实施例中，针对人脸图像来源为视频时，所述视频可W是多重网络视频源、 离线视频或者实时视频时，为获取视频帖图像，则所述步骤S100在接收欲检测图像序列之 前，所述步骤S100还包括读取实时视频流或本地视频文件，并解析出视频帖图像序列；
[0107] 则在步骤S300中在将关键帖中检测到的人脸使用标识框标识，并将与该人脸相关 的信息叠加到原始视频上之后，所述步骤S300还包括将叠加了人脸检测框W及与该人脸相 关的信息的原视频帖图像序列重新编码成视频。
[0108] 在一个实施例中，步骤S100通过队列的方式来对欲检测图像序列的图像依次进行 检测跟踪。
[0109] 在一个实施例中，为了方便获取实时视频流，通过摄像头来采集视频，则所述方法 还包括为采集实时视频流的摄像头配置视频通道场景监控参数。在运种方式下，可W将实 现的系统应用于实时监控，并对监控中的人脸进行实时识别。在本公开的基础上附加报警 功能，可W为有安保需要的场景提供一套完整的人脸识别监控服务，比如在公安关注的人 流出入口，对过往人员自动进行人脸抓拍，自动识别人员外观特征，自动与入库可疑人员进 行快速自动比对，若发现可疑人，给出报警提示。再比如，应用于小区口禁安保。
[0110] 在一个实施例中，所述方法能够实现实时显示视频与识别结果；当用户需要用于 识别其服务的VIP客户识别时，还可W识别出进入口店的VIP客户，并给出提示;帮助用户统 计每天进入口店的客户人数，统计每个客户进入口店的时间和次数;通过对进入店口的客 户人脸图片进行保存，计算并保存包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属 性、保存进店时间和时长，方便用户对客户进行查询条件过滤;显示最近进入口店的客户信 息，包括抓拍人脸图片、访问时间、地点、访问次数等。
[0111] 在一个实施例中，所述方法实现的系统为公安系统提供视频监控服务，在监控区 域，检测进入的人脸，并与入库的可疑人进行比对，在发现欲监控的人员时，给出提示。所述 提示可W是下述一种或任意多种方式的组合形式:静态文字、图案或动态文字、动态图案、 声音。
[0112] 本公开的人脸识别技术可W通过人脸识别快速识别出贵宾客户并且关联相关的 客户信息数据库。还可将经常光顾，有价值有潜力的客户通过数据统计作为潜在贵宾客户 重点服务及推荐针对性产品。另外，在本公开的基础上附加报警功能，还可W为公安提供一 套完整的人脸识别监控服务，在公安关注的人流出入口，对过往人员自动进行人脸抓拍，自 动识别人员外观特征，自动与入库可疑人员进行快速自动比对，若发现可疑人，给出报警提 /J、- 〇
[0113] W上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方 式进行了阐述，W上实施例的说明只是用于帮助理解本公开的方法及其核屯、思想；同时，对 于本领域技术人员，依据本公开的思想，在【具体实施方式】及应用范围上均会有改变之处，综 上所述，本说明书内容不应理解为对本公开的限制。
【主权项】
1. 一种人脸识别系统，其特征在于，所述系统至少包括： 数据输入模块、人脸分析模块和数据输出模块； 所述数据输入模块用于将欲检测图像序列传送给人脸分析模块； 所述数据输出模块包括图像输出单元和/或消息订阅单元； 所述图像输出单元用于将人脸分析模块中得到的人脸进行标识，并将该人脸相关的信 息叠加到原始视频上； 所述消息订阅单元用于往终端订阅用户发送事件消息； 其中，所述人脸分析模块用于检测分析识别欲检测图像序列中的人脸，至少包括下述 单元： U100、人脸检测跟踪单元:对接收的图像，检测跟踪图像中的人脸，并进行质量判断，挑 选满足要求的若干帧作为关键帧，传递给人脸比对单元； U200、人脸比对单元:接收所述关键帧并提取每一帧的人脸特征，在用户信息数据库中 查找并选择多个相似的人脸特征进行比对分析； 其中:所述人脸特征使用多维特征向量表示； 所 述用户信息数据库允许单人有M张人脸图像使用相同的第一标识符标识存入。2. 根据权利要求1所述的系统，其特征在于，优选的，UlOO中所述质量判断包括下述步 骤： 51010、 对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足要求 则执行步骤SlOll;否则，舍弃该检测到的人脸图像； 51011、 计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求则执 行步骤S1012;否则，舍弃该检测到的人脸图像； 51012、 计算正脸得分是否满足设定要求，如满足，则判断该帧能够用于识别人脸；否 贝IJ，舍弃该检测到的人脸图像。3. 根据权利要求1所述的系统，其特征在于，所述UlOO中检测跟踪包括下述步骤： 5101、 每隔若干帧进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使用标 记框对包括人脸的部分进行标记； 5102、 判断标记的人脸面积与已检测到的人脸面积是否重合，当重合度满足预设阈值 时，则认为与已检测到的人脸为同一人脸，则进入步骤S103;否则认为当前标记的人脸为新 的人脸，跟踪结束； Sl 03、对标记的人脸在标记框内进彳丁人脸对齐，检测人脸关键点位置，计算人脸关键点 外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。4. 根据权利要求1所述的系统，其特征在于，所述U200中的用户信息数据库包括多个子 数据库，所述查找为基于多个子数据库进行并行检索。5. 根据权利要求1所述的系统，其特征在于，所述U200中的提取使用DeepId深度学习算 法提取人脸特征。6. 根据权利要求1所述的系统，其特征在于，所述U200中相似的人脸特征通过下述步骤 获得： 52011、 建立KD树:在查找相似的人脸特征过程中，通过搜索K个近邻来建立KD树，K 2 M; 52012、 遍历KD树:在遍历KD树时，每层选取人脸特征中的一维进行比较，以确定下一层 检索的分支，最后确定与关键帧相似的多个人脸特征。7. 根据权利要求3所述的系统，其特征在于： 在所述步骤S102中，当标记的人脸与已检测到的人脸为同一人脸时，将该标记的人脸 图像和已检测到的人脸使用相同的第二标识符标识； 且，所述U200中的比对分析包括下述步骤： 5201、 对具有相同第二标识符标识的M帧图像，根据是否正脸、清晰度计算一个质量分 值 qi，ie[l，M]; 5202、 对M帧图像中的每帧图像，分别从人脸库中检索比对找出最相似的N个用户，对应 相似度为Si,userj，i G [ I，M]，j G [ I，N]; 5203、 对M帧图像检索比对共得到K个用户，计算此K个用户中每个用户的相似度的得 分，5204、 根据个用户按降序排列，选取最相似的若干个用户。8. 根据权利要求7所述的系统，其特征在于，在比对分析之后，所述人脸比对单元还实 现下述操作： 52031、 使用深度学习方法进行人脸属性计算； 52032、 判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信息数 据库中，则将人脸属性结果进行更新;否则将识别结果及人脸属性计算结果一起存储。9. 根据权利要求8所述的系统，其特征在于，所述人脸属性计算结果还包括首次获取人 脸图像时的时间点和地点。10. 根据权利要求8所述的系统，其特征在于，在步骤S2031之前，所述人脸比对单元还 实现如下操作： S2030、统计一定时间内检测到的人脸的数目、每个人脸出现的时间和时长。11. 根据权利要求1所述的系统，其特征在于，所述数据输入模块还包括视频解码单元， 所述数据输出模块还包括视频组装分发单元； 所述视频解码单元用于读取实时视频流或本地视频文件，并解析出视频帧图像序列； 所述视频组装分发单元用于将叠加了人脸检测框以及与该人脸相关的信息的原视频 帧图像序列重新编码成视频。12. 根据权利要求11所述的系统，其特征在于，所述系统还包括摄像头，所述数据输入 模块还包括视频配置单元，所述视频配置单元用于配置视频通道场景的监控参数。13. -种人脸识别方法，其特征在于，所述方法至少包括： S100、对人脸进行检测跟踪:接收欲检测图像序列，对欲检测的图像，检测跟踪图像中 的人脸，并进行质量判断，挑选满足要求的若干帧作为关键帧用于比对分析;所述欲检测图 像序列为在一定时间间隔内的若干帧图像； S200、对人脸进行比对分析:提取所述关键帧的人脸特征，在用户信息数据库中查找并 选择多个相似的人脸特征进行比对分析； 其中:所述人脸特征使用多维特征向量表示； 所述用户信息数据库允许单人有M张人脸图像使用相同的第一标识符标识存入所述数 据输出模块包括图像输出单元和/或消息订阅单元； S300、输出结果:将关键帧中检测到的人脸使用标识框标识，并将与该人脸相关的信息 叠加到原始视频上；以及/或向终端订阅用户发送事件消息。14. 根据权利要求13所述的方法，其特征在于，SlOO中所述质量判断包括下述步骤： 51010、 对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足要求 则执行步骤SlOll;否则，舍弃该检测到的人脸图像； 51011、 计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求则执 行步骤S1012;否则，舍弃该检测到的人脸图像； 51012、 计算正脸得分是否满足设定要求，如满足则判断该帧能够用于识别人脸;否则， 舍弃该检测到的人脸图像。15. 根据权利要求13所述的方法，其特征在于，所述SlOO中检测跟踪包括下述步骤： 5101、 每隔若干帧进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使用标 记框对包括人脸的部分进行标记； 5102、 判断标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足预设阈 值时，则认为与已检测到的人脸为同一人脸，则进入步骤S103;否则认为当前标记的人脸为 新的人脸，跟踪结束； Sl 03、对标记的人脸在标记框内进彳丁人脸对齐，检测人脸关键点位置，计算人脸关键点 外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。16. 根据权利要求13所述的方法，其特征在于，所述S200中的用户信息数据库包括多个 子数据库，所述查找为基于多个子数据库进行并行检索。17. 根据权利要求13所述的方法，其特征在于，所述S200中的提取使用DeepId深度学习 算法提取人脸特征。18. 根据权利要求13所述的方法，其特征在于，所述S200中相似的人脸特征通过下述步 骤获得： 52011、 建立KD树:在查找相似的人脸特征过程中，通过搜索K个近邻来建立KD树，K 2 M; 52012、 遍历KD树:在遍历KD树时，每层选取人脸特征中的一维进行比较，以确定下一层 检索的分支，最后确定与关键帧相似的多个人脸特征。19. 根据权利要求15所述的方法，其特征在于： 在所述步骤S102中，当判断新标记的人脸与已检测到的人脸为同一人脸时，将该新标 记的人脸图像和已检测到的人脸使用相同的第二标识符标识； 且，所述S200中的比对分析包括下述步骤： 5201、 对具有相同第二标识符标识的M帧图像，根据是否正脸、清晰度计算一个质量分 值 qi，ie[l，M]; 5202、 对M帧图像中的每帧图像，分别从人脸库中检索比对找出最相似的N个用户，对应 相似度为Si,userj，i G [ I，M]，j G [ I，N]; 5203、 对M帧图像检索比对共得到K个用户，计算此K个用户中每个用户的相似度的得 分，S204、根据5^^对1(个用户按降序排列，选取最相似的若干个用户。20. 根据权利要求19所述的方法，其特征在于，在比对分析之后，所述步骤S200还实现 下述操作： 52031、 使用深度学习方法进行人脸属性计算； 52032、 判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信息数 据库中，则将人脸属性结果进行更新;否则将识别结果及人脸属性计算结果一起存储。21. 根据权利要求20所述的方法，其特征在于，所述人脸属性计算结果还包括首次获取 人脸图像时的时间点和地点。22. 根据权利要求20所述的方法，其特征在于，在步骤S2031之前，所述步骤S200还实现 如下操作： S2030、统计一定时间内检测到的人脸的数目、每个人脸出现的时间和时长。23. 根据权利要求13所述的方法，其特征在于： 所述步骤SlOO在接收欲检测图像序列之前，所述步骤SlOO还包括读取实时视频流或本 地视频文件，并解析出视频帧图像序列； 则在步骤S300中在将关键帧中检测到的人脸使用标识框标识，并将与该人脸相关的信 息叠加到原始视频上之后，所述步骤S300还包括将叠加了人脸检测框以及与该人脸相关的 信息的原视频帧图像序列重新编码成视频。24. 根据权利要求23所述的方法，其特征在于，所述实时视频流通过摄像头获取，所述 方法还包括为采集实时视频流的摄像头配置视频通道场景监控参数。
【专利摘要】本公开涉及一种人脸识别系统和方法，所述系统至少包括数据输入模块、人脸分析模块和数据输出模块。所述数据输入模块为人脸分析模块提供欲检测图像序列，人脸分析模块借助深度学习技术进行人脸识别，通过KD树进行获取相似人脸，基于多个子数据库并行检索比对分析并合并分析结果，数据输出模块将人脸检测框、人脸相关统计信息与原始视频叠加，输出到前端进行显示。在本公开中还提供一种用于系统实现的方法。本公开的系统在识别人脸时具有自动、快速、精准的特点。
【IPC分类】G06K9/00, G06F17/30
【公开号】CN105488478
【申请号】CN201510872357
【发明人】梁伯均, 李庆林, 张伟, 黄展鹏, 王晶, 苏哲昆, 许金涛, 张帅, 张广程
【申请人】深圳市商汤科技有限公司
【公开日】2016年4月13日
【申请日】2015年12月2日
【技术领域】
[0001] 本公开设及视频监控领域，特别设及一种人脸识别系统和方法。
【背景技术】
[0002] 目前很多行业为了吸收、维护更多有价值、有潜力的贵宾(VIP)客户，越来越重视 对贵宾客户提供更优质、有针对性的服务。传统行业会使用VIP卡等形式来区分客户，但是 携带卡片，报卡号等方式并不人性化、便捷化。而人脸识别技术是依据人脸部的特征信息进 行身份识别的一种技术，具有非接触性、并发性、非强制性、直观性等优点。
【发明内容】
[0003] 针对上述部分问题，本公开提供了一种人脸识别系统和方法，所述系统借助深度 学习技术进行人脸识别，提供一套完善的视频监控人脸识别系统，利用所述系统可W为银 行VIP识别、Π 店迎宾、监控场景人脸识别提供服务支持;若利用系统中检测到人脸的时间、 地点和时长，可W进一步实现客流统计，为改进服务或查询特殊用户提供帮助。另外，本公 开还提供了一种实现本公开系统的方法。
[0004] 一种人脸识别系统，所述系统至少包括:数据输入模块、人脸分析模块和数据输出 模块；
[0005] 所述数据输入模块用于将欲检测图像序列传送给人脸分析模块；
[0006] 所述数据输出模块包括图像输出单元和/或消息订阅单元；
[0007] 所述图像输出单元用于将人脸分析模块中得到的人脸进行标识，并将该人脸相关 的信息叠加到原始视频上；
[000引所述消息订阅单元用于往终端订阅用户发送事件消息；
[0009] 其中，所述人脸分析模块用于检测分析识别欲检测图像序列中的人脸，至少包括 下述单元：
[0010] U100、人脸检测跟踪单元:对接收的图像，检测跟踪图像中的人脸，并进行质量判 断，挑选满足要求的若干帖作为关键帖，传递给人脸比对单元；
[0011] U200、人脸比对单元:接收所述关键帖并提取每一帖的人脸特征，在用户信息数据 库中查找并选择多个相似的人脸特征进行比对分析；
[0012] 其中:所述人脸特征使用多维特征向量表示；
[0013] 所述用户信息数据库允许单人有Μ张人脸图像使用相同的第一标识符标识存入。
[0014] 为了方便实现本系统，在一个实施例中，提供了一种实现本公开系统的方法，即： 一种人脸识别方法，所述方法至少包括：
[0015] S100、对人脸进行检测跟踪:接收的欲检测图像序列，对欲检测的图像，检测跟踪 图像中的人脸，并进行质量判断，挑选满足要求的若干帖作为关键帖用于比对分析;所述欲 检测图像序列为在一定时间间隔内的若干帖图像；
[0016] S200、对人脸进行比对分析:提取所述关键帖的人脸特征，在用户信息数据库中查 找并选择多个相似的人脸特征进行比对分析；
[0017] 其中:所述人脸特征使用多维特征向量表示；
[0018] 所述用户信息数据库允许单人有Μ张人脸图像使用相同的第一标识符标识存入所 述数据输出模块包括图像输出单元和/或消息订阅单元；
[0019] S300、输出结果:将关键帖中检测到的人脸使用标识框标识，并将与该人脸相关的 信息叠加到原始视频上；W及/或向终端用户发送订阅的事件消息。
【具体实施方式】
[0020] 在一个基础实施例中，提供了一种人脸识别系统，所述系统至少包括:数据输入模 块、人脸分析模块和数据输出模块；
[0021 ]所述数据输入模块用于将欲检测图像序列传送给人脸分析模块；
[0022] 所述数据输出模块包括图像输出单元和/或消息订阅单元；
[0023] 所述图像输出单元用于将人脸分析模块中得到的人脸进行标识，并将该人脸相关 的信息叠加到原始视频上；
[0024] 所述消息订阅单元用于往终端订阅用户发送事件消息；
[0025] 其中，所述人脸分析模块用于检测分析识别欲检测图像序列中的人脸，至少包括 下述单元：
[0026] U100、人脸检测跟踪单元:对接收的图像，检测跟踪图像中的人脸，并进行质量判 断，挑选满足要求的若干帖作为关键帖，传递给人脸比对单元；
[0027] U200、人脸比对单元:接收所述关键帖并提取每一帖的人脸特征，在用户信息数据 库中查找并选择多个相似的人脸特征进行比对分析；
[0028] 其中:所述人脸特征使用多维特征向量表示；
[0029] 所述用户信息数据库允许单人有Μ张人脸图像使用相同的第一标识符标识存入。
[0030] 在运个实施例中，数据输入模块的输出是人脸图像，其输入可W是多重网络视频 源、图像序列、离线视频或者实时视频，只要经过处理后可W获得带有人脸的图像即可。在 对图像进行检测时，可W对接收的所有图像进行检测，也可W优选的对图像进行检测。所述 欲检测图像序列可W是在一定时间间隔内采集的若干帖图像，也可W是人为挑选的若干帖 图像。在一个实施例中，系统每隔6帖进行一次人脸检测。在对图像进行检测时，提取图像中 的人脸位置、人脸关键点信息，所述人脸关键点信息可包括眼角、眉毛的末端、嘴角、鼻尖等 位置信息。当所述图像序列为单帖时，该图像本身为关键帖;所述图像序列为多帖时，从该 序列中挑选质量好的Ν帖作为关键帖。其中，质量的判断可W通过对后述指标进行打分后， 选取得分高的前Ν帖作为关键帖。所述指标包括人脸图片清晰度、大小、真实人脸、遮挡、光 照等等。所述人脸特征通过多维特征向量表示，在一个实施例中，使用约180维特征向量来 表示人脸特征。对已检测到人脸，在后续帖中进行跟踪。在查找时，将Ν组人脸特征作为一个 整体，在用户信息数据库中检索相似人脸，选择得分最高的几个人脸作为返回结果。而比对 分析的结果即所述视频组装分发单元W及原图像可W通过ht化协议或消息服务器发送至 图像输出单元。在一个实施例中，当在监控区域识别人脸库人脸，系统立即发布通知或报 警，消息包括往订阅者发送其关注的特殊人员比如VIP、可疑人等识别结果、地点时间、人脸 图片等信息。
[0031] 在一个实施例中，给出了一种用于UlOO中所述质量判断的方法，即包括下述步骤：
[0032] S1010、对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足 要求则执行步骤S1011;否则，舍弃该检测到的人脸图像；
[0033] S1011、计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求 则执行步骤S1012;否则，舍弃该检测到的人脸图像；
[0034] S1012、计算正脸得分是否满足设定要求，如满足则判断该帖能够用于识别人脸； 否则，舍弃该检测到的人脸图像。
[0035] 在一个实施例中，提供了一种具体挑选关键帖的实现方式。在运个实施例中，对单 个跟踪抓拍的人脸，根据两眼间距>25,人脸置信度得分>0.95,正脸得分，判断该帖是否用 于识别。进一步地，在运个实施例中还提供了通过程序实现挑选关键帖的方法，即对每个跟 踪为同一人脸的图像，内部维护一个关键帖容器，容量为10。开始时，若不满10帖，则每帖均 存储入容器内；满10帖后，适合用于识别的帖，且与最后存入的帖号间隔大于10,则替换掉 已知质量最差的帖;记录单个跟踪为同一人脸的图像已被处理的帖数，若帖数大于20,则结 束跟踪。
[0036] 在一个实施例中，给出了一种用于所述U100中检测跟踪包括下述步骤，其步骤为：
[0037] S101、每隔若干帖进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使 用标记框对包括人脸的部分进行标记；
[0038] S102、判断标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足预 设阔值时，则认为与已检测到的人脸为同一人脸，则进入步骤S103;否则认为当前标记的人 脸为新的人脸，跟踪结束；
[0039] S103、对标记的人脸在标记框内进行人脸对齐，检测人脸关键点位置，计算人脸关 键点外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。
[0040] 在运个实施例中，使用标记框对包括人脸的部分进行标记，所标记的部分可W是 头部，更优的，还可W包括肩部，在包括肩部的标记方式中，可W提高识别率。不论采用哪种 方式，重合度的计算均可W通过置信度来度量，当计算的置信度达到一定的范围时，可W认 为两个对象为同一对象。而所应达到的范围可W通过试验的方式来确定。
[0041] 优选的，使用多库与并行检索，即：所述U200中的用户信息数据库包括多个子数据 库，则所述查找为基于多个子数据库进行并行检索。而比对分析则在检索结果的基础上进 行比对，然后合并分析结果。运种方式不仅支持将大量人脸图像导入用户信息数据库，同时 又不加大检索时间。每个子数据库导入一定量的人脸图像，单人的多个人脸图像导入相同 的数据库。在检索时，在一个实施例中采用多线程并行检索每个数据库的方式，然后根据比 较分析的结果合并多个子数据库的结果。
[0042] 在一个实施例中，给出了关于入库的人脸图像中人脸特征的获取方法，即：所述 U200中的提取使用Deepid深度学习算法提取人脸特征。运种方式获取人脸特征能够有助于 精准的识别人脸。在一个实施例中，使用运种提取人脸特征提取方式，提取约180维的特征 向量。
[0043] 基于人脸特征使用多维特征向量表示，在一个实施例中，给出了一种在查找相似 特征向量时，减少比较次数加速比对过程方法，即:所述U200中的相似的人脸特征通过下述 步骤获得：
[0044] S2011、建立KD树:在查找时，建立KD树捜索Κ个近邻，Κ > Μ;
[0045 ] S2012、遍历KD树:在遍历KD树时，每层选取人脸特征中的一维进行比较，W确定下 一层检索的分支，最后确定与关键帖相似的多个人脸特征。
[0046] 运种通过建立KD特征检索树的方式，在捜索相似特征时，通过遍历检索树来实现， 为了减少比对次数，在每层选取一维的特征进行比较，W确定下一层要检索的分支。
[0047] 在一个实施例中，在所述步骤S102中，当判断新标记的人脸与已检测到的人脸为 同一人脸时，将该新标记的人脸图像和已检测到的人脸使用相同的第二标识符标识;且，所 述U200中的比对分析包括下述步骤：
[0048] S201、对具有相同第二标识符标识的Μ帖图像，根据是否正脸、清晰度计算一个质 量分值 qi，iE[l，M];
[0049] S202、对Μ帖图像中的每帖图像，分别从人脸库中检索比对找出最相似的N个用户， 对应相似度为Si,userj，i e [ 1，Μ]，j e [ 1，Ν];
[0050] S203、对Μ帖图像检索比对共得到Κ个用户，计算此Κ个用户中每个用户的相似度的 得分，
[0化1 ]
[0化2] S204、根据沒胃对Κ个用户按降序排列，选取最相似的若干个用户。
[0053]在运种比对方式下，若是用户信息数据库包括多个子数据库，可W有多种获取最 终识别结果的方式。比如在对多个子数据库进行并行检索后，对每个子数据库都进行步骤 S202~S204然后将所有最相似的用户的相似度进行排序后选取返回结果。再比如，对每个 子数据库都返回该子数据库中得分排序在前的若干个人脸特征，然后对返回的人脸特征再 使用相似度值进行排序，选择当前排序下的在前的若干个人脸特征所对应的人脸图像作为 返回结果。
[0化4] 可选的，在比对分析之后，所述人脸比对单元还实现下述操作：
[0055] S2031、使用深度学习方法进行人脸属性计算；
[0056] S2032、判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信 息数据库中，则将人脸属性结果进行更新;否则将识别结果及人脸属性计算结果一起存储。
[0057] 所述人脸属性包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属性。增加存储 人脸属性的系统可W在对外提供检索功能时，增加检索维度，可W按时间、欲检测人脸与入 库人脸相似值、外观属性、地点进行过滤，缩小检索范围，加快检索速度，提供检索准确度。
[0058] 可选的，在存储人脸属性的计算结果的基础上还可W为每个结果附上统计时间 点、地点，即：所述人脸属性计算结果还包括获取图像时的时间点和地点。运为定位某个人 脸什么时间是否在某个区域出现过提供数据支持。在一个实施例中，系统为VIP或可疑人等 特殊人员单独建立用户信息数据库，在用户查询运类人员时，可W直接与该库存储的人脸 图像的人脸特征进行比对，方便快速的定位某个人脸什么时间在某个区域是否出现过。
[0059] 在一个实施例中，所述系统具有人流统计功能，即：所述人脸比对单元还实现如下 操作：
[0060] S2030、统计一定时间内检测到的人脸的数目、每个人脸的出现的时间和时长。在 运个实施例中，系统会将当前检测到的人脸和一定时间内已经检测过的人脸进行比对，若 判断为同一个人，则认为该人出现的次数为1次;运样可W获得在一定时间间隔内出现的不 同人脸数目，同时也可W得到若干个时间间隔中，同一人脸出现的次数、每次出现的时间和 时长。为了实现运样的统计功能，系统可W为检测到的人脸建立临时用户信息数据库，该数 据库可W按时间定期建立。系统也可W专口建立访客特征库。当系统用于口店时，可W为口 店进行上述客流统计。
[0061] 在一个实施例中，针对人脸图像来源为视频时，所述视频可W是多重网络视频源、 离线视频或者实时视频时，为获取视频帖图像，所述数据输入模块还包括视频解码单元，所 述数据输出模块还包括视频组装分发单元；
[0062] 所述视频解码单元用于读取实时视频流或本地视频文件，并解析出视频帖图像；
[0063] 所述视频组装分发单元用于将叠加了人脸检测框W及与该人脸相关的信息的原 视频帖图像重新编码成视频。
[0064] 在运个实施例中，当所述数据输入模块向人脸分析模块发送欲检测图像序列时， 可W通过队列的方式来实现。
[0065] 在一个实施例中，视频组装时，将人脸分析模块得到的人脸检测框、识别出的用户 名等信息，叠加到原始视频帖上，然后按X264格式重新编码成视频，在组装之后，通过 live555广播出去，提供浏览器或其他客户端进行播放。
[0066] 在一个实施例中，所述视频解码单元读取dsp视频流或本地视频文件，通过vie视 频解码器，解释出视频帖图像，使用缓存队列，把图像传送给人脸分析模块。
[0067] 优选的，所述系统还包括摄像头，则所述数据输入模块还包括视频配置单元，所述 视频配置单元用于配置视频通道场景的监控参数。在一个实施例中，需要配置视频通道地 址。在运种方式下，可W将实现的系统应用于实时监控，并对监控中的人脸进行实时识别。 在本公开的基础上附加报警功能，可W为有安保需要的场景提供一套完整的人脸识别监控 服务，比如在公安关注的人流出入口，对过往人员自动进行人脸抓拍，自动识别人员外观特 征，自动与入库可疑人员进行快速自动比对，若发现可疑人，给出报警提示。再比如，应用于 小区口禁安保。
[0068] 在一个实施例中，所述系统能够实现实时显示视频与识别结果；当用户需要用于 识别其服务的VIP客户识别时，还可W识别出进入口店的VIP客户，并给出提示;帮助用户统 计每天进入口店的客户人数，统计每个客户进入口店的时间和次数;通过对进入店口的客 户人脸图片进行保存，计算并保存包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属 性、保存进店时间和时长，方便用户对客户进行查询条件过滤;显示最近进入口店的客户信 息，包括抓拍人脸图片、访问时间、地点、访问次数等。
[0069] 在一个实施例中，所述系统为公安系统提供视频监控服务，在监控区域，检测进入 的人脸，并与入库的可疑人进行比对，在发现欲监控的人员时，给出提示。所述提示可W是 下述一种或任意多种方式的组合形式:静态文字、图案或动态文字、动态图案、声音。
[0070] 为了方便实现本系统，在一个实施例中，提供了一种实现本公开系统的方法，即： 一种人脸识别方法，所述方法至少包括：
[0071] S100、对人脸进行检测跟踪:接收的欲检测图像序列，对欲检测的图像，检测跟踪 图像中的人脸，并进行质量判断，挑选满足要求的若干帖作为关键帖用于比对分析;所述欲 检测图像序列为在一定时间间隔内的若干帖图像；
[0072] S200、对人脸进行比对分析:提取所述关键帖的人脸特征，在用户信息数据库中查 找并选择多个相似的人脸特征进行比对分析；
[0073] 其中:所述人脸特征使用多维特征向量表示；
[0074] 所述用户信息数据库允许单人有Μ张人脸图像使用相同的第一标识符标识存入所 述数据输出模块包括图像输出单元和/或消息订阅单元；
[0075] S300、输出结果:将关键帖中检测到的人脸使用标识框标识，并将与该人脸相关的 信息叠加到原始视频上；W及/或向终端用户发送订阅的事件消息。
[0076] 在运个实施例中，数据输入模块的输出是人脸图像，其输入可W是多重网络视频 源、图像序列、离线视频或者实时视频，只要经过处理后可W获得带有人脸的图像即可。在 对图像进行检测时，可W对接收的所有图像进行检测，也可W优选的对图像进行检测。在一 个实施例中，系统每隔6帖进行一次人脸检测。在对图像进行检测时，提取图像中的人脸位 置、人脸关键点信息，所述人脸关键点信息可包括眼角、眉毛的末端、嘴角、鼻尖等位置信 息。当所述图像序列为单帖时，该图像本身为关键帖;所述图像序列为多帖时，从该序列中 挑选质量好的Ν帖作为关键帖。其中，质量的判断可W通过对后述指标进行打分后，选取得 分高的前Ν帖作为关键帖。所述指标包括人脸图片清晰度、大小、真实人脸、遮挡、光照等等。 所述人脸特征通过多维特征向量表示，在一个实施例中，使用约180维特征向量来表示人脸 特征。对已检测到人脸，在后续帖中进行跟踪。在查找时，将Ν组人脸特征作为一个整体，在 用户信息数据库中检索相似人脸，选择得分最高的几个人脸作为返回结果。而比对分析的 结果即所述视频组装分发单元W及原图像可W通过ht化协议或消息服务器发送至图像输 出单元。在一个实施例中，当在监控区域识别人脸库人脸，系统立即发布通知或报警，消息 包括往订阅者发送其关注的特殊人员比如VIP、可疑人等识别结果、地点时间、人脸图片等 信息。
[0077] 在一个实施例中，给出了一种用于S100中所述质量判断的方法，即包括下述步骤：
[0078] S1010、对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足 要求则执行步骤S1011;否则，舍弃该检测到的人脸图像；
[0079] S1011、计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求 则执行步骤S1012;否则，舍弃该检测到的人脸图像；
[0080] S1012、计算正脸得分是否满足设定要求，如满足则判断该帖能够用于识别人脸； 否则，舍弃该检测到的人脸图像。
[0081] 在一个实施例中，提供了一种具体挑选关键帖的实现方式。在运个实施例中，对单 个跟踪抓拍的人脸，根据两眼间距>25,人脸置信度得分>0.95,正脸得分，判断该帖是否用 于识别。进一步地，在运个实施例中还提供了通过程序实现挑选关键帖的方法，即对每个跟 踪为同一人脸的图像，内部维护一个关键帖容器，容量为10。开始时，若不满10帖，则每帖均 存储入容器内；满10帖后，适合用于识别的帖，且与最后存入的帖号间隔大于10,则替换掉 已知质量最差的帖;记录单个跟踪为同一人脸的图像已被处理的帖数，若帖数大于20,则结 束跟踪。
[0082] 在一个实施例中，给出了一种用于所述S100中检测跟踪的实现方法，其步骤包括：
[0083] S101、每隔若干帖进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使 用标记框对包括人脸的部分进行标记；
[0084] S102、判断新标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足 预设阔值时，则认为与已检测到的人脸为同一人脸，则进入步骤S103;否则认为当前标记的 人脸为新的人脸，跟踪结束；
[0085] S103、对新标记的人脸在标记框内进行人脸对齐，检测人脸关键点位置，计算人脸 关键点外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。
[0086] 在运个实施例中，使用标记框对包括人脸的部分进行标记，所标记的部分可W是 头部，更优的，还可W包括肩部，在包括肩部的标记方式中，可W提高识别率。不论采用哪种 方式，重合度的计算均可W通过置信度来度量，当计算的置信度达到一定的范围时，可W认 为两个对象为同一对象。而所应达到的范围可W通过试验的方式来确定。
[0087] 优选的，使用多库与并行检索，即：所述S200中的用户信息数据库包括多个子数据 库，所述U200中的用户信息数据库包括多个子数据库，则所述查找为基于多个子数据库进 行并行检索。而比对分析则在检索结果的基础上进行比对，然后合并分析结果。运种方式不 仅支持将大量人脸图像导入用户信息数据库，同时又不加大检索时间。每个子数据库导入 一定量的人脸图像，单人的多个人脸图像导入相同的数据库。在检索时，在一个实施例中采 用多线程并行检索每个数据库的方式，然后根据比较分析的结果合并多个子数据库的结 果。
[0088] 在一个实施例中，给出了关于入库的人脸图像中人脸特征的获取方法，即：所述 S200中的提取使用Deepid深度学习算法提取人脸特征。在一个实施例中，使用运种提取人 脸特征提取方式，提取约180维的特征向量。
[0089] 基于人脸特征使用多维特征向量表示，在一个实施例中，给出了一种在查找相似 特征向量时，减少比较次数加速比对过程方法，即:所述S200中相似的人脸特征通过下述步 骤获得：
[0090] S2011、建立KD树:在查找相似的人脸特征过程中，通过捜索K个近邻来建立KD树，K >M；
[0091 ] S2012、遍历KD树:在遍历KD树时，每层选取人脸特征中的一维进行比较，W确定下 一层检索的分支，最后确定与关键帖相似的多个人脸特征。
[0092] 在一个实施例中，在所述步骤S102中，当判断新标记的人脸与已检测到的人脸为 同一人脸时，将该新标记的人脸图像和已检测到的人脸使用相同的第二标识符标识;且，所 述S200中的比对分析包括下述步骤：
[0093] S201、对相同第二标识符标识的Μ帖图像，根据是否正脸、清晰度计算一个质量分 值 qi，ie[l，M];
[0094] S202、对Μ帖图像中的每帖图像，分别从人脸库中检索比对找出最相似的N个用户， 对应相似度为Si,userj，i e [ 1，Μ]，j e [ 1，Ν];
[OOM] S203、对Μ帖图像检索比对共得到Κ个用户，计算此Κ个用户中每个用户的相似度的 得分，
[0096]
[0097] S204、根据^胃.1对Κ个用户按降序排列，选取最相似的若干个用户。
[0098] 在运种比对方式下，若是用户信息数据库包括多个子数据库，可W有多种获取最 终识别结果的方式。比如在对多个子数据库进行并行检索后，对每个子数据库都进行步骤 S202~S204然后将所有最相似的用户的相似度进行排序后选取返回结果。再比如，对每个 子数据库都返回该子数据库中得分排序在前的若干个人脸特征，然后对返回的人脸特征再 使用相似度值进行排序，选择当前排序下的在前的若干个人脸特征所对应的人脸图像作为 返回结果。
[0099] 可选的，在比对分析之后，所述步骤S200还实现下述操作：
[0100] S2031、使用深度学习方法进行人脸属性计算；
[0101] S2032、判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信 息数据库中，则将人脸属性结果进行更新;否则将识别结果及人脸属性计算结果一起存储。
[0102] 所述人脸属性包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属性。增加存储 人脸属性的系统可W在对外提供检索功能时，增加检索维度，可W按时间、欲检测人脸与入 库人脸相似值、外观属性、地点进行过滤，缩小检索范围，加快检索速度，提供检索准确度。
[0103] 可选的，在存储人脸属性的计算结果的基础上还可W为每个结果附上统计时间 点、地点，即：所述人脸属性计算结果还包括首次获取人脸图像时的时间点和地点。运为定 位某个人脸什么时间是否在某个区域出现过提供数据支持。在一个实施例中，系统为VIP或 可疑人等特殊人员单独建立用户信息数据库，在用户查询运类人员时，可W直接与该库存 储的人脸图像的人脸特征进行比对，方便快速的定位某个人脸什么时间在某个区域是否出 现过。
[0104] 在一个实施例中，所述方法包括人流统计功能，即：在步骤S2031之前，所述步骤 S200还实现如下操作：
[0105] S2030、统计一定时间内检测到的人脸的数目、每个人脸出现的时间和时长。
[0106] 在一个实施例中，针对人脸图像来源为视频时，所述视频可W是多重网络视频源、 离线视频或者实时视频时，为获取视频帖图像，则所述步骤S100在接收欲检测图像序列之 前，所述步骤S100还包括读取实时视频流或本地视频文件，并解析出视频帖图像序列；
[0107] 则在步骤S300中在将关键帖中检测到的人脸使用标识框标识，并将与该人脸相关 的信息叠加到原始视频上之后，所述步骤S300还包括将叠加了人脸检测框W及与该人脸相 关的信息的原视频帖图像序列重新编码成视频。
[0108] 在一个实施例中，步骤S100通过队列的方式来对欲检测图像序列的图像依次进行 检测跟踪。
[0109] 在一个实施例中，为了方便获取实时视频流，通过摄像头来采集视频，则所述方法 还包括为采集实时视频流的摄像头配置视频通道场景监控参数。在运种方式下，可W将实 现的系统应用于实时监控，并对监控中的人脸进行实时识别。在本公开的基础上附加报警 功能，可W为有安保需要的场景提供一套完整的人脸识别监控服务，比如在公安关注的人 流出入口，对过往人员自动进行人脸抓拍，自动识别人员外观特征，自动与入库可疑人员进 行快速自动比对，若发现可疑人，给出报警提示。再比如，应用于小区口禁安保。
[0110] 在一个实施例中，所述方法能够实现实时显示视频与识别结果；当用户需要用于 识别其服务的VIP客户识别时，还可W识别出进入口店的VIP客户，并给出提示;帮助用户统 计每天进入口店的客户人数，统计每个客户进入口店的时间和次数;通过对进入店口的客 户人脸图片进行保存，计算并保存包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属 性、保存进店时间和时长，方便用户对客户进行查询条件过滤;显示最近进入口店的客户信 息，包括抓拍人脸图片、访问时间、地点、访问次数等。
[0111] 在一个实施例中，所述方法实现的系统为公安系统提供视频监控服务，在监控区 域，检测进入的人脸，并与入库的可疑人进行比对，在发现欲监控的人员时，给出提示。所述 提示可W是下述一种或任意多种方式的组合形式:静态文字、图案或动态文字、动态图案、 声音。
[0112] 本公开的人脸识别技术可W通过人脸识别快速识别出贵宾客户并且关联相关的 客户信息数据库。还可将经常光顾，有价值有潜力的客户通过数据统计作为潜在贵宾客户 重点服务及推荐针对性产品。另外，在本公开的基础上附加报警功能，还可W为公安提供一 套完整的人脸识别监控服务，在公安关注的人流出入口，对过往人员自动进行人脸抓拍，自 动识别人员外观特征，自动与入库可疑人员进行快速自动比对，若发现可疑人，给出报警提 /J、- 〇
[0113] W上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方 式进行了阐述，W上实施例的说明只是用于帮助理解本公开的方法及其核屯、思想；同时，对 于本领域技术人员，依据本公开的思想，在【具体实施方式】及应用范围上均会有改变之处，综 上所述，本说明书内容不应理解为对本公开的限制。
【主权项】
1. 一种人脸识别系统，其特征在于，所述系统至少包括： 数据输入模块、人脸分析模块和数据输出模块； 所述数据输入模块用于将欲检测图像序列传送给人脸分析模块； 所述数据输出模块包括图像输出单元和/或消息订阅单元； 所述图像输出单元用于将人脸分析模块中得到的人脸进行标识，并将该人脸相关的信 息叠加到原始视频上； 所述消息订阅单元用于往终端订阅用户发送事件消息； 其中，所述人脸分析模块用于检测分析识别欲检测图像序列中的人脸，至少包括下述 单元： U100、人脸检测跟踪单元:对接收的图像，检测跟踪图像中的人脸，并进行质量判断，挑 选满足要求的若干帧作为关键帧，传递给人脸比对单元； U200、人脸比对单元:接收所述关键帧并提取每一帧的人脸特征，在用户信息数据库中 查找并选择多个相似的人脸特征进行比对分析； 其中:所述人脸特征使用多维特征向量表示； 所 述用户信息数据库允许单人有M张人脸图像使用相同的第一标识符标识存入。2. 根据权利要求1所述的系统，其特征在于，优选的，UlOO中所述质量判断包括下述步 骤： 51010、 对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足要求 则执行步骤SlOll;否则，舍弃该检测到的人脸图像； 51011、 计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求则执 行步骤S1012;否则，舍弃该检测到的人脸图像； 51012、 计算正脸得分是否满足设定要求，如满足，则判断该帧能够用于识别人脸；否 贝IJ，舍弃该检测到的人脸图像。3. 根据权利要求1所述的系统，其特征在于，所述UlOO中检测跟踪包括下述步骤： 5101、 每隔若干帧进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使用标 记框对包括人脸的部分进行标记； 5102、 判断标记的人脸面积与已检测到的人脸面积是否重合，当重合度满足预设阈值 时，则认为与已检测到的人脸为同一人脸，则进入步骤S103;否则认为当前标记的人脸为新 的人脸，跟踪结束； Sl 03、对标记的人脸在标记框内进彳丁人脸对齐，检测人脸关键点位置，计算人脸关键点 外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。4. 根据权利要求1所述的系统，其特征在于，所述U200中的用户信息数据库包括多个子 数据库，所述查找为基于多个子数据库进行并行检索。5. 根据权利要求1所述的系统，其特征在于，所述U200中的提取使用DeepId深度学习算 法提取人脸特征。6. 根据权利要求1所述的系统，其特征在于，所述U200中相似的人脸特征通过下述步骤 获得： 52011、 建立KD树:在查找相似的人脸特征过程中，通过搜索K个近邻来建立KD树，K 2 M; 52012、 遍历KD树:在遍历KD树时，每层选取人脸特征中的一维进行比较，以确定下一层 检索的分支，最后确定与关键帧相似的多个人脸特征。7. 根据权利要求3所述的系统，其特征在于： 在所述步骤S102中，当标记的人脸与已检测到的人脸为同一人脸时，将该标记的人脸 图像和已检测到的人脸使用相同的第二标识符标识； 且，所述U200中的比对分析包括下述步骤： 5201、 对具有相同第二标识符标识的M帧图像，根据是否正脸、清晰度计算一个质量分 值 qi，ie[l，M]; 5202、 对M帧图像中的每帧图像，分别从人脸库中检索比对找出最相似的N个用户，对应 相似度为Si,userj，i G [ I，M]，j G [ I，N]; 5203、 对M帧图像检索比对共得到K个用户，计算此K个用户中每个用户的相似度的得 分，5204、 根据个用户按降序排列，选取最相似的若干个用户。8. 根据权利要求7所述的系统，其特征在于，在比对分析之后，所述人脸比对单元还实 现下述操作： 52031、 使用深度学习方法进行人脸属性计算； 52032、 判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信息数 据库中，则将人脸属性结果进行更新;否则将识别结果及人脸属性计算结果一起存储。9. 根据权利要求8所述的系统，其特征在于，所述人脸属性计算结果还包括首次获取人 脸图像时的时间点和地点。10. 根据权利要求8所述的系统，其特征在于，在步骤S2031之前，所述人脸比对单元还 实现如下操作： S2030、统计一定时间内检测到的人脸的数目、每个人脸出现的时间和时长。11. 根据权利要求1所述的系统，其特征在于，所述数据输入模块还包括视频解码单元， 所述数据输出模块还包括视频组装分发单元； 所述视频解码单元用于读取实时视频流或本地视频文件，并解析出视频帧图像序列； 所述视频组装分发单元用于将叠加了人脸检测框以及与该人脸相关的信息的原视频 帧图像序列重新编码成视频。12. 根据权利要求11所述的系统，其特征在于，所述系统还包括摄像头，所述数据输入 模块还包括视频配置单元，所述视频配置单元用于配置视频通道场景的监控参数。13. -种人脸识别方法，其特征在于，所述方法至少包括： S100、对人脸进行检测跟踪:接收欲检测图像序列，对欲检测的图像，检测跟踪图像中 的人脸，并进行质量判断，挑选满足要求的若干帧作为关键帧用于比对分析;所述欲检测图 像序列为在一定时间间隔内的若干帧图像； S200、对人脸进行比对分析:提取所述关键帧的人脸特征，在用户信息数据库中查找并 选择多个相似的人脸特征进行比对分析； 其中:所述人脸特征使用多维特征向量表示； 所述用户信息数据库允许单人有M张人脸图像使用相同的第一标识符标识存入所述数 据输出模块包括图像输出单元和/或消息订阅单元； S300、输出结果:将关键帧中检测到的人脸使用标识框标识，并将与该人脸相关的信息 叠加到原始视频上；以及/或向终端订阅用户发送事件消息。14. 根据权利要求13所述的方法，其特征在于，SlOO中所述质量判断包括下述步骤： 51010、 对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足要求 则执行步骤SlOll;否则，舍弃该检测到的人脸图像； 51011、 计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求则执 行步骤S1012;否则，舍弃该检测到的人脸图像； 51012、 计算正脸得分是否满足设定要求，如满足则判断该帧能够用于识别人脸;否则， 舍弃该检测到的人脸图像。15. 根据权利要求13所述的方法，其特征在于，所述SlOO中检测跟踪包括下述步骤： 5101、 每隔若干帧进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使用标 记框对包括人脸的部分进行标记； 5102、 判断标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足预设阈 值时，则认为与已检测到的人脸为同一人脸，则进入步骤S103;否则认为当前标记的人脸为 新的人脸，跟踪结束； Sl 03、对标记的人脸在标记框内进彳丁人脸对齐，检测人脸关键点位置，计算人脸关键点 外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。16. 根据权利要求13所述的方法，其特征在于，所述S200中的用户信息数据库包括多个 子数据库，所述查找为基于多个子数据库进行并行检索。17. 根据权利要求13所述的方法，其特征在于，所述S200中的提取使用DeepId深度学习 算法提取人脸特征。18. 根据权利要求13所述的方法，其特征在于，所述S200中相似的人脸特征通过下述步 骤获得： 52011、 建立KD树:在查找相似的人脸特征过程中，通过搜索K个近邻来建立KD树，K 2 M; 52012、 遍历KD树:在遍历KD树时，每层选取人脸特征中的一维进行比较，以确定下一层 检索的分支，最后确定与关键帧相似的多个人脸特征。19. 根据权利要求15所述的方法，其特征在于： 在所述步骤S102中，当判断新标记的人脸与已检测到的人脸为同一人脸时，将该新标 记的人脸图像和已检测到的人脸使用相同的第二标识符标识； 且，所述S200中的比对分析包括下述步骤： 5201、 对具有相同第二标识符标识的M帧图像，根据是否正脸、清晰度计算一个质量分 值 qi，ie[l，M]; 5202、 对M帧图像中的每帧图像，分别从人脸库中检索比对找出最相似的N个用户，对应 相似度为Si,userj，i G [ I，M]，j G [ I，N]; 5203、 对M帧图像检索比对共得到K个用户，计算此K个用户中每个用户的相似度的得 分，S204、根据5^^对1(个用户按降序排列，选取最相似的若干个用户。20. 根据权利要求19所述的方法，其特征在于，在比对分析之后，所述步骤S200还实现 下述操作： 52031、 使用深度学习方法进行人脸属性计算； 52032、 判断检测的人脸进行是否已存在于用户信息数据库中；若已存在于用户信息数 据库中，则将人脸属性结果进行更新;否则将识别结果及人脸属性计算结果一起存储。21. 根据权利要求20所述的方法，其特征在于，所述人脸属性计算结果还包括首次获取 人脸图像时的时间点和地点。22. 根据权利要求20所述的方法，其特征在于，在步骤S2031之前，所述步骤S200还实现 如下操作： S2030、统计一定时间内检测到的人脸的数目、每个人脸出现的时间和时长。23. 根据权利要求13所述的方法，其特征在于： 所述步骤SlOO在接收欲检测图像序列之前，所述步骤SlOO还包括读取实时视频流或本 地视频文件，并解析出视频帧图像序列； 则在步骤S300中在将关键帧中检测到的人脸使用标识框标识，并将与该人脸相关的信 息叠加到原始视频上之后，所述步骤S300还包括将叠加了人脸检测框以及与该人脸相关的 信息的原视频帧图像序列重新编码成视频。24. 根据权利要求23所述的方法，其特征在于，所述实时视频流通过摄像头获取，所述 方法还包括为采集实时视频流的摄像头配置视频通道场景监控参数。
【专利摘要】本公开涉及一种人脸识别系统和方法，所述系统至少包括数据输入模块、人脸分析模块和数据输出模块。所述数据输入模块为人脸分析模块提供欲检测图像序列，人脸分析模块借助深度学习技术进行人脸识别，通过KD树进行获取相似人脸，基于多个子数据库并行检索比对分析并合并分析结果，数据输出模块将人脸检测框、人脸相关统计信息与原始视频叠加，输出到前端进行显示。在本公开中还提供一种用于系统实现的方法。本公开的系统在识别人脸时具有自动、快速、精准的特点。
【IPC分类】G06K9/00, G06F17/30
【公开号】CN105488478
【申请号】CN201510872357
【发明人】梁伯均, 李庆林, 张伟, 黄展鹏, 王晶, 苏哲昆, 许金涛, 张帅, 张广程
【申请人】深圳市商汤科技有限公司
【公开日】2016年4月13日
【申请日】2015年12月2日
最新回复(0)