一种人脸对齐方法及模型结构与流程

1.本发明涉及人脸对齐领域，特别是一种人脸对齐方法及模型结构。


背景技术：

2.人脸对齐又称人脸特征点检测，目标是预测人脸图像中一系列事先定义的点坐标，例如脸轮廓点、眉角、嘴角等；人脸对齐广泛应用于计算机视觉和机器视觉，其中包括人脸识别、表情识别，人脸矫正以及三维人脸建模等任务；随着深度学习技术的发展，主流人脸对齐的方法为热力图回归。
3.特征点热力图是一种表示特征点分布的概率图，热力图能够更好的编码局部细节以及各部件的关联，同时有效地驱使模型集中于感兴趣的部分，所以热力图回归方法在人脸对齐任务取得更高的精度。当前的人脸对齐方法主要由图1所示，通过卷积模块和残差模块、残差漏斗模块组成，将获取到的人脸区域图像经过一个卷积模块、两个残差模块、一个残差漏斗模块然后通过支路a、b，其中支路b经过残差模块和卷积模块生成人脸特征点热力图，再经过卷积模块进行通道扩充，并与支路a生成的数据块进行元素相加操作，之后重复通过支路a、b，其中支路b经过残差模块和卷积模块生成人脸特征点热力图，再经过卷积模块进行通道扩充，并与支路a生成的数据块进行元素相加的操作，最后得到最终的人脸特征点热力图，再进行softargmax数据后处理得到人脸特征点坐标；将人脸对齐的模型训练好后，由摄像装置端获取人脸区域图像，将获取到的人脸区域图像经过一个卷积模块、两个残差模块、一个残差漏斗模块然后通过支路a、b，其中支路b经过残差模块和卷积模块生成人脸特征点热力图，再经过卷积模块进行通道扩充，并与支路a生成的数据块进行元素相加操作，之后重复通过支路a、b，其中支路b经过残差模块和卷积模块生成人脸特征点热力图，再经过卷积模块进行通道扩充，并与支路a生成的数据块进行元素相加的操作，最后得到最终的人脸特征点热力图，再进行softargmax数据后处理得到人脸特征点坐标进行人脸对齐。一、模型框架主要由多个残差漏斗模块堆叠而构成，计算量大，其容易造成运行效率低下的问题；二、由于得到最终的人脸对齐模型是在npu(嵌入式神经网络处理器/网络处理器)上进行运行，而softargmax数据后处理得到人脸特征点坐标需要在cpu上运行，人脸对齐模型生成的人脸特征点热力图数据需要从npu传输至cpu进行后处理得到人脸特征点坐标其势必造成数据传输量大，存在后处理耗时高的问题。


技术实现要素：

4.本发明的目的在于提供一种高效准确的人脸对齐方法及模型结构。
5.本发明提供了一种人脸对齐方法，包括以下步骤：在服务器端获取包含人脸图片集，并对该图片集进行仿射变换、翻转、旋转以及遮挡处理；使用深度学习框架，基于处理后的图片集，以图片集真实的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标为监督信息，训练老师模型，根据训练后的老师模型得
到老师模型学习权值；冻结老师模型学习权值，使用深度学习框架，基于处理后的相同图片集，以学生模型输出的人脸边缘热力图、人脸特征点热力图、人脸特征点坐标和老师模型输出的人脸边缘热力图、人脸特征点热力图、人脸特征点坐标进行知识蒸馏，同时以图片集真实的人脸边缘热力图、人脸特征点热力图、人脸特征点坐标为监督信息，训练学生模型，根据训练后的学生模型得到学生模型学习权值；在摄像装置端获取包含人脸图片，进行人脸检测，获取人脸所在的区域，对人脸所在的区域进行裁剪和缩放得到人脸图像，使用部署在npu上的学生模型，通过学生模型的学习权值获取人脸特征点热力图，将人脸特征点热力图通过softargmax数据后处理获取人脸特征点坐标，然后对人脸特征点坐标还原成原图中人脸特征点坐标，完成人脸对齐。
6.作为本发明的一种优选方案，知识蒸馏过程可以表示为：其中，、、为预先确定的损失系数，为蒸馏评价函数，、、分别是老师模型输出的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标；学生模型训练过程的评价函数为：其中，、、为预先确定的损失系数，为热力图损失函数，为特征点坐标损失函数;、、分别为图片集真实的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标。
7.作为本发明的一种优选方案，将人脸特征点热力图通过softargmax数据后处理获取人脸特征点坐标，将softargmax转换成npu的操作方法为：对人脸特征点热力图通过scale操作改变人脸特征点热力图的数据；将scale操作后的数据的人脸特征点热力图通过reshape操作改变数据分布的维度的人脸特征点热力图；对reshape操作后的人脸特征点热力图进行softmax函数操作；将softmax函数处理后的人脸特征点热力图进行reshape操作，让数据维度恢复之前的维度人脸特征点热力图；最后，将恢复维度的人脸特征点热力图分别进行卷积操作得到x、y坐标的人脸特征点坐标。
8.本发明提供了一种人脸对齐模型结构，包括：在服务器端对学生模型进行训练，老师模型和学生模型分别获取相同人脸图片
集；人脸图片集在老师模型骨架内经卷积模块、残差模块及残差漏斗模块得到人脸特征数据，人脸特征数据经残差模块一路经卷积模块的到人脸特征边缘热力图，另一路经卷积模块的到人脸特征点热力图与人脸特征边缘热力图进行叠加通道数据，剩下的一路经卷积模块处理输出对人脸特征点热力图与人脸特征边缘热力图叠加后的通道数据进行补偿，然后通过softargmax模块处理得到人脸特征点坐标，以图片集真实的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标为监督信息，进行训练老师模型，经训练后的老师模型得到老师模型学习权值；冻结老师模型学习权值，人脸图片集在学生模型骨架内经卷积模块、mobilenetv2模块及mobilenetv2漏斗模块得到人脸特征数据，人脸特征数据经卷积模块一路经卷积模块的到人脸特征边缘热力图经distillation模块与老师模型输出的人脸特征边缘热力图进行知识蒸馏处理，同时与人脸图片集的人脸边缘热力图进行信息监督；经卷积模块输出，另一路经卷积模块的到人脸特征点热力图经distillation模块与老师模型输出的人脸特征点热力图进行知识蒸馏，同时与人脸图片集的人脸特征点热力图进行信息监督；人脸边缘热力图经过卷积进行通道膨胀与人脸特征点热力图进行叠加通道数据，剩下的一路经卷积模块处理输出对人脸特征点热力图与人脸特征边缘热力图叠加后的通道数据进行补偿，然后通过softargmax模块处理得到人脸特征点坐标，并以上述输出此作为监督信息，训练学生模型，根据训练后的学生模型得到学生模型学习权值；在摄像装置端获取包含人脸图片，进行人脸检测，获取人脸所在的区域，对人脸所在的区域进行裁剪和缩放得到人脸图像，使用部署在npu上的学生模型，通过学生模型的学习权值获取人脸特征点热力图，将人脸特征点热力图通过softargmax数据后处理获取人脸特征点坐标，然后对人脸特征点坐标还原成原图中人脸特征点坐标，完成人脸对齐。
9.作为本发明的一种优选方案，所述人脸图片集在老师模型骨架内经卷积模块、残差模块及残差漏斗模块得到人脸特征数据具体为：人脸图片集在老师模型骨架内经卷积模块、两残差模块及残差漏斗模块得到人脸特征数据。
10.作为本发明的一种优选方案，所述人脸图片集在学生模型骨架内经卷积模块、mobilenetv2模块及mobilenetv2漏斗模块得到人脸特征数据具体为：人脸图片集在学生模型骨架内经卷积模块、两mobilenetv2模块及mobilenetv2漏斗模块得到人脸特征数据。
11.作为本发明的一种优选方案，知识蒸馏过程可以表示为：其中，、、为预先确定的损失系数，为蒸馏评价函数，、、分别是老师模型输出的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标；学生模型训练过程的评价函数可以表示为：
其中，、、为预先确定的损失系数，为热力图损失函数，为特征点坐标损失函数;、、分别为图片集真实的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标。
12.作为本发明的一种优选方案，softargmax模块包括： scale模块、两个reshape模块、softmax模块和两卷积模块；scale模块，将人脸特征点热力图通过scale操作改变人脸特征点热力图的数据；reshape模块，将scale操作后的人脸特征点热力图通过reshape操作改变数据维度的人脸特征点热力图；softmax模块，对reshape操作后的人脸特征点热力图进行softmax函数数值处理操作；另一reshape模块，将softmax函数数值处理后的人脸特征点热力图进行reshape恢复为原来的数据维度的人脸特征点热力图；两卷积模块，将人脸特征点热力图分别进行卷积操作得到x、y坐标的人脸特征点坐标。
13.本发明的有益效果：本发明所述的一种人脸对齐方法及模型结构，其模型训练知识评价函数同时考虑人脸特征点热力图和人脸特征点坐标，使得评价函数与特征点坐标差异统一，更有利于模型训练收敛，进而提高了模型精度；学生模型通过人脸边缘热力图、人脸特征点热力图可以学习到老师模型输出的对齐特征信息，而人脸特征点坐标相当于人脸特征点热力图的编码，通过人脸特征点坐标可以学习到老师模型输出的特征结构信息，使得学生模型性能更好逼近老师模型，其学习和处理人脸对齐更为高效准确；将人脸对齐后处理方法转换成npu上计算的方法，使得模型在npu输出直接就是人脸特征点坐标，无需从npu搬运热图数据到cpu再进行后处理计算，从而克服热力图回归模型计算量大以及训练评价函数与特征点坐标差异不统一，数据后处理耗时高问题，进而提高了模型运行效率。
附图说明
14.图1为现有技术人脸对齐模型结构示意图；图2为本发明人脸对齐模型结构示意图；图3为本发明人脸对齐方法的流程示意图；图4为本发明人脸对齐基于数据集wflw测试实例图；图5为本发明各种人脸对齐模型在wflw数据库的测试精度示意图；图6为人脸对齐模型awing和在各种平台运行时间对比图；图7为人脸对齐模型后处理在各平台npu和cpu处理时间对比图。
具体实施方式
15.下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.本发明提供了一种人脸对齐模型结构，如图2所示，包括在服务器端在老师模型骨架内经卷积模块、残差模块及残差漏斗模块，在服务器端对学生模型进行训练，由老师模型骨架内的卷积模块和学生模型骨架内的卷积模块分别获取相同的人脸图片集；人脸图片集在老师模型骨架内经卷积模块、残差模块及残差漏斗模块得到人脸特征数据，人脸特征数据经残差模块一路经卷积模块的到人脸特征边缘热力图，另一路经卷积模块的到人脸特征点热力图与人脸特征边缘热力图进行叠加通道数据，剩下的一路经卷积模块处理输出对人脸特征点热力图与人脸特征边缘热力图叠加后的通道数据进行补偿，然后通过softargmax模块处理得到人脸特征点坐标，以图片集真实的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标为监督信息，进行训练老师模型，经训练后的老师模型得到老师模型学习权值；冻结老师模型学习权值，人脸图片集在学生模型骨架内经卷积模块、mobilenetv2模块及mobilenetv2漏斗模块得到人脸特征数据，人脸特征数据经卷积模块一路经卷积模块的到人脸特征边缘热力图经distillation模块与老师模型输出的人脸特征边缘热力图进行知识蒸馏处理，同时与人脸图片集的人脸边缘热力图进行信息监督；经卷积模块输出，另一路经卷积模块的到人脸特征点热力图经distillation模块与老师模型输出的人脸特征点热力图进行知识蒸馏，同时与人脸图片集的人脸特征点热力图进行信息监督；人脸边缘热力图经过卷积进行通道膨胀与人脸特征点热力图进行叠加通道数据，剩下的一路经卷积模块处理输出对人脸特征点热力图与人脸特征边缘热力图叠加后的通道数据进行补偿，然后通过softargmax模块处理得到人脸特征点坐标，并以上述输出此作为监督信息，训练学生模型，根据训练后的学生模型得到学生模型学习权值；在摄像装置端获取包含人脸图片，进行人脸检测，获取人脸所在的区域，对人脸所在的区域进行裁剪和缩放得到人脸图像，使用部署在npu上的学生模型，通过学生模型的学习权值获取人脸特征点热力图，将人脸特征点热力图通过softargmax数据后处理获取人脸特征点坐标，然后对人脸特征点坐标还原成原图中人脸特征点坐标，完成人脸对齐。
17.学生模型由骨架、模块head和后处理softargmax模块组成，其中骨架由卷积模块、mobilenetv2漏斗模块、两个mobilenetv2模块组成。输入图像尺寸为c
×w×
h，其中图像通道c为3，图像宽度w为256像素，图像高度h为256像素；经过一个卷积模块和两个mobilenetv2模块，得到数据块，其尺寸为24
×
64
×
64；然后数据块输入mobilenetv2漏斗模块得到数据块，其尺寸为152
×
64
×
64，则骨架b可以表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
其中为骨架的学习权值。
18.将数据块输入图2中的模块head中，在模块head中，先通过一个卷积模块将数据块进行融合得到数据块，其尺寸为152
×
64
×
64；然后将数据块输入三个支路a、b、c；支路a中数据块经过卷积模块生成人脸边缘热力图，尺寸为15
×
64
×
64，然后经过卷积模块进行通道膨胀得到数据块，尺寸为96
×
64
×
64；支路b中数据块经过卷积模块生成人脸特征点热力图, 尺寸为96
×
64
×
64;支路c中数据块经过卷积模块生成数据块，尺寸为64
×
64
×
64；则模块head可以表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中为模块head的学习权值；最后模型输出数据块为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）最后经过后处理操作softargmax计算得到特征点坐标：
ꢀꢀꢀꢀꢀ
（4）为了提高人脸对齐模型精度，学生模型训练中加入知识蒸馏方法，如图2所示；老师模型同样是由骨架和检测头head、后处理softargmax组成，其中老师模型骨架可以由卷积模块、两个残差模块及残差漏斗模块或unet或hrnet组成，检测头head与学生模型的检测头一样结构；其知识蒸馏过程，则分别对模型生成的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标进行知识蒸馏。、、分别是老师模型输出的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标，知识蒸馏过程可以表示为：（5）其中，、、为预先确定的损失系数，为蒸馏评价函数；其中，模型的监督信息为人脸边缘热力图、人脸特征点热力图以及人脸特征点；所
以，训练中的评价函数如式（6）所示；其中、、为预先确定的损失系数，为热力图损失函数，为特征点坐标损失函数;、、分别为图片集真实的脸边缘热力图、人脸特征点热力图以及人脸特征点；学生模型训练过程的评价函数可以表示为：（6）其中，、、为预先确定的损失系数，为热力图损失函数，为特征点坐标损失函数;、、分别为图片集真实的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标。
19.softargmax模块包括： scale模块、两个reshape模块、softmax模块和两卷积模块；scale模块，将人脸特征点热力图通过scale操作改变人脸特征点热力图的数据；reshape模块，将scale操作后的人脸特征点热力图通过reshape操作改变数据维度的人脸特征点热力图；softmax模块，对reshape操作后的人脸特征点热力图进行softmax函数数值处理操作；另一reshape模块，将softmax函数数值处理后的人脸特征点热力图进行reshape恢复为原来的数据维度的人脸特征点热力图；两卷积模块，将人脸特征点热力图分别进行卷积操作得到x、y坐标的人脸特征点坐标。
20.本发明提供了一种人脸对齐方法，如图3所示，包括以下步骤：在服务器端获取包含人脸图片集，并对该图片集进行仿射变换、翻转、旋转以及遮挡处理；使用深度学习框架，基于处理后的图片集，以图片集的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标为监督信息，训练老师模型，根据训练后的老师模型得到老师模型学习权值；冻结老师模型学习权值，使用深度学习框架，基于处理后的相同图片集，以学生模型输出的人脸边缘热力图、人脸特征点热力图、人脸特征点坐标和老师模型输出的人脸边缘热力图、人脸特征点热力图、人脸特征点坐标进行知识蒸馏，同时以图片集真实的人脸边缘热力图、人脸特征点热力图、人脸特征点坐标为监督信息，训练学生模型，根据训练后的学生模型得到学生模型学习权值；在摄像装置端获取包含人脸图片，进行人脸检测，获取人脸所在的区域，对人脸所在的区域进行裁剪和缩放得到人脸图像，使用部署在npu上的学生模型，通过学生模型的学习权值获取人脸特征点热力图，将人脸特征点热力图通过softargmax数据后处理获取人脸特征点坐标，然后对人脸特征点坐标还原成原图中人脸特征点坐标，完成人脸对齐。知识蒸
馏过程可以表示为：其中，、、为预先确定的损失系数，为蒸馏评价函数，、、分别是老师模型输出的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标。
21.其中，模型的监督信息为人脸边缘热力图、人脸特征点热力图以及人脸特征点；所以，训练中的评价函数如式下所示；其中、、为预先确定的损失系数，为热力图损失函数，为特征点坐标损失函数;、、分别为图片集真实的脸边缘热力图、人脸特征点热力图以及人脸特征点；学生模型训练过程的评价函数可以表示为：。
22.为了将softargmax模块部署在npu上，则将softargmax转换成npu可支持的操作，如图2检测框架所示：首先对数据块进行scale操作，如式（7）所示；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）对进行reshape操作，使其尺寸31
×
64
×
64变成31
×
4096；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）对最后一个维度进行softmax操作，如式（9）所示
ꢀꢀꢀꢀꢀꢀꢀꢀ
（9）对进行reshape操作，使其尺寸31
×
4096变成31
×
64
×
64；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（10）
对分别进行卷积操作，卷积核尺寸为64
×
64，权值为指定数值，无需训练，则就可以得到特征点坐标：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（11）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（12）对人脸对齐模型输出的特征点坐标进行变换，得到原图中人脸特征点坐标：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（13）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（14）。
23.图4为本发明人脸对齐基于数据集wflw测试实例；图5为各种人脸对齐模型在wflw数据库的测试精度，其中nme为标准化平均误差，定义为(15)其中和分为真实特征点坐标值以及模型预测的特征点坐标值，为每张人脸的特征点个数，为两眼的外眼角的距离；是表示本发明提出的人脸对齐模型；图6为人脸对齐模型awing和在各种平台运行时间对比；图7为人脸对齐模型后处理在各平台npu和cpu处理时间。
24.作为本发明优选的实施方案，在本说明书的描述中，参考术语“优选的”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
25.以上实施例仅用来说明本发明的详细方案，本发明并不局限于上述详细方案，即不意味着本发明必须依赖上述详细方案才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明产品各原料的等效替换及辅助成分的添加、具体方式的选择等，均落在本发明的保护范围和公开范围之内。

技术特征：
1.一种人脸对齐方法，其特征在于，包括以下步骤：在服务器端获取包含人脸图片集，并对该图片集进行仿射变换、翻转、旋转以及遮挡处理；使用深度学习框架，基于处理后的图片集，以图片集真实的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标为监督信息，训练老师模型，根据训练后的老师模型得到老师模型学习权值；冻结老师模型学习权值，使用深度学习框架，基于处理后的相同图片集，以学生模型输出的人脸边缘热力图、人脸特征点热力图、人脸特征点坐标和老师模型输出的人脸边缘热力图、人脸特征点热力图、人脸特征点坐标进行知识蒸馏，同时以图片集真实的人脸边缘热力图、人脸特征点热力图、人脸特征点坐标为监督信息，训练学生模型，根据训练后的学生模型得到学生模型学习权值；在摄像装置端获取包含人脸图片，进行人脸检测，获取人脸所在的区域，对人脸所在的区域进行裁剪和缩放得到人脸图像，使用部署在npu上的学生模型，通过学生模型的学习权值获取人脸特征点热力图，将人脸特征点热力图通过softargmax数据后处理获取人脸特征点坐标，然后对人脸特征点坐标还原成原图中人脸特征点坐标，完成人脸对齐。2.根据权利要求1所述人脸对齐方法，其特征在于，知识蒸馏过程可以表示为：其中， 、、为预先确定的损失系数，为蒸馏评价函数，、、分别是老师模型输出的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标；学生模型训练过程的评价函数可以表示为：其中，、、为预先确定的损失系数，为热力图损失函数，为特征点坐标损失函数;、、分别为图片集真实的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标。3.根据权利要求1所述人脸对齐方法，其特征在于，将人脸特征点热力图通过softargmax数据后处理获取人脸特征点坐标，将softargmax转换成npu的操作方法为：对人脸特征点热力图通过scale操作改变人脸特征点热力图的数据；将scale操作后的数据的人脸特征点热力图通过reshape操作改变数据分布的维度的人脸特征点热力图；对reshape操作后的人脸特征点热力图进行softmax函数操作；将softmax函数处理后的人脸特征点热力图进行reshape操作，让数据维度恢复之前的维度人脸特征点热力图；
最后，将恢复维度的人脸特征点热力图分别进行卷积操作得到x、y坐标的人脸特征点坐标。4.一种人脸对齐模型结构，其特征在于，包括：在服务器端对学生模型进行训练，老师模型和学生模型分别获取相同人脸图片集；人脸图片集在老师模型骨架内经卷积模块、残差模块及残差漏斗模块得到人脸特征数据，人脸特征数据经残差模块一路经卷积模块的到人脸特征边缘热力图，另一路经卷积模块的到人脸特征点热力图与人脸特征边缘热力图进行叠加通道数据，剩下的一路经卷积模块处理输出对人脸特征点热力图与人脸特征边缘热力图叠加后的通道数据进行补偿，然后通过softargmax模块处理得到人脸特征点坐标，以图片集真实的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标为监督信息，进行训练老师模型，经训练后的老师模型得到老师模型学习权值；冻结老师模型学习权值，人脸图片集在学生模型骨架内经卷积模块、mobilenetv2模块及mobilenetv2漏斗模块得到人脸特征数据，人脸特征数据经卷积模块一路经卷积模块的到人脸特征边缘热力图经distillation模块与老师模型输出的人脸特征边缘热力图进行知识蒸馏处理，同时与人脸图片集的人脸边缘热力图进行信息监督；经卷积模块输出，另一路经卷积模块的到人脸特征点热力图经distillation模块与老师模型输出的人脸特征点热力图进行知识蒸馏，同时与人脸图片集的人脸特征点热力图进行信息监督；人脸边缘热力图经过卷积进行通道膨胀与人脸特征点热力图进行叠加通道数据，剩下的一路经卷积模块处理输出对人脸特征点热力图与人脸特征边缘热力图叠加后的通道数据进行补偿，然后通过softargmax模块处理得到人脸特征点坐标，并以上述输出此作为监督信息，训练学生模型，根据训练后的学生模型得到学生模型学习权值；在摄像装置端获取包含人脸图片，进行人脸检测，获取人脸所在的区域，对人脸所在的区域进行裁剪和缩放得到人脸图像，使用部署在npu上的学生模型，通过学生模型的学习权值获取人脸特征点热力图，将人脸特征点热力图通过softargmax数据后处理获取人脸特征点坐标，然后对人脸特征点坐标还原成原图中人脸特征点坐标，完成人脸对齐。5.根据权利要求4所述人脸对齐模型结构，其特征在于，所述人脸图片集在老师模型骨架内经卷积模块、残差模块及残差漏斗模块得到人脸特征数据具体为：人脸图片集在老师模型骨架内经卷积模块、两残差模块及残差漏斗模块得到人脸特征数据。6.根据权利要求4所述的人脸对齐模型结构，其特征在于，所述人脸图片集在学生模型骨架内经卷积模块、mobilenetv2模块及mobilenetv2漏斗模块得到人脸特征数据具体为：人脸图片集在学生模型骨架内经卷积模块、两mobilenetv2模块及mobilenetv2漏斗模块得到人脸特征数据。7.根据权利要求4所述的人脸对齐模型结构，其特征在于，知识蒸馏过程可以表示为：其中， 、、为预先确定的损失系数，为蒸馏评价函数，、、分别是老师模型输出的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标；学生模
型训练过程的评价函数可以表示为：其中，、、为预先确定的损失系数，为热力图损失函数，为特征点坐标损失函数;、、分别为图片集真实的人脸边缘热力图、人脸特征点热力图以及人脸特征点坐标。8.根据权利要求4所述的人脸对齐模型结构，其特征在于，softargmax模块包括：scale模块、两个reshape模块、softmax模块和两卷积模块；scale模块，将人脸特征点热力图通过scale操作改变人脸特征点热力图的数据；reshape模块，将scale操作后的人脸特征点热力图通过reshape操作改变数据维度的人脸特征点热力图；softmax模块，对reshape操作后的人脸特征点热力图进行softmax函数数值处理操作；另一reshape模块，将softmax函数数值处理后的人脸特征点热力图进行reshape恢复为原来的数据维度的人脸特征点热力图；两卷积模块，将人脸特征点热力图分别进行卷积操作得到x、y坐标的人脸特征点坐标。

技术总结
本发明公开的一种人脸对齐方法，采用轻量化框架，降低模型计算量；人脸对齐模型训练评价函数同时考虑特征点热力图和特征点坐标，使得训练评价函数与特征点坐标差异统一；其中，训模型采用一种适用人脸对齐的知识蒸馏方法，得到的学生模型可以提高人脸对齐的精度；使用训练好学生模型进行人脸对齐时，采用一种将人脸对齐在CPU上数据后处理转化为NPU计算的方法，减少数据传输量和计算时间，从而克服热力图回归模型计算量大以及训练评价函数与特征点坐标差异不统一，数据后处理耗时高问题。数据后处理耗时高问题。数据后处理耗时高问题。


技术研发人员：林家平 王玲 石锡敏
受保护的技术使用者：广州敏视数码科技有限公司
技术研发日：2022.10.24
技术公布日：2023/1/6