基于毫米波雷达的舱内人员手势与身份联合识别方法
本发明涉及舱内人员手势与身份识别技术，尤其涉及一种基于毫米波雷达的舱内人员手势与身份联合识别方法。
背景技术：
1、为提高驾驶安全性、便利性以及增强个性化乘车体验，智能驾舱人机交互系统正在快速发展。其中，手势识别和身份认证技术是先进人机交互发展的两个重要方向。通过手势控制，驾驶员可以在不移开视线的情况下进行音量调节、曲目切换、电话接听等基本操作，从而提高驾驶的安全性。身份识别可以使汽车在驾驶员上车后，自动加载驾驶员及乘员的个性化设置，包括座椅位置、后视镜角度和导航常用地址等。
2、目前一些汽车已经开始搭载手势识别或身份识别技术。专利cn117666803a公开了一种车辆控制方法、装置、存储介质和车辆，通过摄像头进行视线追踪，结合手势识别进行车辆部件操控；专利“车内人员的身份识别方法、装置、车辆及储介质”通过摄像头采集人脸图像，识别身份信息；专利cn116912944a公开了一种手势识别区域的标定方法、手势识别方法、装置及车辆，基于摄像头实现车内身份识别以及手势识别。然而，摄像头容易受光线影响，并且存在隐私泄露风险。
技术实现思路
1、本发明的目的在于提供一种基于毫米波雷达的舱内人员手势与身份联合识别方法，在手势识别的基础上同步进行身份识别，两种识别任务共享特征表示，可减小前期部署中的资源消耗。
2、实现本发明目的的技术解决方案为：一种基于毫米波雷达的舱内人员手势与身份联合识别方法，包括：
3、步骤1、对采集的原始差频信号进行距离维fft得到一维距离-时间谱；
4、步骤2、对距离-时间谱进行杂波抑制处理；
5、步骤3、结合杂波抑制后的距离-时间谱和天线维构成的二维数据矩阵进行角谱估计得到手势识别和身份识别的时空特征信息；
6、步骤4、对杂波抑制后的距离-时间谱进行速度维fft，得到对应的距离-多普勒谱；
7、步骤5、对距离-多普勒谱进行恒虚警检测提取有效目标信息；
8、步骤6、将多帧距离-多普勒谱拼接得到手势微多普勒特征；
9、步骤7、将时空特征信息和手势微多普勒特征信息输入手势及身份识别联合识别网络，同时进行手势识别和身份识别。
10、进一步的，所述的杂波抑制处理，具体为：级联三个二脉冲对消器得到四脉冲对消器，利用四阶杂波对消器进行杂波抑制，其传递函数为：
11、h4(z)＝(1-z-1)3。
12、进一步的，所述的角谱估计，具体为：在水平和垂直两个维度进行雷达回波信号的角度特征提取，得到俯仰角-时间特征和水平角-时间特征。
13、进一步的，所述的恒虚警检测，具体为：基于一个确定的二维窗口，计算该窗口内所有随机变量的算术平均值，以自适应的方式估计局部环境和参考窗口内的时间相关噪声电平。
14、进一步的，所述的手势微多普勒特征，具体为：将每个距离单元对应的多普勒信息积累到距离维度上，并将非手势执行范围对应的距离单元的数据置零，通过对每帧数据执行上述处理以完成整段数据的手势微多普勒特征提取后按帧拼接起来。
15、进一步的，所述的手势及身份识别联合识别网络，具体包括：
16、步骤1：针对每组手势提取出的三组包含不同维度特征的三通道特征图像，首先进行尺寸的归一化，使用双线性插值法将图像统一为64×64的大小，作为网络模型输入；
17、步骤2：共享层中依次有三个阶段，每个阶段都由一个卷积层，一个批标准张量，一个relu激活函数层和一个最大池化层，其中共享层中包含的卷积层的三个核大小依次为7×7、5×5和3×3，池化层的三个窗口大小均为2×2，得到三组特征向量；
18、步骤3：所述三组特征向量通过concat层进行串行连接，形成多尺度特征融合后的特征向量，作为任务共享层的输出共享特征；
19、步骤4：所述共享特征进入任务特定层，该层包含每个任务上的三层全连接层；第一层全连接层输入为800维的特征向量，输出维度为64，第二层全连接层输入输出维度相同，第三层全连接层输入的特征向量维度为64，输出维度为7；每两个全连接层中间使用relu和dropout来增加非线性和防止过拟合；
20、步骤5：在全连接层后加入softmax层，用以输出对应于每个类别的概率分布。
21、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于毫米波雷达的舱内人员手势与身份联合识别方法。
22、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于毫米波雷达的舱内人员手势与身份联合识别方法。
23、一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的基于毫米波雷达的舱内人员手势与身份联合识别方法。
24、与现有技术相比，本发明的显著优点为：在特征提取方面，进行多维度手势特征提取，包括手势微多普勒特征、俯仰角-时间特征，水平角-时间特征，可以极大程度上保证结果的准确性。并且改进了现有的卷积神经网络，构建了联合识别任务网络，使用多任务共享特征作为输入，并在各自任务的特定层中得出识别结果，具有良好的泛化性能及稳健性，并能精准识别手势和身份信息。
25、下面结合附图对本发明作进一步详细描述。
技术特征：
1.一种基于毫米波雷达的舱内人员手势与身份联合识别方法，其特征在于，包括：
2.根据权利要求1所述的基于毫米波雷达的舱内人员手势与身份联合识别方法，其特征在于，所述的杂波抑制处理，具体为：级联三个二脉冲对消器得到四脉冲对消器，利用四阶杂波对消器进行杂波抑制，其传递函数为：
3.根据权利要求1所述的基于毫米波雷达的舱内人员手势与身份联合识别方法，其特征在于，所述的角谱估计，具体为：在水平和垂直两个维度进行雷达回波信号的角度特征提取，得到俯仰角-时间特征和水平角-时间特征。
4.根据权利要求1所述的基于毫米波雷达的舱内人员手势与身份联合识别方法，其特征在于，所述的恒虚警检测，具体为：基于一个确定的二维窗口，计算该窗口内所有随机变量的算术平均值，以自适应的方式估计局部环境和参考窗口内的时间相关噪声电平。
5.根据权利要求1所述的基于毫米波雷达的舱内人员手势与身份联合识别方法，其特征在于，所述的手势微多普勒特征，具体为：将每个距离单元对应的多普勒信息积累到距离维度上，并将非手势执行范围对应的距离单元的数据置零，通过对每帧数据执行上述处理以完成整段数据的手势微多普勒特征提取后按帧拼接起来。
6.根据权利要求1所述的基于毫米波雷达的舱内人员手势与身份联合识别方法，其特征在于，所述的手势及身份识别联合识别网络，具体包括：
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法的步骤。
9.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一所述方法的步骤。
技术总结
本发明公开了一种基于毫米波雷达的舱内人员手势与身份联合识别方法，在手势识别的同时实现身份识别，对于优化驾驶体验、提高驾驶安全性具有重要作用；所述方法包括：杂波抑制、恒虚警检测、特征提取和特征分类。其中，特征分类是基于手势及身份联合识别网络，通过输入提取的多维特征进行手势及身份的联合识别。本发明创新性地提出了一种手势识别及身份识别方法，整合了手势识别和身份识别两个任务之间的相关信息，显著提高了手势识别以及身份识别的准确性，提高了识别效率，有助于提高行车体验，增强行车安全。
技术研发人员：吴礼,王田昱,吴李梦,李佳玮,罗淳,杨文妍,彭树生
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/9/23