一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法

本发明涉及毫米波雷达，具体为一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法。

背景技术：

1、基于毫米波雷达的手势识别目前呈现出蓬勃的发展势头。谷歌公司推出的soli模块采用线性调频波发送，通过反射信号提取目标物体的多维度信息，成功应用于pixel手机，展示了在手机上进行手势识别的潜力。随后，eth zurich和google atap团队共同开源了deep-soli雷达手势数据集，该数据集规模较大，包含多种手势动作的一系列rdi。基于该数据集，团队提出了卷积神经网络(convolutional neural network，cnn)和长短时记忆网络(long short-term memory，lstm)的端到端网络结构，为毫米波雷达手势识别领域的研究奠定了基础。

2、在国内，多个研究团队也积极开展了基于毫米波雷达的手势识别研究。复旦大学研究团队基于毫米波雷达多通道数据融合进行微动手势研究，而重庆大学提出的latern手势识别系统取得了96％的准确率。东南大学国家移动通信研究实验室将基于毫米波雷达的手势识别应用于驾驶辅助系统。清华大学、格拉斯哥大学和伦敦大学的团队采用正方形阵列的雷达天线结构，通过微多普勒特征结合多通道的cnn进行6类手势的分类。电子科技大学的研究人员提出了一种基于lstm架构的端到端手势识别算法。这些研究成果反映了该领域的先进性和重要的应用价值。

3、在毫米波雷达系统中，存在能够直接处理i/q数据或多普勒频谱图的系统，但雷达产生的数据量对其来说是gigabytes per second(gbs)数量级。这使得在嵌入式设备上实时传输和处理成为一个挑战。通过对点云的直接处理成功地将数据规模从gbytes级别显著缩减到mbytes级别，为数据传输、预处理和推断过程带来了显著的改进。但大多数都基于常规的图像特征提取方法，无法直接应用于点云。因此，研究人员探索了针对点云形式的目标识别方法，该方法的最大挑战之一是处理非结构化表示。从间接表示转换方法开始，这些方法首先将点云转换为另一种表示(例如八叉树，kdtree)以缓解分析难度，最近的许多工作直接从原始点云中提取特征。qi等人提出的pointnet是直接处理三维点云的开创性模型，在逐点的基础上提取特征，使用置换不变池捕获全局特征。在此基础上，pointnet++在每个处理层中增加集合抽象模块，对相邻点进行采样和分组，以实现多尺度特征提取，更好地捕获局部特征。然而，pointnet和pointnet++方法专注于处理静态的三维点云数据，在实际场景中，尤其是在手势识别任务中，手势动作通常是具有时序性的动态过程。为了提取动态手势的特征，杨毅等人提出pointrnn及其变体pointgru和pointlstm，专门用于处理连续点云的时序信息。在保留空间结构的前提下实现信息从过去帧传播到未来帧的方法来对序列点云数据。尽管这些模型在动态手势识别等任务中取得了一定的成功，但点云的稀疏性仍然是一个挑战。以往的深度学习模型主要集中在序列结构和平面结构上，而点云的复杂图结构对其稀疏性更具鲁棒性。weijing shi等人提出了pointgnn用图作为一个点云的紧凑表示，图的边将位于固定半径内的邻域点连接起来，使得特征信息可以在邻域之间流动，保留了点云的不规则性。但相邻点之间的局部依赖性仍然受到人工经验的限制，需要不断尝试寻找合适的相邻半径r。此外，在半空中手势识别中，该方法未能充分捕捉时间特征。综上，研究人员在直接使用点云坐标进行识别中较为深入，但对模型的识别平均准确率太低的问题以及训练结果波动较大的问题还没有得到很好的解决。

4、对于实时的日常应用程序，y.kim等人使用的包括四个awr1243芯片的复杂雷达系统来创建192个通道为2d-cnn提供人点云信息。但昂贵的高分辨率雷达和复杂的信号处理要求准确的点云信息，增加了算法的复杂性和计算成本，未能考虑到系统的经济可行性。

5、综上所述的问题，为此，我们提出一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法。

技术实现思路

1、本发明的目的在于提供一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，解决了现有的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，包括：

4、步骤s1、构建毫米波雷达点云数据处理模型awa-gnn，并基于模型构建了一个实时手势识别系统p-gesture应用于人机交互；

5、步骤s2、模型通过自适应权重调节器更新图中顶点的相邻邻居并根据其与顶点的关系赋予不同的权重，迭代更新图上的顶点特征，并通过注意力机制捕获点云的几何结构和运动信息来提取点云空间特征，其中，图表示在很大程度上保持了点云的不规则性；

6、步骤s3、在提取时间序列特征方面，采用bi-gru来获取点云数据间的时间特征，使模型能够在每个时间步关注到与当前输出相关的输入部分；

7、步骤s4、通过融合空间和时间信息，模型能够更好地理解细粒度手势活动的本质特征；

8、步骤s5、通过自定义的sm状态机来优化部署p-gesture系统，使p-gesture对连续手势的理解类似于人类。

9、优选的，所述p-gesture是一种基于毫米波传感的手势识别技术，旨在实现实时手势识别，进行人机交互；

10、其中，p-gesture的实现分为两个部分：

11、在预运行阶段，从物联网设备收集数据，训练深度学习网络，在本地机器上对模型进行训练和优化，然后将模型部署到硬件；

12、在运行时阶段，雷达传感器与电脑配对，捕获和处理来自环境的流数据，将其发送到模型中进行识别，最后通过识别结果进行实际应用。

13、优选的，所述p-gesture的操作如下：

14、在数据输入模型之前使用固定长度的滑动窗口划分点，生成有序的手势数据，每个点代表一个手势的详细动态，即手部的位置、速度和反射强度；

15、将滑动窗口中的手势信息输入手势识别模块，该模块使用自定义的、经过事先训练的神经网络对手势进行鲁棒分类；

16、第三系统响应模块将分类手势传递给特定的应用程序，并执行相应的动作进行交互。

17、优选的，所述步骤s1中的awa-gnn模型由三个部分组成：

18、第一部分是初始化稀疏点云图；

19、第二部分基于自适应权重调节器的图神经网络；

20、第三部分获取时间特征模块；

21、最后将特征向量输入到softmax层进行手势分类。

22、优选的，所述稀疏点云图的初始化，具体包括：

23、将n点稀疏点云定义为集合p＝{p1，…，pn}，其中p＝{p1，…，pn}是空间坐标xi∈r3，状态值yi∈rk的点。在yi∈r7表示毫米波雷达测得的点的空间坐标、速度、距离(点与毫米波雷达的距离)、强度和方位角，给定集合p，初始化为全连通图g＝(p，e)，即：

24、e＝{eij＝(pi，pj)|i，j∈n，i≠j}   (1)

25、当时，初始邻接矩阵g为n×n的矩阵ij＝eij；为更好地捕捉点云数据的拓扑结构，在图创建的初始阶段通过张量广播和矩阵运算获得距离矩阵，将其作为点的初始权重赋入邻接矩阵。

26、优选的，所述自适应权重调节器的图神经网络，具体的包括：

27、在gnn中，经典的算法通过迭代更新节点的特征来进行图结构的学习。一般情况下，通过(2)、(3)迭代来更新顶点特征。

28、

29、其中et、vt是(t+1)迭代中的边和顶点特征。函数计算两个顶点之间的边缘特征；ρ(·)用于对每个顶点的边缘特征进行max或mean运算；wt(·)利用聚合的边缘特征更新顶点特征；gnn的输出是迭代后的顶点特征；采用point-gnn中更新顶点状态值的方法，如公式(4)、(5)所示：

30、

31、ft(·)计算每两个顶点之间的边的特征。通过自动注册机制根据顶点状态值生成的相对坐标的坐标偏移利用中心顶点迭代获得的结构特征来预测对齐偏移量。

32、优选的，在awa-gnn中提出一个新的函数wt(·)，根据边的特征信息来评估边在整个迭代过程中的贡献度；

33、at+1＝{aij＝aij+wt(eij)|aij+wt(eij)＞1，i≠j}             (6)

34、et+1＝{eij|aij＞1}                      (7)

35、在多层感知机(multi-layer perception，mlp)进行建模ft，gt，ht，wt，并在gt中增加添加跳跃连接；为了网络的稳定性，选择稳健的max函数为ρ(·)，由于at+1和et+1相关的函数都是不可微函数，参数t如果在训练中直接使用，将不会更新。

36、优选的，将awa-gnn的训练和测试过程分离开来，自适应权重调节器wt可以充分训练，提高推理速度，在训练时f(x)＝shs(x)将输入映射到[0，1]范围内实现的可导运算；

37、

38、其中offse为偏移量，slope为斜率，通过实验得其值分别为0.25、0.5；当的值趋于1时，说明邻居的重要性更高，需要保持甚至增强；当趋于0时，表示重要性较低，可以削弱或者删除，自适应的对邻居的权重进行调整，提出的图网络基础构架为：

39、

40、t设为3，并在最后一次迭代中，将新的节点状态值输入到共享的mlp中，扩展到适当的维度，使用max函数来聚合所有点的信息，引入注意力机制捕捉重要信息。

41、优选的，所述时间序列特征模块用于捕获数据帧间的时间序列特征。

42、选择gru网络作为双向循环结构的基本单元，第j个gru隐藏单元表述为

43、rtj＝fsigmoid(wrxt+urht-1)j   (14)

44、

45、优选的，使用gru作为双向循环结构的基本单元，使用bi-gru提取时间序列特征，bi-gru的输入输出关系表示为

46、

47、其中代表第t时刻通过上gru层的输出，代表第t时刻通过下gru层的输出。bi-gru的结构如图2所示。

48、与现有技术相比，本发明的有益效果如下：

49、本发明提出一种毫米波雷达点云数据处理模型awa-gnn，基于模型构建了一个实时手势识别系统p-gesture应用于人机交互，并验证其实用性。模型通过自适应权重调节器更新图中顶点的相邻邻居并根据其与顶点的关系赋予不同的权重，迭代更新图上的顶点特征，并通过注意力机制捕获点云的几何结构和运动信息来提取点云空间特征。其中，图表示在很大程度上保持了点云的不规则性。在提取时间序列特征方面，采用bi-gru来获取点云数据间的时间特征，使模型能够在每个时间步关注到与当前输出相关的输入部分。通过融合空间和时间信息，模型能够更好地理解细粒度手势活动的本质特征。最后，通过自定义的sm状态机来优化部署p-gesture系统，使p-gesture对连续手势的理解类似于人类。本文通过一个iwr1642 boost雷达传感器验证在无昂贵的高分辨率雷达的情况下，也无需依赖复杂且计算成本高昂的检测、聚类和关联算法来提取点云信息。与目前最先进的技术相比，p-gesture在两方面将基于mmwave传感的人机交互应用于实际:令人满意的手势识别精度，即使是在未知个体中；识别延迟较小，足以保证流畅的实时交互。此外，采集自建手势数据集，包含来自20多名志愿者的5万多个手势实例。本实验中使用的数据集在所提出模型的性能方面有所提升。

50、本发明设计了更适合稀疏点云的图神经网络模型(awa-gnn)处理点云数据，通过自适应权重调节器加强网络对图数据的拓扑结构和特征的捕捉能力。

51、本发明使用ti iwr1642毫米波雷达采集细粒度手势数据集，并部署p-gesture，实现实时的手势识别系统并验证其可实用性。

52、本发明设计了一种sm状态机，过滤掉未预定义的动作，自动分割连续的手势，优化实时手势识别系统。

技术特征：

1.一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，其特征在于，所述p-gesture是一种基于毫米波传感的手势识别技术，旨在实现实时手势识别，进行人机交互；

3.根据权利要求2所述的一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，其特征在于，所述p-gesture的操作如下：

4.根据权利要求1所述的一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，其特征在于，所述步骤s1中的awa-gnn模型由三个部分组成：

5.根据权利要求4所述的一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，其特征在于，所述稀疏点云图的初始化，具体包括：

6.根据权利要求4所述的一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，其特征在于，所述自适应权重调节器的图神经网络，具体的包括：

7.根据权利要求4所述的一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，其特征在于，在awa-gnn中提出一个新的函数wt(·)，根据边的特征信息来评估边在整个迭代过程中的贡献度；

8.根据权利要求4所述的一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，其特征在于，将awa-gnn的训练和测试过程分离开来，自适应权重调节器wt可以充分训练，提高推理速度，在训练时f(x)＝shs(x)将输入映射到[0，1]范围内实现的可导运算；

9.根据权利要求4所述的一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，其特征在于，所述时间序列特征模块用于捕获数据帧间的时间序列特征。

10.根据权利要求4所述的一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，其特征在于，使用gru作为双向循环结构的基本单元，使用bi-gru提取时间序列特征，bi-gru的输入输出关系表示为

技术总结
本发明公开了一种基于点图神经网络的毫米波雷达实时细粒度手势识别方法，包括：步骤S1、构建毫米波雷达点云数据处理模型Awa‑GNN，并基于模型构建了一个实时手势识别系统P‑Gesture应用于人机交互；步骤S2、模型通过自适应权重调节器更新图中顶点的相邻邻居并根据其与顶点的关系赋予不同的权重，迭代更新图上的顶点特征，并通过注意力机制捕获点云的几何结构和运动信息来提取点云空间特征。本发明通过一个IWR1642Boost雷达传感器验证在无昂贵的高分辨率雷达的情况下，也无需依赖复杂且计算成本高昂的检测、聚类和关联算法来提取点云信息，与目前最先进的技术相比，P‑Gesture在两方面将基于mmWave传感的人机交互应用于实际，识别延迟较小，足以保证流畅的实时交互。

技术研发人员：方娟,许勇,刘威,程雯,韩畅,包东曙,李城
受保护的技术使用者：安徽师范大学
技术研发日：
技术公布日：2024/9/23