基于运动传感器提高智能设备手势识别精度的误差补偿方法
基于运动传感器提高智能设备手势识别精度的误差补偿方法
【技术领域】
[0001] 本发明设及一种基于运动传感器提高智能设备手势识别精度的误差补偿方法，属 于人机交互技术。
【背景技术】
[0002] 手势作为一种新型的、自然的人机交互方式得到了广泛的研究，已经逐渐应用于 手持移动设备和远程控制领域。目前存在两种方式的手势识别技术；基于图像的手势识别 和基于传感器的手势识别技术。前者发展成熟、算法识别成功率高，但是受光线和背景等外 部条件的影响比较大，而后者仅和手势的移动相关，基本不受外界条件的影响。目前智能手 机功能强大，不仅包括通信模块，还包括加速度传感器、巧螺仪、光线传感器等，该也为利用 加速度传感器和巧螺仪进行手势识别提供了可能。
[0003] 基于传感器的手势识别步骤一般包括手机坐标系和导航坐标系的变换、再对变换 到导航坐标系中的加速度值进行两次积分得到=维轨迹，最后，将=维轨迹转换到二维平 面中实现手势的还原。而坐标变换和轨迹还原的精度从本质上说与测得的角速度和加速度 都有关系，由于传感器存在确定性误差和随机误差，通过积分的累积效应，误差会随着时间 的增长而变大，从而影响识别的精确度。通过对误差传播模型的分析，可W得到W下结论： 姿态误差主要是由巧螺仪误差和初始校准时的欧拉角引起的；位置误差和速度误差主要由 导航坐标系下的加速度误差Aa"引起。
[0004] 下面结合现有技术中较有代表性的两种手势识别方法对现有技术及其存在的问 题加W说明。
[0005]方法一
[0006] 文献[1]中的方案是基于DTW值ynamicTimeWa巧ing，动态时间规整）的手势识 别方案，由=个阶段组成，手势准备阶段、手势训练阶段和手势识别阶段。手势准备阶段利 用手势采集算法提取出有效的手势加速度数据，然后对采集的原始数据进行预处理，包括 失真补偿、转换坐标系、重采样、平滑滤波和归一化等，使数据格式规整、统一；手势训练阶 段采用DTW算法计算训练样本间的相似度，再利用AP(亲和传播聚类）算法提取手势模版； 手势识别阶段采用DTW对待识别手势和手势模版进行匹配计算，通过二者的相似度筛选手 势聚类，重构字典；采用快速傅立叶变换FFT估算待识别手势稀疏度，在重构字典基础上， 利用一种MSAMP(改进的稀疏度自适应匹配追踪）对待识别手势进行稀疏重构；根据重构结 果的逼近误差特征，对待识别的手势进行分类。
[0007] 方法一存在如下缺点：
[0008] 1、基于DTW(动态模版匹配）的手势识别方法中关键是建立手势模板数据，因为该 直接影响算法对个体差异的适应性和识别的准确率。而手势数据模板是由训练样本得到 的，训练阶段所选样本数据和样本的大小决定了匹配模版的准确率。由于训练样本只是部 分用户数据，难W建立实用性广泛的手势模版，该就导致算法识别准确率低、个体差异适应 性差的特点。而且，需要对所有的模板进行匹配，计算量大，随着手势数目的增加，其算法的 实时性会大大降低。
[0009] 2、基于DTW手势识别方法中，只使用了加速度传感器的输出值，无法获取设备的 姿态信息，该样，手势操作就只能在限定的设备姿态下进行，大大降低了用户体验和识别的 准确率。
[0010] 方法二
[0011] 文献巧]中给出了一种智能设备轨迹还原的方法。包含运动检测、误差补偿和轨 迹的重建S个步骤，在误差补偿阶段采用ZVC(ZeroVelocityCompensation,零速度补偿） 方法对欧拉角和加速度进行修正。该方法的框图如图1所示，具体步骤如下：
[0012] 1、运动检测阶段采用S轴加速度标准差（式2)的平均值（式1)与设定的阔值进 行比较来表示抖动的剧烈程度。当标准差的平均值大于阔值时，为运动状态。
【主权项】
1. 一种基于运动传感器提高智能设备手势识别精度的误差补偿方法，其特征在于：同 时使用加速度传感器和陀螺仪进行手势识别，具体包括如下步骤： (1) 运动检测阶段：基于自适应阈值的方法对滤波后的手势信号进行分段，以确定手 势起点和手势终点，即：当去除重力加速度后的加速度幅值和角速度幅值中任意一个大于 起点设置的门限时，确定对应时刻为手势起点；当去除重力加速度后的加速度幅值和角速 度幅值均小于终点设置的门限时，确定对应时刻为手势终点；同时，为了有效减少因抖动而 造成的误检测，引入超时机制以去除误动作；具体执行过程如下： 对于加速度传感器和陀螺仪检测到的原始采样信号，先通过低通滤波器滤除高频分 量，接着进行如下计算：使用<、乂、<分别表示加速度传感器在第n个采样点上的Χ、γ、 Z轴上的加速度值，使用 <、>：、<分别表示陀螺仪在第η个采样点上的Χ、Υ、Ζ轴上的角 速度值，计算：
其中，g表示重力加速度，Ra(η)表示第η个采样点上去除重力加速度的加速度幅值， Rw(η)表示第η个采样点上的角速度幅值；进行如下判断： ① 若Ra(M)> δ thl，M = ηρ?^+Ι-?+Ν，则判断采样点化为加速度起点；若RW(M)> δ th2， M = IIl1, 则判断采样点叫为角速度起点；在此引入超时机制，判断在检测到加 速度起点/角速度起点后的一定时长^内，是否检测到角速度起点/加速度起点，若检测 到，则确定手势起点的坐标为A = minOi1, Iii1);其中，N = 5 ; ② 若Ra (M)〈 δ thl，M = n2, n2+l…，n2+N，则判断采样点巧为加速度终点；若Rw(M)〈 δ th2,M =m2, m2+l···，m2+N，则判断采样点m2为角速度终点；确定手势终点的坐标为B = max(n2, m2); 其中，N = 5 ; 以、~t i时段表示运动前的静止时段，计算该静止时段的所有采样点的加速度平均值 瓦和角速度平均值元，同时设定系数Kt，定义加速度阈值δ thl和角速度阈值δ th2分别为：
(2) 手势的三维空间轨迹重建阶段：对于加速度传感器和陀螺仪检测到的原始采样信 号，先通过低通滤波器滤除高频分量，接着进行如下计算：对经过低通滤波器滤波后的原始 采样信号先进行坐标转换，然后对坐标转换后的加速度值进行前段补偿和后段补偿，接着 对补偿后的加速度值进行积分以得到速度，最后对速度进行后段补偿，最终积分获得手势 的三维空间轨迹；具体执行过程如下： 以12时段表示运动时段，以12~t md时段表示运动后的静止时段，将t时刻的原 始加速度值进行坐标转换后得到an(t)，以孓表示、~t i时段内加速度a n(t)的平均值， 以^表示t2~t md时段内加速度a n(t)的平均值； 对31〇进行前段补偿后得到P(〇d^an(t)进行后段补偿后得到
对补偿后的速度进行积分从而还原手势的三维空间轨迹。
2.根据权利要求1所述的基于运动传感器提高智能设备手势识别精度的误差补偿方 法，其特征在于：所述运动检测阶段的具体执行过程如下： (101) 对于加速度传感器和陀螺仪检测到的原始采样信号，先通过低通滤波器滤除高 频分量，接着进行如下计算：对于当前采样点，计算去除重力加速度的加速度幅值R a(M)和 角速度幅值Rw (M)，执行步骤（102); (102) 若Ra(M) > δ thl，则当前采样点为加速度起点，执行步骤（103);若Rw(M) > δ th2，则 当前采样点为角速度起点，执行步骤（105);若Ra(M)〈 δ thl，则当前采样点为加速度终点，执 行步骤（108);若Rw (M)〈 Sth2，则当前采样点为角速度终点，执行步骤（109); (103) 加速度起点后的。时长内是否检测到角速度起点：若检测到，则执行步骤 (104);否则，执行步骤（107); (104) 将加速度起点确定为手势起点，执行步骤（111); (105) 角速度起点后的。时长内是否检测到加速度起点：若检测到，则执行步骤 (106);否则，执行步骤（107); (106) 将角速度起点确定为手势起点，执行步骤（111); (107) 判断当前采样点为误动作，执行步骤（111); (108) 判断当前节点是否同时为角速度终点：若是，则执行步骤（110);否则，执行步骤 (111); (109) 判断当前节点是否同时为加速度终点：若是，则执行步骤（110);否则，执行步骤 (111)； (110) 将当前采样点确定为手势终点，执行步骤（111); (111) 采集下一个采样点，返回步骤（101)。
【专利摘要】本发明公开了一种基于运动传感器提高智能设备手势识别精度的误差补偿方法，通过同时使用加速度传感器和陀螺仪，提高识别准确率和用户体验。在运动检测中，针对现有方案中计算量大，每个手势的测量值由于用户个体的差异而有所区别的问题，本发明采用一种基于自适应阈值的方法来对滤波后的手势信号进行分段，确定手势的起点和终点。在加速度误差补偿阶段，对经过坐标转换的加速度值进行误差补偿，从而减小加速度的零位移偏差对手势识别精度的影响。
【IPC分类】G06F3-0346, G06F3-01
【公开号】CN104866099
【申请号】CN201510278151
【发明人】徐平平, 杨璐纯
【申请人】东南大学
【公开日】2015年8月26日
【申请日】2015年5月27日
【技术领域】
[0001] 本发明设及一种基于运动传感器提高智能设备手势识别精度的误差补偿方法，属 于人机交互技术。
【背景技术】
[0002] 手势作为一种新型的、自然的人机交互方式得到了广泛的研究，已经逐渐应用于 手持移动设备和远程控制领域。目前存在两种方式的手势识别技术；基于图像的手势识别 和基于传感器的手势识别技术。前者发展成熟、算法识别成功率高，但是受光线和背景等外 部条件的影响比较大，而后者仅和手势的移动相关，基本不受外界条件的影响。目前智能手 机功能强大，不仅包括通信模块，还包括加速度传感器、巧螺仪、光线传感器等，该也为利用 加速度传感器和巧螺仪进行手势识别提供了可能。
[0003] 基于传感器的手势识别步骤一般包括手机坐标系和导航坐标系的变换、再对变换 到导航坐标系中的加速度值进行两次积分得到=维轨迹，最后，将=维轨迹转换到二维平 面中实现手势的还原。而坐标变换和轨迹还原的精度从本质上说与测得的角速度和加速度 都有关系，由于传感器存在确定性误差和随机误差，通过积分的累积效应，误差会随着时间 的增长而变大，从而影响识别的精确度。通过对误差传播模型的分析，可W得到W下结论： 姿态误差主要是由巧螺仪误差和初始校准时的欧拉角引起的；位置误差和速度误差主要由 导航坐标系下的加速度误差Aa"引起。
[0004] 下面结合现有技术中较有代表性的两种手势识别方法对现有技术及其存在的问 题加W说明。
[0005]方法一
[0006] 文献[1]中的方案是基于DTW值ynamicTimeWa巧ing，动态时间规整）的手势识 别方案，由=个阶段组成，手势准备阶段、手势训练阶段和手势识别阶段。手势准备阶段利 用手势采集算法提取出有效的手势加速度数据，然后对采集的原始数据进行预处理，包括 失真补偿、转换坐标系、重采样、平滑滤波和归一化等，使数据格式规整、统一；手势训练阶 段采用DTW算法计算训练样本间的相似度，再利用AP(亲和传播聚类）算法提取手势模版； 手势识别阶段采用DTW对待识别手势和手势模版进行匹配计算，通过二者的相似度筛选手 势聚类，重构字典；采用快速傅立叶变换FFT估算待识别手势稀疏度，在重构字典基础上， 利用一种MSAMP(改进的稀疏度自适应匹配追踪）对待识别手势进行稀疏重构；根据重构结 果的逼近误差特征，对待识别的手势进行分类。
[0007] 方法一存在如下缺点：
[0008] 1、基于DTW(动态模版匹配）的手势识别方法中关键是建立手势模板数据，因为该 直接影响算法对个体差异的适应性和识别的准确率。而手势数据模板是由训练样本得到 的，训练阶段所选样本数据和样本的大小决定了匹配模版的准确率。由于训练样本只是部 分用户数据，难W建立实用性广泛的手势模版，该就导致算法识别准确率低、个体差异适应 性差的特点。而且，需要对所有的模板进行匹配，计算量大，随着手势数目的增加，其算法的 实时性会大大降低。
[0009] 2、基于DTW手势识别方法中，只使用了加速度传感器的输出值，无法获取设备的 姿态信息，该样，手势操作就只能在限定的设备姿态下进行，大大降低了用户体验和识别的 准确率。
[0010] 方法二
[0011] 文献巧]中给出了一种智能设备轨迹还原的方法。包含运动检测、误差补偿和轨 迹的重建S个步骤，在误差补偿阶段采用ZVC(ZeroVelocityCompensation,零速度补偿） 方法对欧拉角和加速度进行修正。该方法的框图如图1所示，具体步骤如下：
[0012] 1、运动检测阶段采用S轴加速度标准差（式2)的平均值（式1)与设定的阔值进 行比较来表示抖动的剧烈程度。当标准差的平均值大于阔值时，为运动状态。
【主权项】
1. 一种基于运动传感器提高智能设备手势识别精度的误差补偿方法，其特征在于：同 时使用加速度传感器和陀螺仪进行手势识别，具体包括如下步骤： (1) 运动检测阶段：基于自适应阈值的方法对滤波后的手势信号进行分段，以确定手 势起点和手势终点，即：当去除重力加速度后的加速度幅值和角速度幅值中任意一个大于 起点设置的门限时，确定对应时刻为手势起点；当去除重力加速度后的加速度幅值和角速 度幅值均小于终点设置的门限时，确定对应时刻为手势终点；同时，为了有效减少因抖动而 造成的误检测，引入超时机制以去除误动作；具体执行过程如下： 对于加速度传感器和陀螺仪检测到的原始采样信号，先通过低通滤波器滤除高频分 量，接着进行如下计算：使用<、乂、<分别表示加速度传感器在第n个采样点上的Χ、γ、 Z轴上的加速度值，使用 <、>：、<分别表示陀螺仪在第η个采样点上的Χ、Υ、Ζ轴上的角 速度值，计算：
其中，g表示重力加速度，Ra(η)表示第η个采样点上去除重力加速度的加速度幅值， Rw(η)表示第η个采样点上的角速度幅值；进行如下判断： ① 若Ra(M)> δ thl，M = ηρ?^+Ι-?+Ν，则判断采样点化为加速度起点；若RW(M)> δ th2， M = IIl1, 则判断采样点叫为角速度起点；在此引入超时机制，判断在检测到加 速度起点/角速度起点后的一定时长^内，是否检测到角速度起点/加速度起点，若检测 到，则确定手势起点的坐标为A = minOi1, Iii1);其中，N = 5 ; ② 若Ra (M)〈 δ thl，M = n2, n2+l…，n2+N，则判断采样点巧为加速度终点；若Rw(M)〈 δ th2,M =m2, m2+l···，m2+N，则判断采样点m2为角速度终点；确定手势终点的坐标为B = max(n2, m2); 其中，N = 5 ; 以、~t i时段表示运动前的静止时段，计算该静止时段的所有采样点的加速度平均值 瓦和角速度平均值元，同时设定系数Kt，定义加速度阈值δ thl和角速度阈值δ th2分别为：
(2) 手势的三维空间轨迹重建阶段：对于加速度传感器和陀螺仪检测到的原始采样信 号，先通过低通滤波器滤除高频分量，接着进行如下计算：对经过低通滤波器滤波后的原始 采样信号先进行坐标转换，然后对坐标转换后的加速度值进行前段补偿和后段补偿，接着 对补偿后的加速度值进行积分以得到速度，最后对速度进行后段补偿，最终积分获得手势 的三维空间轨迹；具体执行过程如下： 以12时段表示运动时段，以12~t md时段表示运动后的静止时段，将t时刻的原 始加速度值进行坐标转换后得到an(t)，以孓表示、~t i时段内加速度a n(t)的平均值， 以^表示t2~t md时段内加速度a n(t)的平均值； 对31〇进行前段补偿后得到P(〇d^an(t)进行后段补偿后得到
对补偿后的速度进行积分从而还原手势的三维空间轨迹。
2.根据权利要求1所述的基于运动传感器提高智能设备手势识别精度的误差补偿方 法，其特征在于：所述运动检测阶段的具体执行过程如下： (101) 对于加速度传感器和陀螺仪检测到的原始采样信号，先通过低通滤波器滤除高 频分量，接着进行如下计算：对于当前采样点，计算去除重力加速度的加速度幅值R a(M)和 角速度幅值Rw (M)，执行步骤（102); (102) 若Ra(M) > δ thl，则当前采样点为加速度起点，执行步骤（103);若Rw(M) > δ th2，则 当前采样点为角速度起点，执行步骤（105);若Ra(M)〈 δ thl，则当前采样点为加速度终点，执 行步骤（108);若Rw (M)〈 Sth2，则当前采样点为角速度终点，执行步骤（109); (103) 加速度起点后的。时长内是否检测到角速度起点：若检测到，则执行步骤 (104);否则，执行步骤（107); (104) 将加速度起点确定为手势起点，执行步骤（111); (105) 角速度起点后的。时长内是否检测到加速度起点：若检测到，则执行步骤 (106);否则，执行步骤（107); (106) 将角速度起点确定为手势起点，执行步骤（111); (107) 判断当前采样点为误动作，执行步骤（111); (108) 判断当前节点是否同时为角速度终点：若是，则执行步骤（110);否则，执行步骤 (111); (109) 判断当前节点是否同时为加速度终点：若是，则执行步骤（110);否则，执行步骤 (111)； (110) 将当前采样点确定为手势终点，执行步骤（111); (111) 采集下一个采样点，返回步骤（101)。
【专利摘要】本发明公开了一种基于运动传感器提高智能设备手势识别精度的误差补偿方法，通过同时使用加速度传感器和陀螺仪，提高识别准确率和用户体验。在运动检测中，针对现有方案中计算量大，每个手势的测量值由于用户个体的差异而有所区别的问题，本发明采用一种基于自适应阈值的方法来对滤波后的手势信号进行分段，确定手势的起点和终点。在加速度误差补偿阶段，对经过坐标转换的加速度值进行误差补偿，从而减小加速度的零位移偏差对手势识别精度的影响。
【IPC分类】G06F3-0346, G06F3-01
【公开号】CN104866099
【申请号】CN201510278151
【发明人】徐平平, 杨璐纯
【申请人】东南大学
【公开日】2015年8月26日
【申请日】2015年5月27日
最新回复(0)