一种基于可穿戴设备的唇语识别方法及系统的制作方法
一种基于可穿戴设备的唇语识别方法及系统的制作方法
【技术领域】
[0001]本发明涉及移动通信技术领域，尤其涉及一种基于可穿戴设备的唇语识别方法及系统。
【背景技术】
[0002]人类的语言认知过程是一个多通道的感知过程。除声音信息通道外，唇动视觉信息可以作为一种语音理解源。作为人机交互的一部分，视觉语言具有许多现在的应用，因此通过机器的自动唇语识别技术成为备受关注的研究领域。
[0003]近年来，国内外对于唇语识别都有相应的研究，并且在一些关键技术上取得了一些突破，但是尚不能与语音识别进行融合且有效地改善识别率。在现有的技术中，主要是基于二维图像处理以提取嘴唇的二维轮廓信息，但是嘴唇的二维轮廓信息所能够表达的特征信息有限，多数词语发音的二位轮廓信息重叠，导致识别能力有限。
[0004]此外，由于无线探测识别技术，包括运动检测、手势识别、定位、材料分类等的提高，通过检测和分析信号的反射，无线探测识别技术可发现穿墙运动和识别人的手势。但是对与用户说话的识别，只是通过声学传感器或者摄像头装置来实现，这种方法的系统布置代价高、局限大，而且会出现延迟。
【发明内容】
[0005]本发明的目的在于克服现有技术的不足，本发明提供了一种基于可穿戴设备的唇语识别方法及系统，通过可穿戴设备可以随时随地快速准确的识别应的唇语。
[0006]为了解决上述技术问题，本发明提供了一种基于可穿戴设备的唇语识别方法，所述方法包括:
[0007]向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；
[0008]对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息；
[0009]对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征；
[0010]比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。
[0011 ]优选地，所述向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息，包括:
[0012]旋转结构光投射器向所述用户的面部投射结构光，获取最优投射角度；
[0013]根据所述最优投射角度投射结构光，所述结构光接收器接收完整的面部反射的结构光信息。
[0014]优选地，所述对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息，包括:
[0015]对所述面板反射的结构信息进行高通滤波和低通滤波过滤处理，除去所述面部反射的结构信息噪声，获取降噪后的面部反射结构光信息；
[0016]通过对所述用户脸部进行区域定位，获取所述用户的嘴部位置的降噪后的嘴部反射结构光信息。
[0017]优选地，所述对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，包括:
[0018]采用小波变换算法，获取，所述对所述嘴部反射的结构光信息的波形变换情况；
[0019]根据所述波形变换情况，以波形的变换周期对所述嘴部反射的结构光信息进行分段，获取分段结构光信息。
[0020]优选地，所述比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，包括:
[0021]采用最小二乘法计算所述分段结构光信息的三维模型特征与所述样本三维模型特征的相似度。
[0022]本发明还提供了一种基于可穿戴设备的唇语识别系统，所述系统包括:
[0023]投射接收模块:用于向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；
[0024]处理模块:用于对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息；
[0025]特征提取模块:用于对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征；
[0026]相似度对比模块:用于比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。
[0027]优选地，所述投射接收模块包括:
[0028]角度旋转单元:用于旋转结构光投射器向所述用户的面部投射结构光，获取最优投射角度；
[0029]投射接收单元:用于根据所述最优投射角度投射结构光，所述结构光接收器接收完整的面部反射的结构光信息。
[0030]优选地，所述处理模块包括:
[0031]降噪单元:用于对所述面板反射的结构信息进行高通滤波和低通滤波过滤处理，除去所述面部反射的结构信息噪声，获取降噪后的面部反射结构光信息；
[0032]定位单元:用于通过对所述用户脸部进行区域定位，获取所述用户的嘴部位置的降噪后的嘴部反射结构光信息。
[0033]优选地，所述对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，包括:
[0034]采用小波变换算法，获取，所述对所述嘴部反射的结构光信息的波形变换情况；
[0035]根据所述波形变换情况，以波形的变换周期对所述对所述嘴部反射的结构光信息进行分段，获取分段结构光信息。
[0036]优选地，所述比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，包括:
[0037]采用最小二乘法计算所述分段结构光信息的三维模型特征与所述样本三维模型特征的相似度。
[0038]本发明实施例是基于可穿戴设备上实现的，可快捷、准确的获取到用户唇语的文字信息或语音信息。
【附图说明】
[0039]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0040]图1是本发明实施例中的基于可穿戴设备的唇语识别方法的方法流程示意图；
[0041]图2是本发明实施例中的基于可穿戴设备的唇语识别系统的结构组成示意图。
【具体实施方式】
[0042]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]本发明实施例提供了一种基于可穿戴设备的唇语识别方法，向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息;对面部反射的结构信息进行过滤处理，获取用户嘴部运动时的嘴部反射的结构光信息;对嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取分段结构光信息的三维模型特征；比较分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息;可快捷、准确的获取到用户唇语的文字信息或语音信息。
[0044]图1是本发明实施例中的基于可穿戴设备的唇语识别方法的方法流程示意图，如图1所示，该方法包括:
[0045]S11:向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；
[0046]S12:对面部反射的结构信息进行过滤处理，获取用户嘴部运动时的嘴部反射的结构光信息；
[0047]S13:对嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取分段结构光信息的三维模型特征；
[0048]S14:比较分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。
[0049]对S11作进一步说明:
[0050]通过结构光投射器向用户的面部投射结构光，并且不断的旋转结构光投射器来改变投射结构光的角度，从而获取到最优的投射结构光的投射角度;根据最优的投射角度投射结构光，使得结构光接收器能够完整的接收到面部反射回来的结构光信息。
[0051 ] 对S12作进一步说明:
[0052]将结构光接收器接收回来的结构光信息分别进行高通滤波和低通滤波过滤处理，这样可以除去接收到的面部反射的结构光信息中的大部分噪声，使得面部反射的结构光信息中的剩下的噪声不会对后续的处理产生影响；
[0053]通过用户的面部进行区域分割，根据分割出来的区域来确定用户的嘴部位置，然后提取用户嘴部位置的反 射结构光信息。
[0054]对S13作进一步说明:
[0055]对提取的嘴部位置的反射结构光信息进行小波变换算法处理，获取结构光信息的波形变化情况，并根据变化情况以波形的变化周期作为分割点对结构光信息进行分段，获取分段结构光信息；
[0056]根据获取到的分段结构光信息，逆向构建出用户嘴部三维模型，根据这个三维模型提取用户的三维模型特征。
[0057]对S14作进一步说明:
[0058]采用最小二乘法计算分段结构光信息的三维模型特征与样本中的三维模型特征的相似度，并且将计算得到的相似度做一个排序，提取相似度最高的样本三维模型特征作为该段结构光相匹配的信息，获取相似度最高的样本三维模型特征所对应的文字信息或语音信息。
[0059]图2是本发明实施例中的基于可穿戴设备的唇语识别系统的结构组成示意图，如图2所示，本发明实施例还提供了一种基于可穿戴设备的唇语识别系统，该系统包括:
[0060]投射接收模块:用于向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；
[0061]处理模块:用于对面部反射的结构信息进行过滤处理，获取用户嘴部运动时的嘴部反射的结构光信息；
[0062]特征提取模块:用于对嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取分段结构光信息的三维模型特征；
[0063]相似度对比模块:用于比较分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。
[0064]优选地，投射接收模块包括:
[0065]角度旋转单元:用于旋转结构光投射器向用户的面部投射结构光，获取最优投射角度；
[0066]投射接收单元:用于根据最优投射角度投射结构光，结构光接收器接收完整的面部反射的结构光信息。
[0067]优选地，处理模块包括:
[0068]降噪单元:用于对面板反射的结构信息进行高通滤波和低通滤波过滤处理，除去面部反射的结构信息噪声，获取降噪后的面部反射结构光信息；
[0069]定位单元:用于通过对用户脸部进行区域定位，获取用户的嘴部位置的降噪后的嘴部反射结构光信息。
[0070]优选地，对嘴部反射的结构光信息进行分段，获取分段结构光信息，包括:
[0071]采用小波变换算法，获取，对嘴部反射的结构光信息的波形变换情况；
[0072]根据波形变换情况，以波形的变换周期对嘴部反射的结构光信息进行分段，获取分段结构光信息。
[0073]优选地，比较分段结构光信息的三维模型特征与样本三维模型特征的相似度，包括:
[0074]采用最小二乘法计算分段结构光信息的三维模型特征与样本三维模型特征的相似度。
[0075]具体地，本发明实施例的系统相关功能模块的工作原理可参见方法实施例的相关描述，这里不再赘述。
[0076]本发明实施例是基于可穿戴设备上实现的，可快捷、准确的获取到用户唇语的文字信息或语音信息。
[0077]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括:只读存储器(R0M，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
[0078]另外，以上对本发明实施例所提供的一种基于可穿戴设备的唇语识别方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【主权项】
1.一种基于可穿戴设备的唇语识别方法，其特征在于，所述方法包括: 向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息； 对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息； 对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征； 比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。2.根据权利要求1所述的唇语识别方法，其特征在于，所述向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息，包括: 旋转结构光投射器向所述用户的面部投射结构光，获取最优投射角度； 根据所述最优投射角度投射结构光，所述结构光接收器接收完整的面部反射的结构光?目息。3.根据权利要求1所述的唇语识别方法，其特征在于，所述对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息，包括: 对所述面板反射的结构信息进行高通滤波和低通滤波过滤处理，除去所述面部反射的结构信息噪声，获取降噪后的面部反射结构光信息； 通过对所述用户脸部进行区域定位，获取所述用户的嘴部位置的降噪后的嘴部反射结构光信息。4.根据权利要求1所述的唇语识别方法，其特征在于，所述对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，包括: 采用小波变换算法，获取所述对所述嘴部反射的结构光信息的波形变换情况； 根据所述波形变换情况，以波形的变换周期对所述嘴部反射的结构光信息进行分段，获取分段结构光信息。5.根据权利要求1所述的唇语识别方法，其特征在于，所述比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，包括: 采用最小二乘法计算所述分段结构光信息的三维模型特征与所述样本三维模型特征的相似度。6.—种基于可穿戴设备的唇语识别系统，其特征在于，所述系统包括: 投射接收模块:用于向用户面部投射结构光，通过结构光接收器获取面部反射的结构光?目息; 处理模块:用于对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息； 特征提取模块:用于对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征； 相似度对比模块:用于比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。7.根据权利要求6所述的唇语识别系统，其特征在于，所述投射接收模块包括: 角度旋转单元:用于旋转结构光投射器向所述用户的面部投射结构光，获取最优投射角度； 投射接收单元:用于根据所述最优投射角度投射结构光，所述结构光接收器接收完整的面部反射的结构光信息。8.根据权利要求6所述的唇语识别系统，其特征在于，所述处理模块包括: 降噪单元:用于对所述面板反射的结构信息进行高通滤波和低通滤波过滤处理，除去所述面部反射的结构信息噪声，获取降噪后的面部反射结构光信息； 定位单元:用于通过对所述用户脸部进行区域定位，获取所述用户的嘴部位置的降噪后的嘴部反射结构光信息。9.根据权利要求6所述的唇语识别系统，其特征在于，所述对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，包括: 采用小波变换算法，获取，所述对所述嘴部反射的结构光信息的波形变换情况； 根据所述波形变换情况，以波形的变换周期对所述嘴部反射的结构光信息进行分段，获取分段结构光信息。10.根据权利要求6所述的唇语识别系统，其特征在于，所述比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，包括: 采用最小二乘法计算所述分段结构光信息的三维模型特征与所述样本三维模型特征的相似度。
【专利摘要】本发明公开了一种基于可穿戴设备的唇语识别方法及系统，其中，该方法包括：向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息；对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征；比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。采用本发明实施例，可快捷、准确的获取到用户唇语的文字信息或语音信息。
【IPC分类】G06K9/00, G06K9/62
【公开号】CN105488524
【申请号】CN201510837127
【发明人】林谋广, 吴育滨, 郑万山, 黄钊鹏, 刘锦龙, 刘洋
【申请人】中山大学
【公开日】2016年4月13日
【申请日】2015年11月26日
【技术领域】
[0001]本发明涉及移动通信技术领域，尤其涉及一种基于可穿戴设备的唇语识别方法及系统。
【背景技术】
[0002]人类的语言认知过程是一个多通道的感知过程。除声音信息通道外，唇动视觉信息可以作为一种语音理解源。作为人机交互的一部分，视觉语言具有许多现在的应用，因此通过机器的自动唇语识别技术成为备受关注的研究领域。
[0003]近年来，国内外对于唇语识别都有相应的研究，并且在一些关键技术上取得了一些突破，但是尚不能与语音识别进行融合且有效地改善识别率。在现有的技术中，主要是基于二维图像处理以提取嘴唇的二维轮廓信息，但是嘴唇的二维轮廓信息所能够表达的特征信息有限，多数词语发音的二位轮廓信息重叠，导致识别能力有限。
[0004]此外，由于无线探测识别技术，包括运动检测、手势识别、定位、材料分类等的提高，通过检测和分析信号的反射，无线探测识别技术可发现穿墙运动和识别人的手势。但是对与用户说话的识别，只是通过声学传感器或者摄像头装置来实现，这种方法的系统布置代价高、局限大，而且会出现延迟。
【发明内容】
[0005]本发明的目的在于克服现有技术的不足，本发明提供了一种基于可穿戴设备的唇语识别方法及系统，通过可穿戴设备可以随时随地快速准确的识别应的唇语。
[0006]为了解决上述技术问题，本发明提供了一种基于可穿戴设备的唇语识别方法，所述方法包括:
[0007]向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；
[0008]对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息；
[0009]对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征；
[0010]比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。
[0011 ]优选地，所述向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息，包括:
[0012]旋转结构光投射器向所述用户的面部投射结构光，获取最优投射角度；
[0013]根据所述最优投射角度投射结构光，所述结构光接收器接收完整的面部反射的结构光信息。
[0014]优选地，所述对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息，包括:
[0015]对所述面板反射的结构信息进行高通滤波和低通滤波过滤处理，除去所述面部反射的结构信息噪声，获取降噪后的面部反射结构光信息；
[0016]通过对所述用户脸部进行区域定位，获取所述用户的嘴部位置的降噪后的嘴部反射结构光信息。
[0017]优选地，所述对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，包括:
[0018]采用小波变换算法，获取，所述对所述嘴部反射的结构光信息的波形变换情况；
[0019]根据所述波形变换情况，以波形的变换周期对所述嘴部反射的结构光信息进行分段，获取分段结构光信息。
[0020]优选地，所述比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，包括:
[0021]采用最小二乘法计算所述分段结构光信息的三维模型特征与所述样本三维模型特征的相似度。
[0022]本发明还提供了一种基于可穿戴设备的唇语识别系统，所述系统包括:
[0023]投射接收模块:用于向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；
[0024]处理模块:用于对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息；
[0025]特征提取模块:用于对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征；
[0026]相似度对比模块:用于比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。
[0027]优选地，所述投射接收模块包括:
[0028]角度旋转单元:用于旋转结构光投射器向所述用户的面部投射结构光，获取最优投射角度；
[0029]投射接收单元:用于根据所述最优投射角度投射结构光，所述结构光接收器接收完整的面部反射的结构光信息。
[0030]优选地，所述处理模块包括:
[0031]降噪单元:用于对所述面板反射的结构信息进行高通滤波和低通滤波过滤处理，除去所述面部反射的结构信息噪声，获取降噪后的面部反射结构光信息；
[0032]定位单元:用于通过对所述用户脸部进行区域定位，获取所述用户的嘴部位置的降噪后的嘴部反射结构光信息。
[0033]优选地，所述对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，包括:
[0034]采用小波变换算法，获取，所述对所述嘴部反射的结构光信息的波形变换情况；
[0035]根据所述波形变换情况，以波形的变换周期对所述对所述嘴部反射的结构光信息进行分段，获取分段结构光信息。
[0036]优选地，所述比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，包括:
[0037]采用最小二乘法计算所述分段结构光信息的三维模型特征与所述样本三维模型特征的相似度。
[0038]本发明实施例是基于可穿戴设备上实现的，可快捷、准确的获取到用户唇语的文字信息或语音信息。
【附图说明】
[0039]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0040]图1是本发明实施例中的基于可穿戴设备的唇语识别方法的方法流程示意图；
[0041]图2是本发明实施例中的基于可穿戴设备的唇语识别系统的结构组成示意图。
【具体实施方式】
[0042]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]本发明实施例提供了一种基于可穿戴设备的唇语识别方法，向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息;对面部反射的结构信息进行过滤处理，获取用户嘴部运动时的嘴部反射的结构光信息;对嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取分段结构光信息的三维模型特征；比较分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息;可快捷、准确的获取到用户唇语的文字信息或语音信息。
[0044]图1是本发明实施例中的基于可穿戴设备的唇语识别方法的方法流程示意图，如图1所示，该方法包括:
[0045]S11:向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；
[0046]S12:对面部反射的结构信息进行过滤处理，获取用户嘴部运动时的嘴部反射的结构光信息；
[0047]S13:对嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取分段结构光信息的三维模型特征；
[0048]S14:比较分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。
[0049]对S11作进一步说明:
[0050]通过结构光投射器向用户的面部投射结构光，并且不断的旋转结构光投射器来改变投射结构光的角度，从而获取到最优的投射结构光的投射角度;根据最优的投射角度投射结构光，使得结构光接收器能够完整的接收到面部反射回来的结构光信息。
[0051 ] 对S12作进一步说明:
[0052]将结构光接收器接收回来的结构光信息分别进行高通滤波和低通滤波过滤处理，这样可以除去接收到的面部反射的结构光信息中的大部分噪声，使得面部反射的结构光信息中的剩下的噪声不会对后续的处理产生影响；
[0053]通过用户的面部进行区域分割，根据分割出来的区域来确定用户的嘴部位置，然后提取用户嘴部位置的反 射结构光信息。
[0054]对S13作进一步说明:
[0055]对提取的嘴部位置的反射结构光信息进行小波变换算法处理，获取结构光信息的波形变化情况，并根据变化情况以波形的变化周期作为分割点对结构光信息进行分段，获取分段结构光信息；
[0056]根据获取到的分段结构光信息，逆向构建出用户嘴部三维模型，根据这个三维模型提取用户的三维模型特征。
[0057]对S14作进一步说明:
[0058]采用最小二乘法计算分段结构光信息的三维模型特征与样本中的三维模型特征的相似度，并且将计算得到的相似度做一个排序，提取相似度最高的样本三维模型特征作为该段结构光相匹配的信息，获取相似度最高的样本三维模型特征所对应的文字信息或语音信息。
[0059]图2是本发明实施例中的基于可穿戴设备的唇语识别系统的结构组成示意图，如图2所示，本发明实施例还提供了一种基于可穿戴设备的唇语识别系统，该系统包括:
[0060]投射接收模块:用于向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；
[0061]处理模块:用于对面部反射的结构信息进行过滤处理，获取用户嘴部运动时的嘴部反射的结构光信息；
[0062]特征提取模块:用于对嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取分段结构光信息的三维模型特征；
[0063]相似度对比模块:用于比较分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。
[0064]优选地，投射接收模块包括:
[0065]角度旋转单元:用于旋转结构光投射器向用户的面部投射结构光，获取最优投射角度；
[0066]投射接收单元:用于根据最优投射角度投射结构光，结构光接收器接收完整的面部反射的结构光信息。
[0067]优选地，处理模块包括:
[0068]降噪单元:用于对面板反射的结构信息进行高通滤波和低通滤波过滤处理，除去面部反射的结构信息噪声，获取降噪后的面部反射结构光信息；
[0069]定位单元:用于通过对用户脸部进行区域定位，获取用户的嘴部位置的降噪后的嘴部反射结构光信息。
[0070]优选地，对嘴部反射的结构光信息进行分段，获取分段结构光信息，包括:
[0071]采用小波变换算法，获取，对嘴部反射的结构光信息的波形变换情况；
[0072]根据波形变换情况，以波形的变换周期对嘴部反射的结构光信息进行分段，获取分段结构光信息。
[0073]优选地，比较分段结构光信息的三维模型特征与样本三维模型特征的相似度，包括:
[0074]采用最小二乘法计算分段结构光信息的三维模型特征与样本三维模型特征的相似度。
[0075]具体地，本发明实施例的系统相关功能模块的工作原理可参见方法实施例的相关描述，这里不再赘述。
[0076]本发明实施例是基于可穿戴设备上实现的，可快捷、准确的获取到用户唇语的文字信息或语音信息。
[0077]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括:只读存储器(R0M，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
[0078]另外，以上对本发明实施例所提供的一种基于可穿戴设备的唇语识别方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【主权项】
1.一种基于可穿戴设备的唇语识别方法，其特征在于，所述方法包括: 向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息； 对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息； 对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征； 比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。2.根据权利要求1所述的唇语识别方法，其特征在于，所述向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息，包括: 旋转结构光投射器向所述用户的面部投射结构光，获取最优投射角度； 根据所述最优投射角度投射结构光，所述结构光接收器接收完整的面部反射的结构光?目息。3.根据权利要求1所述的唇语识别方法，其特征在于，所述对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息，包括: 对所述面板反射的结构信息进行高通滤波和低通滤波过滤处理，除去所述面部反射的结构信息噪声，获取降噪后的面部反射结构光信息； 通过对所述用户脸部进行区域定位，获取所述用户的嘴部位置的降噪后的嘴部反射结构光信息。4.根据权利要求1所述的唇语识别方法，其特征在于，所述对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，包括: 采用小波变换算法，获取所述对所述嘴部反射的结构光信息的波形变换情况； 根据所述波形变换情况，以波形的变换周期对所述嘴部反射的结构光信息进行分段，获取分段结构光信息。5.根据权利要求1所述的唇语识别方法，其特征在于，所述比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，包括: 采用最小二乘法计算所述分段结构光信息的三维模型特征与所述样本三维模型特征的相似度。6.—种基于可穿戴设备的唇语识别系统，其特征在于，所述系统包括: 投射接收模块:用于向用户面部投射结构光，通过结构光接收器获取面部反射的结构光?目息; 处理模块:用于对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息； 特征提取模块:用于对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征； 相似度对比模块:用于比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。7.根据权利要求6所述的唇语识别系统，其特征在于，所述投射接收模块包括: 角度旋转单元:用于旋转结构光投射器向所述用户的面部投射结构光，获取最优投射角度； 投射接收单元:用于根据所述最优投射角度投射结构光，所述结构光接收器接收完整的面部反射的结构光信息。8.根据权利要求6所述的唇语识别系统，其特征在于，所述处理模块包括: 降噪单元:用于对所述面板反射的结构信息进行高通滤波和低通滤波过滤处理，除去所述面部反射的结构信息噪声，获取降噪后的面部反射结构光信息； 定位单元:用于通过对所述用户脸部进行区域定位，获取所述用户的嘴部位置的降噪后的嘴部反射结构光信息。9.根据权利要求6所述的唇语识别系统，其特征在于，所述对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，包括: 采用小波变换算法，获取，所述对所述嘴部反射的结构光信息的波形变换情况； 根据所述波形变换情况，以波形的变换周期对所述嘴部反射的结构光信息进行分段，获取分段结构光信息。10.根据权利要求6所述的唇语识别系统，其特征在于，所述比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，包括: 采用最小二乘法计算所述分段结构光信息的三维模型特征与所述样本三维模型特征的相似度。
【专利摘要】本发明公开了一种基于可穿戴设备的唇语识别方法及系统，其中，该方法包括：向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息；对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征；比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。采用本发明实施例，可快捷、准确的获取到用户唇语的文字信息或语音信息。
【IPC分类】G06K9/00, G06K9/62
【公开号】CN105488524
【申请号】CN201510837127
【发明人】林谋广, 吴育滨, 郑万山, 黄钊鹏, 刘锦龙, 刘洋
【申请人】中山大学
【公开日】2016年4月13日
【申请日】2015年11月26日
最新回复(0)