一种结合hud与红外识别的人机交互方法和系统的制作方法
一种结合hud与红外识别的人机交互方法和系统的制作方法
【技术领域】
[0001]本发明涉及人机交互领域，具体是一种结合HUD与红外识别的人机交互方法和系统。
【背景技术】
[0002]HUD(Heads Up Display)抬头显示仪，又叫平视显示系统，它可以把重要的信息如车速、转速、水温、电压、导航等信息，显示在前风挡玻璃的驾驶员平视范围，使驾驶员不必低头，就能看清重要的信息，从而避免分散对前方道路的注意力，避免眼睛的疲劳。从视觉效果上，HUD酷似透明显示技术，与其又有本质的区别，可以说是投影显示技术的一个变相应用，传统仪表产生的讯号无法直接使用在HUD的显示需求上，必须透过计算机处理转换之后，将需要的资料传递给HUD的显示单元，再将影像投射到前方玻璃上。HUD在轿车领域，最实用的功能可归纳为三大类，车辆信息、导航和安全，尤其是安全功能尤为可贵，是未来的主要发展方向。
[0003]当前汽车内的人只能在视线离开前方转向下方看仪表盘，通过实体按键、触摸屏触摸实现人机交互，造成行车不安全；也有部分厂家应用红外传感器捕获左右挥手的手势，只能触发简单的人机交互机制；还有少数厂家应用结构光技术或者安装双摄像头获取手势在汽车空间里的深度，进行手势识别，但实现成本昂贵，难以普及。
【发明内容】
[0004]本发明针对现有技术存在的问题，当前汽车内的人只能在视线离开前方转向下方看仪表盘，通过实体按键、触摸屏触摸、红外传感器的方式实现简单的人机交互，造成行车不安全；或者通过结构光和双摄像头进行手势识别，但实现成本昂贵，提出了一种结合HUD与红外识别的人机交互方法和系统，该人机交互系统安装成本低，安全可靠。
[0005]本发明为了解决现有技术问题采用的技术方案是:提供一种结合HUD与红外识别的人机交互方法，其特征在于，所述方法包括以下步骤:
[0006]SI，通过拍摄用户的手势动作，得到该手势动作对应的实际动作特征值；
[0007]S2，将SI得到的实际动作特征值与对应动作指令的预置动作特征值进行匹配，得到该实际动作特征值对应的动作指令；
[0008]S3，自动执行S2匹配得到的动作指令，并将执行结果反馈给车内HUD显示系统；
[0009]S4，通过车内HUD显示系统将S3的执行结果反射成像到显示屏。
[0010]优选的，步骤SI中拍摄用户的手势动作包括拍摄手势动作反射的红外线，生成存储原始信息的光学信号后转化为RAW格式的数字信号。
[0011]优选的，所述实际动作特征值是手势的轮廓数据，通过手势轮廓的RGB像素值跟周围随机距离的像素值比较差值得到。
[0012]优选的，步骤S2中实际动作特征值与对应动作指令的预置动作特征值进行匹配的过程包括:将拍摄的数据图片先去背景，通过前后背景检测算法混合高斯背景模型将图片的前景找出来，作为手势的轮廓，将轮廓的数据颜色值通过CNN深度学习算法进行手势分类，将分类后选中的手势类型结合手势的运动轨迹，确定手势指令识别。
[0013]优选的，步骤S3中自动执行S2匹配得到的动作指令是GPU通过OpenCL或者CUDA等计算框架将动作指令的数据和计算逻辑提交到ARM处理器，ARM处理器执行对应的动作指令。
[0014]优选的，步骤S4中S3的执行结果反射成像到显示屏的过程包括:HUD显示系统通过RGB888协议读取ARM处理器传送的执行动作指令结果数字信号，将数字信号转化为光学信号成像后通过光学透镜放大成虚像在汽车前挡风玻璃前方展示出来。
[0015]为了支持上述方法，本发明还提供了一种结合HUD与红外识别的人机交互系统，包括:
[0016]一摄像模块，用于拍摄用户进行人机交互时的手势动作，并将该手势动作记录的原始光学信号转化为数字信号；
[0017]一 HUD模块，用于显示人机交互系统执行手势动作对应的指令结果；其特征在于，还包括
[0018]一电路模块，用于电性连接摄像模块和HUD模块，接收并处理摄像模块拍摄的手势动作数字信号，将处理手势动作的结果发送给HUD模块。
[0019]优选的，所述摄像模块包括红外摄像头和红外LED发光二极管阵列两部分，红外LED发光二极管阵列由若干个LED组成，对称分布在红外摄像头周围，由电路模块给LED发光二极管阵列供电。摄像模块通过主流连接协议如MIPI或者CSI接口电性连接电路模块，传输红外摄像头拍摄的RAW数据，该RAW数据是由感光元件记录了每个像素的RGB值，红外光源的下方有一透红外光层，用于提高所需波段红外光的透射比。红外光源照亮驾驶员的手势动作，红外摄像头拍摄驾驶员手势数据发送给电路模块。
[0020]优选的，所述电路模块集成ARM处理器和用于视觉计算的GPU。所述GPU把摄像模块传送的手势图片进行背景和手势轮廓分离，分离后的手势图像采用CNN深度学习算法进行手势分类，将分类的结果结合手势运动轨迹计算手势滑动的方向，通过使用隐马尔可夫模型算法预测手势运动的方向，最终确定手势动作的动作指令并将动作指令传递给ARM处理器。ARM处理器接受并完成该动作指令，ARM处理器将该动作指令完成的结果信息传送给HUD模块。HUD模块对应完成指令的结果信息生成相应的显示界面，并将该显示界面投影到挡风玻璃上显示。电路模块也为该人机交互系统提供电源，留有连线连接车辆点烟器或者车辆的OBD系统。当电路模块连接车辆的OBD接口时，车辆OBD系统不仅为该人机交互系统提供电源，还将车辆仪表盘信息如速度、油量，以OBD标准编码方式，传送给电路模块，电路模块再将信息加工后生成定制的图案传送给HUD模块进行显示。
[0021]优选的，HUD模块通过RGB888接口连接电路模块，由投影模块、正投成像膜、反射透镜构成，通过投影成像的方式，将系统处理手势指令的结果反射在汽车前挡风玻璃上成像。其中投影模块是基于带有DLP技术的微投模块或者基于激光投影的微投模块或者高亮度的液晶屏幕，接收电路模块传送的数字信号显示在HUD模块；正投成像膜是在膜的表面使用芯片印刷工艺在上面印刷接近纳米级别的超过10万个以上的凸面结构，再通过真空磁控溅射镀膜工艺镀制纳米级的感光涂层，保证对投影到成像膜有很好的漫反射效果又具备高光学增益。投影模块和正投成像膜位置相对，反射透镜位于投影模块后方用于接收正投成像膜反射的光线并成像。如HUD模块的投影模块采用带有DLP技术的投影机，DLP投影机包含有一片数字DMD微镜芯片，该芯片是在一块硅晶片的电子节点上紧密排列着许多片微小的正方形反射镜片，这里的每一片反射镜片都对应着生成图像的一个像素。当DMD微镜芯片工作时，相应存储器控制在两个不同的位置上进行切换转动。LED的红绿蓝光源投射到反射镜片上，当其中某一种颜色的光投射到DMD微镜芯片的表面后，DMD芯片上的所有微镜，根据自身对应的像素中该颜色的数量，决定了其对这种色光处于开位置的次数，也即决定了反射后通过投影镜头投射到屏幕上的光的数量。当其他颜色的光依次照射到DMD表面时，DMD表面中的所有微镜将极快地重复上面的动作，最终表现出来的结果就是在正投成像膜上出现彩色的投影图像。
[0022]本发明提供的一种结合HUD与红外识别的人机交互系统工作过程:人机交互系统悬挂在驾驶员位置的遮阳板下方或者中控台正前方。将该人机交互系统留出的电源线接入车内OBD接口启动系统，红外光源照射驾驶员的手部，红外摄像头通过透红外光层实时拍摄驾驶员的手势动作，摄像头拍摄的图片传送给电路模块的GPU，GPU通过CNN深度学习算法对图片进行分类，分类后结合手势的运动轨迹，判断手势表示的的动作指令并完成该动作指令，完成动作指令的状态信息经HUD模块处理为光学信号，投影到反射透镜上显示出虚像反馈给驾驶员。上述显示出的虚像内容包括但不限于，仪表盘数据、速度、导航数据、手机连接信息或其它协助驾驶员行车的实时信息。
[0023]本发明的有益效果是:本发明通过一种结合HUD显示和红外识别的方法，使得驾驶员在驾驶时可以集中注意力在前方路面，不改变视线的同时完成多种手势动作实现人机互动，成本低廉、操作安全简单、拓展性强、方便驾驶者获在驾驶状态下做判断。
【附图说明】
[0024]图1为本发明提供的一种结合HUD与红外识别的人机交互方法步骤图；
[0025]图2为本发明提供的一种结合HUD与红外识别的人机交互系统构成构架图；
[0026]图3为本发明实施例一提供人机交互系统开启后手机有来电时HUD显示模块显示的内容图；
[0027]图4为本发明实施例一提供的一种结合HUD与红外识别的人机交互系统图的硬件构成图；
[0028]图5为本发明实施例一提供的一种结合HUD与红外识别的人机交互系统安装方式；
[0029]图中标识说明:1、反射透镜，2、电路模块，3、红外摄像头，4、电头红外光层，5、投影模块，6、正投成像膜，7、挡风玻璃，8、HUD模块，9、遮阳板，10、红外摄像头拍摄角度。
【具体实施方式】
[0030]以下将结合附图1至附图5和实施例对本发明做进一步的说明，但不应以此来限制本发明的保护范围。 [0031]如附图1和附图2所示，本发明提供一种结合HUD与红外识别的人机交互方法，其特征在于，所述方法包括以下步骤:
[0032]SI，通过拍摄用户的手势动作，得到该手势动作对应的实际动作特征值；
[0033]S2，将SI得到的实际动作特征值与对应动作指令的预置动作特征值进行匹配，得到该实际动作特征值对应的动作指令；
[0034]S3，自动执行S2匹配得到的动作指令，并将执行结果反馈给车内HUD显示系统；
[0035]S4，通过车内HUD显示系统将S3的执行结果反射成像到显示屏。
[0036]为了支持上述方法，本发明还提供了一种结合HUD与红外识别的人机交互系统，包括:
[0037]一摄像模块1，用于拍摄用户进行人机交互时的手势动作，并将该手势动作记录的原始光学信号转化为数字信号；
[0038]一 HUD模块2，用于显示人机交互系统执行手势动作对应的指令结果；其特征在于，还包括
[0039]一电路模块3，用于电性连接摄像模块I和HUD模块2，接收并处理摄像模块I拍摄的手势动作数字信号，将处理手势动作的结果发送给HUD模块2。
[0040]实施例一
[0041]如附图3所示，当驾驶员驾车过程中手机有来电，手机通过连接车载蓝牙将来电信息包括来电人手机号码及头像，传输到车内HUD显示屏前挡风玻璃上显示，驾驶员看到来电信息，按照信息的手势提示左右摇摆表示拒绝接听，竖起大拇指表示同意接听，驾驶员伸出右手在本人机交互系统中的摄像模块下方做出竖起大拇指的手势，这个手势通过该系统一透红外层隔离过滤光线，被系统摄像模块的红外摄像头拍摄图片后转化为RAW格式的数字信号传输给系统电路模块。系统电路模块的GPU接收该数字信号，将图片中的背景去除后，将图片中手势的轮廓经CNN深度学习算法进行手势分类得出该手势属于判定类型，结合大拇指向上的运动轨迹，确定该动作指令是激活接听功能，GPU将该指令传输给电路模块，电路模块通过蓝牙连接手机和HUD模块，激活手机的接听功能，同时HUD模块将该数字指令转化为光学信号，通过HUD模块的投影模块将接听电话的界面投影到正投成像膜上，正投成像膜再将该投影光线反射到对面的反射透镜。驾驶员通过反射透镜的放大看到汽车前挡风玻璃上形成的接听电话虚像界面。
[0042]实施例二
[0043]如图4和图5所示，在车内安装本发明提供的一种结合HUD与红外识别的人机交互系统:该人机交互系统包括摄像模块1、HUD模块2和电路模块3。该系统整体悬挂在驾驶员位置的遮阳板下方，其中电路模块预置OBD接口针脚接入车内OBD接口，用于给系统供电及提供相关行车信息。
[0044]该系统的摄像模块包括红外摄像头和红外LED发光二极管阵列两部分，红外LED发光二极管阵列由若干个LED组成，对称分布在红外摄像头周围，红外摄像头的下方有一透红外光层。
[0045]该系统的电路模块位于整体系统的上部紧贴汽车遮阳板集成了 ARM处理器和GPU0
[0046]该系统的HUD模块由投影模块、正投成像膜、反射透镜构成，其中本实施例带有的投影模块是基于带有DLP技术的微投模块，正投成像膜是在膜的表面使用芯片印刷工艺在上面印刷接近纳米级别的超过10万个以上的凸面结构，再通过真空磁控溅射镀膜工艺镀制纳米级的感光涂层。投影模块和正投成像膜位置相对，反射透镜位于投影模块后方用于正投成像膜反射的光线穿透后放大到汽车前挡风玻璃成像。
[0047]实施例三
[0048]本发明提供的一种结合HUD与红外识别的人机交互系统工作过程:人机交互系统悬挂在驾驶员位置的遮阳板下方或者中控台正前方。将该人机交互系统留出的电源线接入车内OBD接口启动系统，红外光源照射驾驶员的手部，红外摄像头通过透红外光层实时拍摄驾驶员的手势动作，摄像头拍摄的图片传送给电路模块的GPU，GPU通过CNN深度学习算法对图片进行分类，分类后结合手势的运动轨迹，判断手势表示的的动作指令并完成该动作指令，完成动作指令的状态信息经HUD模块处理为光学信号，投影到反射透镜上显示出虚像反馈给驾驶员。上述显示出的虚像内容包括但不限于，仪表盘数据、速度、导航数据、手机连接信息或其它协助驾驶员行车的实时信息。
[0049]本申请发明的积极效果:通过一种结合HUD显示和红外识别的方法，使得驾驶员在驾驶时可以集中注意力在前方路面，不改变视线的同时完成多种手势动作实现人机互动，成本低廉、操作安全简单、拓展性强、方便驾驶者获在驾驶状态下做判断。
[0050]根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的【具体实施方式】，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。
【主权项】
1.一种结合HUD与红外识别的人机交互方法，其特征在于，所述方法包括以下步骤: Si，通过拍摄用户的手势动作，得到该手势动作对应的实际动作特征值； S2，将SI得到的实际动作特征值与对应动作指令的预置动作特征值进行匹配，得到该实际动作特征值对应的动作指令； S3，自动执行S2匹配得到的动作指令，并将执行结果反馈给车内HUD显示系统； S4，通过车内HUD显示系统将S3的执行结果反射成像到显示屏。
2.如权利要求1所述的一种结合HUD与红外识别的人机交互方法，其特征在于，步骤SI中拍摄用户的手势动作包括拍摄手势动作反射的红外线，生成存储原始信息的光学信号后转化为RAW格式的数字信号。
3.如权利要求1所述的一种结合HUD与红外识别的人机交互方法，其特征在于，实际动作特征值采用手势的轮廓数据，通过手势轮廓的RGB像素值跟周围随机距离的像素值比较差值得到。
4.如权利要求1所述的一种结合HUD与红外识别的人机交互方法，其特征在于，步骤S2中实际动作特征值与对应动作指令的预置动作特征值进行匹配的过程包括:将实际动作特征值与预置动作特征值进行匹配后分类，根据分类结果及手势的运动轨迹，确定手势对应的动作指令。
5.如权利要求1所述的一种结合HUD与红外识别的人机交互方法，其特征在于，步骤S3中自动执行S2匹配得到的动作指令是通过ARM处理器自动加载和读取该动作指令，激活对应程序完成的。
6.如权利要求1所述的一种结合HUD与红外识别的人机交互方法，其特征在于，步骤S4中S3的执行结果反射成像到显示屏的过程包括:HUD显示系统读取ARM处理器传送的执行动作指令结果的数字信号，将数字信号转化为光学信号成像后投影到显示屏。
7.一种结合HUD与红外识别的人机交互系统，用于实现权利要求1至6之一所述的一种结合HUD与红外识别的人机交互方法，包括: 一摄像模块，用于拍摄用户进行人机交互时的手势动作，并将该手势动作记录的原始光学信号转化为数字信号； 一 HUD模块，用于显示人机交互系统执行手势动作对应的指令结果；其特征在于，还包括 一电路模块，用于电性连接摄像模块和HUD模块，接收并处理摄像模块拍摄的手势动作数字信号，将处理手势动作的结果发送给HUD模块。
8.如权利要求7所述的一种结合HUD与红外识别的人机交互系统，其特征在于，所述摄像模块包括若干颗LED红外光源对称分布在红外摄像头周围，红外光源的下方有一透红外光层，用于提高所需波段红外光的透射比。
9.如权利要求7所述的一种结合HUD与红外识别的人机交互系统，其特征在于，所述电路模块集成ARM处理器和用于视觉计算的GPU，该GPU对摄像模块传送的红外拍摄数据进行手势轮廓识别，并将识别结果结合手势的运动轨迹匹配手势动作对应的动作指令。
10.如权利要求7所述的一种结合HUD与红外识别的人机交互系统，其特征在于，HUD模块由投影模块、正投成像膜、反射透镜构成，其中投影模块和正投成像膜位置相对，反射透镜位于投影模块后方用于接收正投成像膜反射的光线并成像。
【专利摘要】本发明公开一种结合HUD与红外识别的人机交互方法，所述方法包括以下步骤：S1，通过拍摄用户的手势动作，得到该手势动作对应的实际动作特征值；S2，将S1得到的实际动作特征值与对应动作指令的预置动作特征值进行匹配，得到对应的动作指令；S3，自动执行S2匹配得到的动作指令，并将执行结果反馈给车内HUD显示系统；S4，通过车内HUD显示系统将S3的执行结果反射成像到显示屏。本发明与现有技术相比有益效果在于：本发明通过一种结合HUD显示和红外识别的方法，使得驾驶员在驾驶时可以集中注意力在前方路面，不改变视线的同时完成多种手势动作实现人机互动，成本低廉、操作安全简单、拓展性强、方便驾驶者在驾驶状态中做判断。
【IPC分类】G06F3-01, G06F3-0484
【公开号】CN104866106
【申请号】CN201510297399
【发明人】何杰, 莫冰, 韩宇
【申请人】深圳市光晕网络科技有限公司
【公开日】2015年8月26日
【申请日】2015年6月3日
【技术领域】
[0001]本发明涉及人机交互领域，具体是一种结合HUD与红外识别的人机交互方法和系统。
【背景技术】
[0002]HUD(Heads Up Display)抬头显示仪，又叫平视显示系统，它可以把重要的信息如车速、转速、水温、电压、导航等信息，显示在前风挡玻璃的驾驶员平视范围，使驾驶员不必低头，就能看清重要的信息，从而避免分散对前方道路的注意力，避免眼睛的疲劳。从视觉效果上，HUD酷似透明显示技术，与其又有本质的区别，可以说是投影显示技术的一个变相应用，传统仪表产生的讯号无法直接使用在HUD的显示需求上，必须透过计算机处理转换之后，将需要的资料传递给HUD的显示单元，再将影像投射到前方玻璃上。HUD在轿车领域，最实用的功能可归纳为三大类，车辆信息、导航和安全，尤其是安全功能尤为可贵，是未来的主要发展方向。
[0003]当前汽车内的人只能在视线离开前方转向下方看仪表盘，通过实体按键、触摸屏触摸实现人机交互，造成行车不安全；也有部分厂家应用红外传感器捕获左右挥手的手势，只能触发简单的人机交互机制；还有少数厂家应用结构光技术或者安装双摄像头获取手势在汽车空间里的深度，进行手势识别，但实现成本昂贵，难以普及。
【发明内容】
[0004]本发明针对现有技术存在的问题，当前汽车内的人只能在视线离开前方转向下方看仪表盘，通过实体按键、触摸屏触摸、红外传感器的方式实现简单的人机交互，造成行车不安全；或者通过结构光和双摄像头进行手势识别，但实现成本昂贵，提出了一种结合HUD与红外识别的人机交互方法和系统，该人机交互系统安装成本低，安全可靠。
[0005]本发明为了解决现有技术问题采用的技术方案是:提供一种结合HUD与红外识别的人机交互方法，其特征在于，所述方法包括以下步骤:
[0006]SI，通过拍摄用户的手势动作，得到该手势动作对应的实际动作特征值；
[0007]S2，将SI得到的实际动作特征值与对应动作指令的预置动作特征值进行匹配，得到该实际动作特征值对应的动作指令；
[0008]S3，自动执行S2匹配得到的动作指令，并将执行结果反馈给车内HUD显示系统；
[0009]S4，通过车内HUD显示系统将S3的执行结果反射成像到显示屏。
[0010]优选的，步骤SI中拍摄用户的手势动作包括拍摄手势动作反射的红外线，生成存储原始信息的光学信号后转化为RAW格式的数字信号。
[0011]优选的，所述实际动作特征值是手势的轮廓数据，通过手势轮廓的RGB像素值跟周围随机距离的像素值比较差值得到。
[0012]优选的，步骤S2中实际动作特征值与对应动作指令的预置动作特征值进行匹配的过程包括:将拍摄的数据图片先去背景，通过前后背景检测算法混合高斯背景模型将图片的前景找出来，作为手势的轮廓，将轮廓的数据颜色值通过CNN深度学习算法进行手势分类，将分类后选中的手势类型结合手势的运动轨迹，确定手势指令识别。
[0013]优选的，步骤S3中自动执行S2匹配得到的动作指令是GPU通过OpenCL或者CUDA等计算框架将动作指令的数据和计算逻辑提交到ARM处理器，ARM处理器执行对应的动作指令。
[0014]优选的，步骤S4中S3的执行结果反射成像到显示屏的过程包括:HUD显示系统通过RGB888协议读取ARM处理器传送的执行动作指令结果数字信号，将数字信号转化为光学信号成像后通过光学透镜放大成虚像在汽车前挡风玻璃前方展示出来。
[0015]为了支持上述方法，本发明还提供了一种结合HUD与红外识别的人机交互系统，包括:
[0016]一摄像模块，用于拍摄用户进行人机交互时的手势动作，并将该手势动作记录的原始光学信号转化为数字信号；
[0017]一 HUD模块，用于显示人机交互系统执行手势动作对应的指令结果；其特征在于，还包括
[0018]一电路模块，用于电性连接摄像模块和HUD模块，接收并处理摄像模块拍摄的手势动作数字信号，将处理手势动作的结果发送给HUD模块。
[0019]优选的，所述摄像模块包括红外摄像头和红外LED发光二极管阵列两部分，红外LED发光二极管阵列由若干个LED组成，对称分布在红外摄像头周围，由电路模块给LED发光二极管阵列供电。摄像模块通过主流连接协议如MIPI或者CSI接口电性连接电路模块，传输红外摄像头拍摄的RAW数据，该RAW数据是由感光元件记录了每个像素的RGB值，红外光源的下方有一透红外光层，用于提高所需波段红外光的透射比。红外光源照亮驾驶员的手势动作，红外摄像头拍摄驾驶员手势数据发送给电路模块。
[0020]优选的，所述电路模块集成ARM处理器和用于视觉计算的GPU。所述GPU把摄像模块传送的手势图片进行背景和手势轮廓分离，分离后的手势图像采用CNN深度学习算法进行手势分类，将分类的结果结合手势运动轨迹计算手势滑动的方向，通过使用隐马尔可夫模型算法预测手势运动的方向，最终确定手势动作的动作指令并将动作指令传递给ARM处理器。ARM处理器接受并完成该动作指令，ARM处理器将该动作指令完成的结果信息传送给HUD模块。HUD模块对应完成指令的结果信息生成相应的显示界面，并将该显示界面投影到挡风玻璃上显示。电路模块也为该人机交互系统提供电源，留有连线连接车辆点烟器或者车辆的OBD系统。当电路模块连接车辆的OBD接口时，车辆OBD系统不仅为该人机交互系统提供电源，还将车辆仪表盘信息如速度、油量，以OBD标准编码方式，传送给电路模块，电路模块再将信息加工后生成定制的图案传送给HUD模块进行显示。
[0021]优选的，HUD模块通过RGB888接口连接电路模块，由投影模块、正投成像膜、反射透镜构成，通过投影成像的方式，将系统处理手势指令的结果反射在汽车前挡风玻璃上成像。其中投影模块是基于带有DLP技术的微投模块或者基于激光投影的微投模块或者高亮度的液晶屏幕，接收电路模块传送的数字信号显示在HUD模块；正投成像膜是在膜的表面使用芯片印刷工艺在上面印刷接近纳米级别的超过10万个以上的凸面结构，再通过真空磁控溅射镀膜工艺镀制纳米级的感光涂层，保证对投影到成像膜有很好的漫反射效果又具备高光学增益。投影模块和正投成像膜位置相对，反射透镜位于投影模块后方用于接收正投成像膜反射的光线并成像。如HUD模块的投影模块采用带有DLP技术的投影机，DLP投影机包含有一片数字DMD微镜芯片，该芯片是在一块硅晶片的电子节点上紧密排列着许多片微小的正方形反射镜片，这里的每一片反射镜片都对应着生成图像的一个像素。当DMD微镜芯片工作时，相应存储器控制在两个不同的位置上进行切换转动。LED的红绿蓝光源投射到反射镜片上，当其中某一种颜色的光投射到DMD微镜芯片的表面后，DMD芯片上的所有微镜，根据自身对应的像素中该颜色的数量，决定了其对这种色光处于开位置的次数，也即决定了反射后通过投影镜头投射到屏幕上的光的数量。当其他颜色的光依次照射到DMD表面时，DMD表面中的所有微镜将极快地重复上面的动作，最终表现出来的结果就是在正投成像膜上出现彩色的投影图像。
[0022]本发明提供的一种结合HUD与红外识别的人机交互系统工作过程:人机交互系统悬挂在驾驶员位置的遮阳板下方或者中控台正前方。将该人机交互系统留出的电源线接入车内OBD接口启动系统，红外光源照射驾驶员的手部，红外摄像头通过透红外光层实时拍摄驾驶员的手势动作，摄像头拍摄的图片传送给电路模块的GPU，GPU通过CNN深度学习算法对图片进行分类，分类后结合手势的运动轨迹，判断手势表示的的动作指令并完成该动作指令，完成动作指令的状态信息经HUD模块处理为光学信号，投影到反射透镜上显示出虚像反馈给驾驶员。上述显示出的虚像内容包括但不限于，仪表盘数据、速度、导航数据、手机连接信息或其它协助驾驶员行车的实时信息。
[0023]本发明的有益效果是:本发明通过一种结合HUD显示和红外识别的方法，使得驾驶员在驾驶时可以集中注意力在前方路面，不改变视线的同时完成多种手势动作实现人机互动，成本低廉、操作安全简单、拓展性强、方便驾驶者获在驾驶状态下做判断。
【附图说明】
[0024]图1为本发明提供的一种结合HUD与红外识别的人机交互方法步骤图；
[0025]图2为本发明提供的一种结合HUD与红外识别的人机交互系统构成构架图；
[0026]图3为本发明实施例一提供人机交互系统开启后手机有来电时HUD显示模块显示的内容图；
[0027]图4为本发明实施例一提供的一种结合HUD与红外识别的人机交互系统图的硬件构成图；
[0028]图5为本发明实施例一提供的一种结合HUD与红外识别的人机交互系统安装方式；
[0029]图中标识说明:1、反射透镜，2、电路模块，3、红外摄像头，4、电头红外光层，5、投影模块，6、正投成像膜，7、挡风玻璃，8、HUD模块，9、遮阳板，10、红外摄像头拍摄角度。
【具体实施方式】
[0030]以下将结合附图1至附图5和实施例对本发明做进一步的说明，但不应以此来限制本发明的保护范围。 [0031]如附图1和附图2所示，本发明提供一种结合HUD与红外识别的人机交互方法，其特征在于，所述方法包括以下步骤:
[0032]SI，通过拍摄用户的手势动作，得到该手势动作对应的实际动作特征值；
[0033]S2，将SI得到的实际动作特征值与对应动作指令的预置动作特征值进行匹配，得到该实际动作特征值对应的动作指令；
[0034]S3，自动执行S2匹配得到的动作指令，并将执行结果反馈给车内HUD显示系统；
[0035]S4，通过车内HUD显示系统将S3的执行结果反射成像到显示屏。
[0036]为了支持上述方法，本发明还提供了一种结合HUD与红外识别的人机交互系统，包括:
[0037]一摄像模块1，用于拍摄用户进行人机交互时的手势动作，并将该手势动作记录的原始光学信号转化为数字信号；
[0038]一 HUD模块2，用于显示人机交互系统执行手势动作对应的指令结果；其特征在于，还包括
[0039]一电路模块3，用于电性连接摄像模块I和HUD模块2，接收并处理摄像模块I拍摄的手势动作数字信号，将处理手势动作的结果发送给HUD模块2。
[0040]实施例一
[0041]如附图3所示，当驾驶员驾车过程中手机有来电，手机通过连接车载蓝牙将来电信息包括来电人手机号码及头像，传输到车内HUD显示屏前挡风玻璃上显示，驾驶员看到来电信息，按照信息的手势提示左右摇摆表示拒绝接听，竖起大拇指表示同意接听，驾驶员伸出右手在本人机交互系统中的摄像模块下方做出竖起大拇指的手势，这个手势通过该系统一透红外层隔离过滤光线，被系统摄像模块的红外摄像头拍摄图片后转化为RAW格式的数字信号传输给系统电路模块。系统电路模块的GPU接收该数字信号，将图片中的背景去除后，将图片中手势的轮廓经CNN深度学习算法进行手势分类得出该手势属于判定类型，结合大拇指向上的运动轨迹，确定该动作指令是激活接听功能，GPU将该指令传输给电路模块，电路模块通过蓝牙连接手机和HUD模块，激活手机的接听功能，同时HUD模块将该数字指令转化为光学信号，通过HUD模块的投影模块将接听电话的界面投影到正投成像膜上，正投成像膜再将该投影光线反射到对面的反射透镜。驾驶员通过反射透镜的放大看到汽车前挡风玻璃上形成的接听电话虚像界面。
[0042]实施例二
[0043]如图4和图5所示，在车内安装本发明提供的一种结合HUD与红外识别的人机交互系统:该人机交互系统包括摄像模块1、HUD模块2和电路模块3。该系统整体悬挂在驾驶员位置的遮阳板下方，其中电路模块预置OBD接口针脚接入车内OBD接口，用于给系统供电及提供相关行车信息。
[0044]该系统的摄像模块包括红外摄像头和红外LED发光二极管阵列两部分，红外LED发光二极管阵列由若干个LED组成，对称分布在红外摄像头周围，红外摄像头的下方有一透红外光层。
[0045]该系统的电路模块位于整体系统的上部紧贴汽车遮阳板集成了 ARM处理器和GPU0
[0046]该系统的HUD模块由投影模块、正投成像膜、反射透镜构成，其中本实施例带有的投影模块是基于带有DLP技术的微投模块，正投成像膜是在膜的表面使用芯片印刷工艺在上面印刷接近纳米级别的超过10万个以上的凸面结构，再通过真空磁控溅射镀膜工艺镀制纳米级的感光涂层。投影模块和正投成像膜位置相对，反射透镜位于投影模块后方用于正投成像膜反射的光线穿透后放大到汽车前挡风玻璃成像。
[0047]实施例三
[0048]本发明提供的一种结合HUD与红外识别的人机交互系统工作过程:人机交互系统悬挂在驾驶员位置的遮阳板下方或者中控台正前方。将该人机交互系统留出的电源线接入车内OBD接口启动系统，红外光源照射驾驶员的手部，红外摄像头通过透红外光层实时拍摄驾驶员的手势动作，摄像头拍摄的图片传送给电路模块的GPU，GPU通过CNN深度学习算法对图片进行分类，分类后结合手势的运动轨迹，判断手势表示的的动作指令并完成该动作指令，完成动作指令的状态信息经HUD模块处理为光学信号，投影到反射透镜上显示出虚像反馈给驾驶员。上述显示出的虚像内容包括但不限于，仪表盘数据、速度、导航数据、手机连接信息或其它协助驾驶员行车的实时信息。
[0049]本申请发明的积极效果:通过一种结合HUD显示和红外识别的方法，使得驾驶员在驾驶时可以集中注意力在前方路面，不改变视线的同时完成多种手势动作实现人机互动，成本低廉、操作安全简单、拓展性强、方便驾驶者获在驾驶状态下做判断。
[0050]根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的【具体实施方式】，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。
【主权项】
1.一种结合HUD与红外识别的人机交互方法，其特征在于，所述方法包括以下步骤: Si，通过拍摄用户的手势动作，得到该手势动作对应的实际动作特征值； S2，将SI得到的实际动作特征值与对应动作指令的预置动作特征值进行匹配，得到该实际动作特征值对应的动作指令； S3，自动执行S2匹配得到的动作指令，并将执行结果反馈给车内HUD显示系统； S4，通过车内HUD显示系统将S3的执行结果反射成像到显示屏。
2.如权利要求1所述的一种结合HUD与红外识别的人机交互方法，其特征在于，步骤SI中拍摄用户的手势动作包括拍摄手势动作反射的红外线，生成存储原始信息的光学信号后转化为RAW格式的数字信号。
3.如权利要求1所述的一种结合HUD与红外识别的人机交互方法，其特征在于，实际动作特征值采用手势的轮廓数据，通过手势轮廓的RGB像素值跟周围随机距离的像素值比较差值得到。
4.如权利要求1所述的一种结合HUD与红外识别的人机交互方法，其特征在于，步骤S2中实际动作特征值与对应动作指令的预置动作特征值进行匹配的过程包括:将实际动作特征值与预置动作特征值进行匹配后分类，根据分类结果及手势的运动轨迹，确定手势对应的动作指令。
5.如权利要求1所述的一种结合HUD与红外识别的人机交互方法，其特征在于，步骤S3中自动执行S2匹配得到的动作指令是通过ARM处理器自动加载和读取该动作指令，激活对应程序完成的。
6.如权利要求1所述的一种结合HUD与红外识别的人机交互方法，其特征在于，步骤S4中S3的执行结果反射成像到显示屏的过程包括:HUD显示系统读取ARM处理器传送的执行动作指令结果的数字信号，将数字信号转化为光学信号成像后投影到显示屏。
7.一种结合HUD与红外识别的人机交互系统，用于实现权利要求1至6之一所述的一种结合HUD与红外识别的人机交互方法，包括: 一摄像模块，用于拍摄用户进行人机交互时的手势动作，并将该手势动作记录的原始光学信号转化为数字信号； 一 HUD模块，用于显示人机交互系统执行手势动作对应的指令结果；其特征在于，还包括 一电路模块，用于电性连接摄像模块和HUD模块，接收并处理摄像模块拍摄的手势动作数字信号，将处理手势动作的结果发送给HUD模块。
8.如权利要求7所述的一种结合HUD与红外识别的人机交互系统，其特征在于，所述摄像模块包括若干颗LED红外光源对称分布在红外摄像头周围，红外光源的下方有一透红外光层，用于提高所需波段红外光的透射比。
9.如权利要求7所述的一种结合HUD与红外识别的人机交互系统，其特征在于，所述电路模块集成ARM处理器和用于视觉计算的GPU，该GPU对摄像模块传送的红外拍摄数据进行手势轮廓识别，并将识别结果结合手势的运动轨迹匹配手势动作对应的动作指令。
10.如权利要求7所述的一种结合HUD与红外识别的人机交互系统，其特征在于，HUD模块由投影模块、正投成像膜、反射透镜构成，其中投影模块和正投成像膜位置相对，反射透镜位于投影模块后方用于接收正投成像膜反射的光线并成像。
【专利摘要】本发明公开一种结合HUD与红外识别的人机交互方法，所述方法包括以下步骤：S1，通过拍摄用户的手势动作，得到该手势动作对应的实际动作特征值；S2，将S1得到的实际动作特征值与对应动作指令的预置动作特征值进行匹配，得到对应的动作指令；S3，自动执行S2匹配得到的动作指令，并将执行结果反馈给车内HUD显示系统；S4，通过车内HUD显示系统将S3的执行结果反射成像到显示屏。本发明与现有技术相比有益效果在于：本发明通过一种结合HUD显示和红外识别的方法，使得驾驶员在驾驶时可以集中注意力在前方路面，不改变视线的同时完成多种手势动作实现人机互动，成本低廉、操作安全简单、拓展性强、方便驾驶者在驾驶状态中做判断。
【IPC分类】G06F3-01, G06F3-0484
【公开号】CN104866106
【申请号】CN201510297399
【发明人】何杰, 莫冰, 韩宇
【申请人】深圳市光晕网络科技有限公司
【公开日】2015年8月26日
【申请日】2015年6月3日
最新回复(0)