一种语音仿生手语双向翻译系统的制作方法
一种语音仿生手语双向翻译系统的制作方法
【技术领域】
[0001]本发明涉及手语翻译技术领域，特别是涉及一种语音仿生手语双向翻译系统。
【背景技术】
[0002]现实生活中，正常人既可以获得视觉信息也可以获得听觉信息，聋哑人则只能利用视觉信息。正常人与聋哑人通常以手语作为媒介进行交流，但绝大多数正常人对手语知之甚少，根本无法与聋哑人进行会话，使得正常人与聋哑人之间存在难以克服的交流障碍。
【发明内容】
[0003]本发明的目的旨在克服正常人与聋哑人的交流障碍，提供一种语音仿生手语双向翻译系统。
[0004]特别地，本发明提供了一种语音仿生手语双向翻译系统，其包括:
手语动作识别装置，配置成识别手语发出者的手势动作；
文字或语言输出装置，配置成输出与所述手语动作识别装置识别得到的手势动作相对应的文字或语音；
接收装置，配置成接收文字或语言发出者发出的文字或语音；
具有机械手的仿生手语输出装置，配置成做出与所述接收装置接收的文字或语音相对应的手语的手势动作；以及
控制装置，与所述手语动作识别装置、所述文字或语言输出装置、所述接收装置和所述仿生手语输出装置均通信连接，配置成:
将所述手语动作识别装置识别得到的手势动作翻译成相对应的文字或语言，以使所述文字或语言输出装置进行输出；和
将所述接收装置接收的文字或语言翻译成相对应的手语的手势动作，以使所述仿生手语输出装置做出。
[0005]可选地，所述机械手为两个，每个所述机械手包括:
手掌;
第一手指，其具有枢接于所述手掌的第一指节、枢接于所述第一指节的第二指节和枢接于所述第二指节的第三指节；
第一电机，配置成驱动所述第一指节相对于所述手掌转动，以使所述第一手指进行摆动；
第一蜷伸驱动机构，其具有第一拉线、第一复位装置和安装于所述手掌的第二电机，配置成驱动所述第一手指进行蜷伸运动；
多个第二手指，每个所述第二手指具有枢接于所述手掌的连接块、枢接于所述连接块的第四指节、枢接于所述第四指节的第五指节和枢接于所述第五指节的第六指节；
多个第三电机，每个所述第三电机配置成驱动一个所述连接块相对于所述手掌转动，以使每个所述第二手指进行摆动； 多个第二蜷伸驱动机构，每个所述第二蜷伸驱动机构具有第二拉线、第二复位装置和安装于所述手掌的第四电机，配置成驱动一个所述第二手指进行蜷伸运动。
[0006]可选地，所述第一复位装置包括两个扭簧，一个扭簧安装于所述第一指节和所述第二指节，另一扭簧安装于所述第二指节和所述第三指节；
每个所述第二复位装置包括三个扭簧，一个扭簧安装于所述连接块和所述第四指节，另一扭簧安装于所述第四指节和所述第五指节，第三个扭簧安装于所述第五指节和所述第六指节；
所述第一蜷伸驱动机构和每个所述第二蜷伸驱动机构均还包括拉线管。
[0007]可选地，所述仿生手语输出装置还包括机身和安装于所述机身的两个机械臂，且每个所述机械臂包括:
连接件，可转动地安装于所述机身；
第五电机，安装于所述机身，配置成所述连接件相对于所述机身转动；
第一手臂段，可转动地安装于所述连接件；
第六电机，安装于所述机身，配置成带动所述第一手臂段相对于所述连接件转动；
第二手臂段，可转动地安装于所述第一手臂段；
第七电机，安装于所述第一手臂段，配置成带动所述第二手臂段相对于所述第一手臂段转动；
第三手臂段，可转动地安装于所述第二手臂段；
第八电机，安装于所述第二手臂段，配置成带动所述第三手臂段相对于所述第二手臂段转动；
第四手臂段，可转动地安装于所述第三手臂段，且每个所述机械手的手掌可转动地安装于一个所述机械臂的第四手臂段；
第九电机，安装于所述第三手臂段，配置成带动所述第四手臂段相对于所述第三手臂段转动；
第十电机，安装于所述第四手臂段，配置成带动所述机械手相对于所述第四手臂段转动。
[0008]可选地，所述第一电机、所述第二电机、每个所述第三电机、每个所述第四电机、第五电机、第六电机、第七电机、第八电机、第九电机和第十电机均为舵机。
[0009]可选地，所述机身上还设置有显示装置，以显示所述接收装置接收的文字信息或与所述接收装置接收的语音相对应的文字信息。
[0010]可选地，所述接收装置包括麦克风，设置于所述机身；
所述文字或语言输出装置包括扬声器，设置于所述机身。
[0011]可选地，手语动作识别装置包括手语手套和设置于手语手套上的传感器，以检测手语发出者的手势动作。
[0012]可选地，所述手语动作识别装置和所述控制装置均包括无线传输模块。
[0013]可选地，所述控制装置包括:
设置于所述手语动作识别装置上的第一控制装置，以将所述手语动作识别装置识别得到的手势动作翻译成相对应的文字或语言，以使所述文字或语言输出装置进行输出；和设置于所述仿生手语输出装置上的第二控制装置，以将所述接收装置接收的文字或语言翻译成相对应的手语的手势动作，以使所述仿生手语输出装置做出;且所述文字或语言输出装置设置于所述手语动作识别装置上；
所述接收装置设置于所述仿生手语输出装置上。
[0014]本发明的语音仿生手语双向翻译系统因为具有手语动作识别装置、文字或语言输出装置、接收装置、仿生手语输出装置和控制装置，能够将聋哑人的手势动作转换成文字或语音，以供正常人接收聋哑人的信息；同时也能够将语音或文字转换成手语，以使聋哑人接收正常人的信息，克服了正常人与聋哑人之间的交流障碍，可广泛应用银行等公共领域，便于聋哑人正常办理业务。使用机械手进行手语动作的三维表达，更直接、立体感强，可准确表达出正常人所要表达的意思，以防止由于平面、二位动画等显示的手语的手势动作不够清晰明了，使聋哑人不能够准确了解正常人的意思。
[0015]进一步地，本发明的语音仿生手语双向翻译系统因为采用手语手套，可准确检测手语发出者的手势动作，从而能够对手势动作进行更加精确的翻译，以使聋哑人的意思表达更准确。
[0016]进一步地，本发明的语音仿生手语双向翻译系统中因为仿生手语输出装置可为32自由度仿生机械手臂(包括机械手和机械臂)，做出相应手语的手势动作更加准确、规范，可使聋哑人准确领会正常人传递出来的信息。
[0017]根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
【附图说明】
[0018]后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中:
图1是根据本发明一个实施例的语音仿生手语双向翻译系统的示意性结构图；
图2是根据本发明一个实施例的语音仿生手语双向翻译系统中机械手的示意性结 构图；
图3是图2所不机械手的不意性局部结构图；
图4是根据本发明一个实施例的语音仿生手语双向翻译系统中机械臂和机械手组合后的示意性结构图。
【具体实施方式】
[0019]图1是根据本发明一个实施例的语音仿生手语双向翻译系统的示意性结构图。如图1所示，本发明实施例提供了一种语音仿生手语双向翻译系统，其可包括手语动作识别装置20、文字或语言输出装置、接收装置40、仿生手语输出装置60和控制装置。手语动作识别装置20可配置成识别手语发出者的手势动作。文字或语言输出装置可配置成输出与手语动作识别装置20识别得到的手势动作相对应的文字或语音。接收装置40可配置成接收文字或语言发出者发出的文字或语音。仿生手语输出装置60可具有机械手63，且仿生手语输出装置60可配置成做出与接收装置40接收的文字或语音相对应的手语的手势动作。控制装置，与手语动作识别装置20、文字或语言输出装置、接收装置40和仿生手语输出装置60均通信连接，配置成:将手语动作识别装置20识别得到的手势动作翻译成相对应的文字或语言，以使文字或语言输出装置进行输出；和将接收装置40接收的文字或语言翻译成相对应的手语的手势动作，以使仿生手语输出装置60做出。
[0020]本发明实施例中的语音仿生手语双向翻译系统因为具有手语动作识别装置20、文字或语言输出装置、接收装置40、仿生手语输出装置60和控制装置，能够将聋哑人的手势动作转换成文字或语音，以供正常人接收聋哑人的信息；同时也能够将语音或文字转换成手语，以使聋哑人接收正常人的信息，克服了正常人与聋哑人之间的交流障碍，可广泛应用银行等公共领域，便于聋哑人正常办理业务。使用机械手63进行手语动作的三维表达，更直接、立体感强，可准确表达出正常人所要表达的意思，以防止由于平面、二位动画等显示的手语的手势动作不够清晰明了，使聋哑人不能够准确了解正常人的意思。
[0021]在本发明的一些实施例中，手语动作识别装置20包括手语手套21和设置于手语手套21上的传感器22，以检测手语发出者的手势动作。具体地，传感器22可为五条灵敏的弯曲传感器，位于五个手指的指背位置。控制装置可包括设置于手语动作识别装置20上的第一控制装置，以将手语动作识别装置20识别得到的手势动作翻译成相对应的文字或语言，以使文字或语言输出装置进行输出。具体地，第一控制装置可包括控制处理系统、WiFi模块MPU-6050模块和语音模块。文字或语言输出装置可包括扬声器和0LED显示器，设置于手语动作识别装置20上。进一步地，手语手套21上还可设置有锂电池、开关和功能按键。当聋哑人带上手语手套21做出手势动作时，位于手指背部的五条弯曲传感器分别读取出每个手指所处的状态。MPU-6050模块能够读取出手在空间中XYZ坐标的加速度，在一个过程中，处理器将此加速度进行积分可得到手的速度，将速度再次积分可得到手在空间中运动的路程即空间轨迹，从而计算出聋哑人胳膊的运动状态。处理器将读取的手指、手掌631和手臂的运动状态与写好的本地内存数据库进行匹配或通过WIFI与互联网数据库进行匹配，得到相对应的短语及词组文本数据，在高分辨率的0LED显示器上显示出翻译出的汉语句子，同时，通过语音模块将文本信息转换为语音，通过扬声器播放出来。在该实施例中，控制装置还包括设置于仿生手语输出装置60上的第二控制装置，以将接收装置40接收的文字或语言翻译成相对应的手语的手势动作，以使仿生手语输出装置60做出；且接收装置40设置于仿生手语输出装置60上。
[0022]在本发明的另一些实施例中，手语动作识别装置20和控制装置均包括无线传输模块。无线传输模块可为蓝牙模块或wifi模块。控制装置、文字或语言输出装置和接收装置40均可设置于仿生手语输出装置60上。当聋哑人带上手语手套21做出手势动作时，位于手指背部的五条弯曲传感器22分别读取出每个手指所处的状态，并通过无线传输模块将信息传递给控制装置，控制将手语动作识别装置20识别得到的手势动作翻译成相对应的文字或语言，并通过设置于仿生手语输出装置60上的显示装置64和/或扬声器表达出。在本发明的一些替代性实施例中，手语动作识别装置20也可为摄像头，安装于仿生手语输出装置60。
[0023]在本发明的一些替代性实施例中，仿生手语输出装置60可为机器人，其可包括机身61、安装于机身61的两个机械臂62、以及分别安装于两个机械臂62的上述机械手63。
[0024]如图2和图3所不，每个机械手63包括手掌631、第一手指632、第一电机633、第一條伸驱动机构、多个第二手指636、多个第三电机637和多个第二蜷伸驱动机构。
[0025]第一手指632可为拇指，其具有枢接于手掌631的第一指节、枢接于第一指节的第二指节和枢接于第二指节的第三指节。第一电机633可配置成驱动第一指节相对于手掌631转动，以使第一手指632进行扭转运动。第一蜷伸驱动机构可具有第一拉线634、拉线管639、第一复位装置和安装于手掌631的第二电机635，配置成驱动第一手指632进行蜷伸运动。第一拉线可为钢丝线，拉线管639可为软簧管。第一复位装置包括两个扭簧，一个扭簧安装于第一指节和第二指节，另一扭簧安装于第二指节和第三指节。
[0026]多个第二手指636可为四个，分别为食指、中指、无名指和小指；也可为其中的部分，例如三个，分别为食指、中指和无名指。每个第二手指636具有枢接于手掌631的连接块、枢接于连接块的第四指节、枢接于第四指节的第五指节和枢接于第五指节的第六指节。每个第三电机637配置成驱动一个连接块相对于手掌631转动，以使每个第二手指636进行摆动。每个第二蜷伸驱动机构具有第二拉线、拉线管639、第二复位装置和安装于手掌631的第四电机638，配置成驱动一个第二手指636进行蜷伸运动。每个第二复位装置包括三个扭簧，一个扭簧安装于连接块和第四指节，另一扭簧安装于第四指节和第五指节，第三个扭簧安装于第五指节和第六指节。
[0027]如图4所示，每个机械臂62包括连接件621、第五电机、第一手臂段622、第六电机、第二手臂段623、第七电机、第三手臂段624、第八电机、第四手臂段625、第九电机和第十电机。连接件621可转动地安装于机身61;第五电机，安装于机身61，配置成连接件621相对于机身61转动。第一手臂段622可转动地安装于连接件621;第六电机安装于机身61，配置成带动第一手臂段622相对于连接件621转动。第二手臂段623可转动地安装于第一手臂段622;第七电机安装于第一手臂段622，配置成带动第二手臂段623相对于第一手臂段622转动。第三手臂段624可转动地安装于第二手臂段623;第八电机安装于第二手臂段623，配置成带动第三手臂段624相对于第二手臂段623转动。第四手臂段625可转动地安装于第三手臂段624;第九电机安装于第三手臂段624，配置成带动第四手臂段625相对于第三手臂段624转动。每个机械手63的手掌631可转动地安装于一个机械臂62的第四手臂段625;第十电机安装于第四手臂段625，配置成带动机械手63相对于第四手臂段625转动。
[0028]优选地，第一电机633、第二电机635、每个第三电机637、每个第四电机638、第五电机、第六电机、第七电机、第八电机、第九 电机和第十电机均为舵机。
[0029]每个机械手63和机械臂62的组合件也可被称为仿生机械手臂，其有16个电机控制，可构成32自由度的仿生灵巧机械手臂，做出相应手语的手势动作更加准确、规范，可使聋哑人准确领会正常人传递出来的信息。
[0030]在该实施例中，接收装置40包括麦克风，设置于机身61上。机身61上还设置有显示装置64，以显示接收装置40接收的文字信息或与接收装置40接收的语音相对应的文字信息。文字或语言输出装置包括扬声器，设置于机身61。正常人说出语音时，麦克风接收音频，机器人内部的数据处理器进行解码，与本地内存数据库进行对照或通过WIFI连接互联网，在互联网数据库中进行匹配找到对应的文本信息，将文本信息显示在机器人显示装置64上，并处理匹配到数据库中相应短语词组对应的机械手臂运动控制参数，通过32自由度仿生机械手臂做出相应手语，使得聋哑人明白正常人所要表达的意思。
[0031]至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
【主权项】
1.一种语音仿生手语双向翻译系统，其特征在于，包括: 手语动作识别装置，配置成识别手语发出者的手势动作； 文字或语言输出装置，配置成输出与所述手语动作识别装置识别得到的手势动作相对应的文字或语音； 接收装置，配置成接收文字或语言发出者发出的文字或语音； 具有机械手的仿生手语输出装置，配置成做出与所述接收装置接收的文字或语音相对应的手语的手势动作；以及 控制装置，与所述手语动作识别装置、所述文字或语言输出装置、所述接收装置和所述仿生手语输出装置均通信连接，配置成: 将所述手语动作识别装置识别得到的手势动作翻译成相对应的文字或语言，以使所述文字或语言输出装置进行输出；和 将所述接收装置接收的文字或语言翻译成相对应的手语的手势动作，以使所述仿生手语输出装置做出。2.根据权利要求1所述的语音仿生手语双向翻译系统，其特征在于， 所述机械手为两个，每个所述机械手包括: 手掌; 第一手指，其具有枢接于所述手掌的第一指节、枢接于所述第一指节的第二指节和枢接于所述第二指节的第三指节； 第一电机，配置成驱动所述第一指节相对于所述手掌转动，以使所述第一手指进行扭转运动； 第一蜷伸驱动机构，其具有第一拉线、第一复位装置和安装于所述手掌的第二电机，配置成驱动所述第一手指进行蜷伸运动； 多个第二手指，每个所述第二手指具有枢接于所述手掌的连接块、枢接于所述连接块的第四指节、枢接于所述第四指节的第五指节和枢接于所述第五指节的第六指节； 多个第三电机，每个所述第三电机配置成驱动一个所述连接块相对于所述手掌转动，以使每个所述第二手指进行摆动； 多个第二蜷伸驱动机构，每个所述第二蜷伸驱动机构具有第二拉线、第二复位装置和安装于所述手掌的第四电机，配置成驱动一个所述第二手指进行蜷伸运动。3.根据权利要求2所述的语音仿生手语双向翻译系统，其特征在于， 所述第一复位装置包括两个扭簧，一个扭簧安装于所述第一指节和所述第二指节，另一扭簧安装于所述第二指节和所述第三指节； 每个所述第二复位装置包括三个扭簧，一个扭簧安装于所述连接块和所述第四指节，另一扭簧安装于所述第四指节和所述第五指节，第三个扭簧安装于所述第五指节和所述第六指节； 所述第一蜷伸驱动机构和每个所述第二蜷伸驱动机构均还包括拉线管。4.根据权利要求2所述的语音仿生手语双向翻译系统，其特征在于，所述仿生手语输出装置还包括机身和安装于所述机身的两个机械臂，且每个所述机械臂包括: 连接件，可转动地安装于所述机身； 第五电机，安装于所述机身，配置成所述连接件相对于所述机身转动； 第一手臂段，可转动地安装于所述连接件； 第六电机，安装于所述机身，配置成带动所述第一手臂段相对于所述连接件转动； 第二手臂段，可转动地安装于所述第一手臂段； 第七电机，安装于所述第一手臂段，配置成带动所述第二手臂段相对于所述第一手臂段转动； 第三手臂段，可转动地安装于所述第二手臂段； 第八电机，安装于所述第二手臂段，配置成带动所述第三手臂段相对于所述第二手臂段转动； 第四手臂段，可转动地安装于所述第三手臂段，且每个所述机械手的手掌可转动地安装于一个所述机械臂的第四手臂段； 第九电机，安装于所述第三手臂段，配置成带动所述第四手臂段相对于所述第三手臂段转动； 第十电机，安装于所述第四手臂段，配置成带动所述机械手相对于所述第四手臂段转动。5.根据权利要求4所述的语音仿生手语双向翻译系统，其特征在于， 所述第一电机、所述第二电机、每个所述第三电机、每个所述第四电机、第五电机、第六电机、第七电机、第八电机、第九电机和第十电机均为舵机。6.根据权利要求4所述的语音仿生手语双向翻译系统，其特征在于，所述机身上还设置有显示装置，以显示所述接收装置接收的文字信息或与所述接收装置接收的语音相对应的文字信息。7.根据权利要求4所述的语音仿生手语双向翻译系统，其特征在于， 所述接收装置包括麦克风，设置于所述机身； 所述文字或语言输出装置包括扬声器，设置于所述机身。8.根据权利要求1所述的语音仿生手语双向翻译系统，其特征在于， 手语动作识别装置包括手语手套和设置于手语手套上的传感器，以检测手语发出者的手势动作。9.根据权利要求1所述的语音仿生手语双向翻译系统，其特征在于， 所述手语动作识别装置和所述控制装置均包括无线传输模块。10.根据权利要求1所述的语音仿生手语双向翻译系统，其特征在于， 所述控制装置包括: 设置于所述手语动作识别装置上的第一控制装置，以将所述手语动作识别装置识别得到的手势动作翻译成相对应的文字或语言，以使所述文字或语言输出装置进行输出；和设置于所述仿生手语输出装置上的第二控制装置，以将所述接收装置接收的文字或语言翻译成相对应的手语的手势动作，以使所述仿生手语输出装置做出;且所述文字或语言输出装置设置于所述手语动作识别装置上； 所述接收装置设置于所述仿生手语输出装置上。
【专利摘要】本发明提供了一种语音仿生手语双向翻译系统，其包括：手语动作识别装置，配置成识别手语发出者的手势动作；文字或语言输出装置，配置成输出与手语动作识别装置识别得到的手势动作相对应的文字或语音；接收装置，配置成接收文字或语言发出者发出的文字或语音；具有机械手的仿生手语输出装置，配置成做出与接收装置接收的文字或语音相对应的手语的手势动作；以及控制装置。该语音仿生手语双向翻译系统，能够将聋哑人的手势动作转换成文字或语音，同时也能够将语音或文字转换成手语，克服了正常人与聋哑人之间的交流障碍；且使用机械手进行手语动作的三维表达，更直接、立体感强，可准确表达出正常人所要表达的意思。
【IPC分类】G09B21/04
【公开号】CN105489088
【申请号】CN201610020192
【发明人】宋纪元, 李浩亮, 孙宇, 卞甘甜, 陈本海, 房兆琦, 宋静静, 王石磊, 徐科飞
【申请人】宋纪元, 李浩亮, 孙宇, 卞甘甜, 陈本海, 房兆琦, 宋静静, 王石磊, 徐科飞
【公开日】2016年4月13日
【申请日】2016年1月13日
【技术领域】
[0001]本发明涉及手语翻译技术领域，特别是涉及一种语音仿生手语双向翻译系统。
【背景技术】
[0002]现实生活中，正常人既可以获得视觉信息也可以获得听觉信息，聋哑人则只能利用视觉信息。正常人与聋哑人通常以手语作为媒介进行交流，但绝大多数正常人对手语知之甚少，根本无法与聋哑人进行会话，使得正常人与聋哑人之间存在难以克服的交流障碍。
【发明内容】
[0003]本发明的目的旨在克服正常人与聋哑人的交流障碍，提供一种语音仿生手语双向翻译系统。
[0004]特别地，本发明提供了一种语音仿生手语双向翻译系统，其包括:
手语动作识别装置，配置成识别手语发出者的手势动作；
文字或语言输出装置，配置成输出与所述手语动作识别装置识别得到的手势动作相对应的文字或语音；
接收装置，配置成接收文字或语言发出者发出的文字或语音；
具有机械手的仿生手语输出装置，配置成做出与所述接收装置接收的文字或语音相对应的手语的手势动作；以及
控制装置，与所述手语动作识别装置、所述文字或语言输出装置、所述接收装置和所述仿生手语输出装置均通信连接，配置成:
将所述手语动作识别装置识别得到的手势动作翻译成相对应的文字或语言，以使所述文字或语言输出装置进行输出；和
将所述接收装置接收的文字或语言翻译成相对应的手语的手势动作，以使所述仿生手语输出装置做出。
[0005]可选地，所述机械手为两个，每个所述机械手包括:
手掌;
第一手指，其具有枢接于所述手掌的第一指节、枢接于所述第一指节的第二指节和枢接于所述第二指节的第三指节；
第一电机，配置成驱动所述第一指节相对于所述手掌转动，以使所述第一手指进行摆动；
第一蜷伸驱动机构，其具有第一拉线、第一复位装置和安装于所述手掌的第二电机，配置成驱动所述第一手指进行蜷伸运动；
多个第二手指，每个所述第二手指具有枢接于所述手掌的连接块、枢接于所述连接块的第四指节、枢接于所述第四指节的第五指节和枢接于所述第五指节的第六指节；
多个第三电机，每个所述第三电机配置成驱动一个所述连接块相对于所述手掌转动，以使每个所述第二手指进行摆动； 多个第二蜷伸驱动机构，每个所述第二蜷伸驱动机构具有第二拉线、第二复位装置和安装于所述手掌的第四电机，配置成驱动一个所述第二手指进行蜷伸运动。
[0006]可选地，所述第一复位装置包括两个扭簧，一个扭簧安装于所述第一指节和所述第二指节，另一扭簧安装于所述第二指节和所述第三指节；
每个所述第二复位装置包括三个扭簧，一个扭簧安装于所述连接块和所述第四指节，另一扭簧安装于所述第四指节和所述第五指节，第三个扭簧安装于所述第五指节和所述第六指节；
所述第一蜷伸驱动机构和每个所述第二蜷伸驱动机构均还包括拉线管。
[0007]可选地，所述仿生手语输出装置还包括机身和安装于所述机身的两个机械臂，且每个所述机械臂包括:
连接件，可转动地安装于所述机身；
第五电机，安装于所述机身，配置成所述连接件相对于所述机身转动；
第一手臂段，可转动地安装于所述连接件；
第六电机，安装于所述机身，配置成带动所述第一手臂段相对于所述连接件转动；
第二手臂段，可转动地安装于所述第一手臂段；
第七电机，安装于所述第一手臂段，配置成带动所述第二手臂段相对于所述第一手臂段转动；
第三手臂段，可转动地安装于所述第二手臂段；
第八电机，安装于所述第二手臂段，配置成带动所述第三手臂段相对于所述第二手臂段转动；
第四手臂段，可转动地安装于所述第三手臂段，且每个所述机械手的手掌可转动地安装于一个所述机械臂的第四手臂段；
第九电机，安装于所述第三手臂段，配置成带动所述第四手臂段相对于所述第三手臂段转动；
第十电机，安装于所述第四手臂段，配置成带动所述机械手相对于所述第四手臂段转动。
[0008]可选地，所述第一电机、所述第二电机、每个所述第三电机、每个所述第四电机、第五电机、第六电机、第七电机、第八电机、第九电机和第十电机均为舵机。
[0009]可选地，所述机身上还设置有显示装置，以显示所述接收装置接收的文字信息或与所述接收装置接收的语音相对应的文字信息。
[0010]可选地，所述接收装置包括麦克风，设置于所述机身；
所述文字或语言输出装置包括扬声器，设置于所述机身。
[0011]可选地，手语动作识别装置包括手语手套和设置于手语手套上的传感器，以检测手语发出者的手势动作。
[0012]可选地，所述手语动作识别装置和所述控制装置均包括无线传输模块。
[0013]可选地，所述控制装置包括:
设置于所述手语动作识别装置上的第一控制装置，以将所述手语动作识别装置识别得到的手势动作翻译成相对应的文字或语言，以使所述文字或语言输出装置进行输出；和设置于所述仿生手语输出装置上的第二控制装置，以将所述接收装置接收的文字或语言翻译成相对应的手语的手势动作，以使所述仿生手语输出装置做出;且所述文字或语言输出装置设置于所述手语动作识别装置上；
所述接收装置设置于所述仿生手语输出装置上。
[0014]本发明的语音仿生手语双向翻译系统因为具有手语动作识别装置、文字或语言输出装置、接收装置、仿生手语输出装置和控制装置，能够将聋哑人的手势动作转换成文字或语音，以供正常人接收聋哑人的信息；同时也能够将语音或文字转换成手语，以使聋哑人接收正常人的信息，克服了正常人与聋哑人之间的交流障碍，可广泛应用银行等公共领域，便于聋哑人正常办理业务。使用机械手进行手语动作的三维表达，更直接、立体感强，可准确表达出正常人所要表达的意思，以防止由于平面、二位动画等显示的手语的手势动作不够清晰明了，使聋哑人不能够准确了解正常人的意思。
[0015]进一步地，本发明的语音仿生手语双向翻译系统因为采用手语手套，可准确检测手语发出者的手势动作，从而能够对手势动作进行更加精确的翻译，以使聋哑人的意思表达更准确。
[0016]进一步地，本发明的语音仿生手语双向翻译系统中因为仿生手语输出装置可为32自由度仿生机械手臂(包括机械手和机械臂)，做出相应手语的手势动作更加准确、规范，可使聋哑人准确领会正常人传递出来的信息。
[0017]根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
【附图说明】
[0018]后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中:
图1是根据本发明一个实施例的语音仿生手语双向翻译系统的示意性结构图；
图2是根据本发明一个实施例的语音仿生手语双向翻译系统中机械手的示意性结 构图；
图3是图2所不机械手的不意性局部结构图；
图4是根据本发明一个实施例的语音仿生手语双向翻译系统中机械臂和机械手组合后的示意性结构图。
【具体实施方式】
[0019]图1是根据本发明一个实施例的语音仿生手语双向翻译系统的示意性结构图。如图1所示，本发明实施例提供了一种语音仿生手语双向翻译系统，其可包括手语动作识别装置20、文字或语言输出装置、接收装置40、仿生手语输出装置60和控制装置。手语动作识别装置20可配置成识别手语发出者的手势动作。文字或语言输出装置可配置成输出与手语动作识别装置20识别得到的手势动作相对应的文字或语音。接收装置40可配置成接收文字或语言发出者发出的文字或语音。仿生手语输出装置60可具有机械手63，且仿生手语输出装置60可配置成做出与接收装置40接收的文字或语音相对应的手语的手势动作。控制装置，与手语动作识别装置20、文字或语言输出装置、接收装置40和仿生手语输出装置60均通信连接，配置成:将手语动作识别装置20识别得到的手势动作翻译成相对应的文字或语言，以使文字或语言输出装置进行输出；和将接收装置40接收的文字或语言翻译成相对应的手语的手势动作，以使仿生手语输出装置60做出。
[0020]本发明实施例中的语音仿生手语双向翻译系统因为具有手语动作识别装置20、文字或语言输出装置、接收装置40、仿生手语输出装置60和控制装置，能够将聋哑人的手势动作转换成文字或语音，以供正常人接收聋哑人的信息；同时也能够将语音或文字转换成手语，以使聋哑人接收正常人的信息，克服了正常人与聋哑人之间的交流障碍，可广泛应用银行等公共领域，便于聋哑人正常办理业务。使用机械手63进行手语动作的三维表达，更直接、立体感强，可准确表达出正常人所要表达的意思，以防止由于平面、二位动画等显示的手语的手势动作不够清晰明了，使聋哑人不能够准确了解正常人的意思。
[0021]在本发明的一些实施例中，手语动作识别装置20包括手语手套21和设置于手语手套21上的传感器22，以检测手语发出者的手势动作。具体地，传感器22可为五条灵敏的弯曲传感器，位于五个手指的指背位置。控制装置可包括设置于手语动作识别装置20上的第一控制装置，以将手语动作识别装置20识别得到的手势动作翻译成相对应的文字或语言，以使文字或语言输出装置进行输出。具体地，第一控制装置可包括控制处理系统、WiFi模块MPU-6050模块和语音模块。文字或语言输出装置可包括扬声器和0LED显示器，设置于手语动作识别装置20上。进一步地，手语手套21上还可设置有锂电池、开关和功能按键。当聋哑人带上手语手套21做出手势动作时，位于手指背部的五条弯曲传感器分别读取出每个手指所处的状态。MPU-6050模块能够读取出手在空间中XYZ坐标的加速度，在一个过程中，处理器将此加速度进行积分可得到手的速度，将速度再次积分可得到手在空间中运动的路程即空间轨迹，从而计算出聋哑人胳膊的运动状态。处理器将读取的手指、手掌631和手臂的运动状态与写好的本地内存数据库进行匹配或通过WIFI与互联网数据库进行匹配，得到相对应的短语及词组文本数据，在高分辨率的0LED显示器上显示出翻译出的汉语句子，同时，通过语音模块将文本信息转换为语音，通过扬声器播放出来。在该实施例中，控制装置还包括设置于仿生手语输出装置60上的第二控制装置，以将接收装置40接收的文字或语言翻译成相对应的手语的手势动作，以使仿生手语输出装置60做出；且接收装置40设置于仿生手语输出装置60上。
[0022]在本发明的另一些实施例中，手语动作识别装置20和控制装置均包括无线传输模块。无线传输模块可为蓝牙模块或wifi模块。控制装置、文字或语言输出装置和接收装置40均可设置于仿生手语输出装置60上。当聋哑人带上手语手套21做出手势动作时，位于手指背部的五条弯曲传感器22分别读取出每个手指所处的状态，并通过无线传输模块将信息传递给控制装置，控制将手语动作识别装置20识别得到的手势动作翻译成相对应的文字或语言，并通过设置于仿生手语输出装置60上的显示装置64和/或扬声器表达出。在本发明的一些替代性实施例中，手语动作识别装置20也可为摄像头，安装于仿生手语输出装置60。
[0023]在本发明的一些替代性实施例中，仿生手语输出装置60可为机器人，其可包括机身61、安装于机身61的两个机械臂62、以及分别安装于两个机械臂62的上述机械手63。
[0024]如图2和图3所不，每个机械手63包括手掌631、第一手指632、第一电机633、第一條伸驱动机构、多个第二手指636、多个第三电机637和多个第二蜷伸驱动机构。
[0025]第一手指632可为拇指，其具有枢接于手掌631的第一指节、枢接于第一指节的第二指节和枢接于第二指节的第三指节。第一电机633可配置成驱动第一指节相对于手掌631转动，以使第一手指632进行扭转运动。第一蜷伸驱动机构可具有第一拉线634、拉线管639、第一复位装置和安装于手掌631的第二电机635，配置成驱动第一手指632进行蜷伸运动。第一拉线可为钢丝线，拉线管639可为软簧管。第一复位装置包括两个扭簧，一个扭簧安装于第一指节和第二指节，另一扭簧安装于第二指节和第三指节。
[0026]多个第二手指636可为四个，分别为食指、中指、无名指和小指；也可为其中的部分，例如三个，分别为食指、中指和无名指。每个第二手指636具有枢接于手掌631的连接块、枢接于连接块的第四指节、枢接于第四指节的第五指节和枢接于第五指节的第六指节。每个第三电机637配置成驱动一个连接块相对于手掌631转动，以使每个第二手指636进行摆动。每个第二蜷伸驱动机构具有第二拉线、拉线管639、第二复位装置和安装于手掌631的第四电机638，配置成驱动一个第二手指636进行蜷伸运动。每个第二复位装置包括三个扭簧，一个扭簧安装于连接块和第四指节，另一扭簧安装于第四指节和第五指节，第三个扭簧安装于第五指节和第六指节。
[0027]如图4所示，每个机械臂62包括连接件621、第五电机、第一手臂段622、第六电机、第二手臂段623、第七电机、第三手臂段624、第八电机、第四手臂段625、第九电机和第十电机。连接件621可转动地安装于机身61;第五电机，安装于机身61，配置成连接件621相对于机身61转动。第一手臂段622可转动地安装于连接件621;第六电机安装于机身61，配置成带动第一手臂段622相对于连接件621转动。第二手臂段623可转动地安装于第一手臂段622;第七电机安装于第一手臂段622，配置成带动第二手臂段623相对于第一手臂段622转动。第三手臂段624可转动地安装于第二手臂段623;第八电机安装于第二手臂段623，配置成带动第三手臂段624相对于第二手臂段623转动。第四手臂段625可转动地安装于第三手臂段624;第九电机安装于第三手臂段624，配置成带动第四手臂段625相对于第三手臂段624转动。每个机械手63的手掌631可转动地安装于一个机械臂62的第四手臂段625;第十电机安装于第四手臂段625，配置成带动机械手63相对于第四手臂段625转动。
[0028]优选地，第一电机633、第二电机635、每个第三电机637、每个第四电机638、第五电机、第六电机、第七电机、第八电机、第九 电机和第十电机均为舵机。
[0029]每个机械手63和机械臂62的组合件也可被称为仿生机械手臂，其有16个电机控制，可构成32自由度的仿生灵巧机械手臂，做出相应手语的手势动作更加准确、规范，可使聋哑人准确领会正常人传递出来的信息。
[0030]在该实施例中，接收装置40包括麦克风，设置于机身61上。机身61上还设置有显示装置64，以显示接收装置40接收的文字信息或与接收装置40接收的语音相对应的文字信息。文字或语言输出装置包括扬声器，设置于机身61。正常人说出语音时，麦克风接收音频，机器人内部的数据处理器进行解码，与本地内存数据库进行对照或通过WIFI连接互联网，在互联网数据库中进行匹配找到对应的文本信息，将文本信息显示在机器人显示装置64上，并处理匹配到数据库中相应短语词组对应的机械手臂运动控制参数，通过32自由度仿生机械手臂做出相应手语，使得聋哑人明白正常人所要表达的意思。
[0031]至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
【主权项】
1.一种语音仿生手语双向翻译系统，其特征在于，包括: 手语动作识别装置，配置成识别手语发出者的手势动作； 文字或语言输出装置，配置成输出与所述手语动作识别装置识别得到的手势动作相对应的文字或语音； 接收装置，配置成接收文字或语言发出者发出的文字或语音； 具有机械手的仿生手语输出装置，配置成做出与所述接收装置接收的文字或语音相对应的手语的手势动作；以及 控制装置，与所述手语动作识别装置、所述文字或语言输出装置、所述接收装置和所述仿生手语输出装置均通信连接，配置成: 将所述手语动作识别装置识别得到的手势动作翻译成相对应的文字或语言，以使所述文字或语言输出装置进行输出；和 将所述接收装置接收的文字或语言翻译成相对应的手语的手势动作，以使所述仿生手语输出装置做出。2.根据权利要求1所述的语音仿生手语双向翻译系统，其特征在于， 所述机械手为两个，每个所述机械手包括: 手掌; 第一手指，其具有枢接于所述手掌的第一指节、枢接于所述第一指节的第二指节和枢接于所述第二指节的第三指节； 第一电机，配置成驱动所述第一指节相对于所述手掌转动，以使所述第一手指进行扭转运动； 第一蜷伸驱动机构，其具有第一拉线、第一复位装置和安装于所述手掌的第二电机，配置成驱动所述第一手指进行蜷伸运动； 多个第二手指，每个所述第二手指具有枢接于所述手掌的连接块、枢接于所述连接块的第四指节、枢接于所述第四指节的第五指节和枢接于所述第五指节的第六指节； 多个第三电机，每个所述第三电机配置成驱动一个所述连接块相对于所述手掌转动，以使每个所述第二手指进行摆动； 多个第二蜷伸驱动机构，每个所述第二蜷伸驱动机构具有第二拉线、第二复位装置和安装于所述手掌的第四电机，配置成驱动一个所述第二手指进行蜷伸运动。3.根据权利要求2所述的语音仿生手语双向翻译系统，其特征在于， 所述第一复位装置包括两个扭簧，一个扭簧安装于所述第一指节和所述第二指节，另一扭簧安装于所述第二指节和所述第三指节； 每个所述第二复位装置包括三个扭簧，一个扭簧安装于所述连接块和所述第四指节，另一扭簧安装于所述第四指节和所述第五指节，第三个扭簧安装于所述第五指节和所述第六指节； 所述第一蜷伸驱动机构和每个所述第二蜷伸驱动机构均还包括拉线管。4.根据权利要求2所述的语音仿生手语双向翻译系统，其特征在于，所述仿生手语输出装置还包括机身和安装于所述机身的两个机械臂，且每个所述机械臂包括: 连接件，可转动地安装于所述机身； 第五电机，安装于所述机身，配置成所述连接件相对于所述机身转动； 第一手臂段，可转动地安装于所述连接件； 第六电机，安装于所述机身，配置成带动所述第一手臂段相对于所述连接件转动； 第二手臂段，可转动地安装于所述第一手臂段； 第七电机，安装于所述第一手臂段，配置成带动所述第二手臂段相对于所述第一手臂段转动； 第三手臂段，可转动地安装于所述第二手臂段； 第八电机，安装于所述第二手臂段，配置成带动所述第三手臂段相对于所述第二手臂段转动； 第四手臂段，可转动地安装于所述第三手臂段，且每个所述机械手的手掌可转动地安装于一个所述机械臂的第四手臂段； 第九电机，安装于所述第三手臂段，配置成带动所述第四手臂段相对于所述第三手臂段转动； 第十电机，安装于所述第四手臂段，配置成带动所述机械手相对于所述第四手臂段转动。5.根据权利要求4所述的语音仿生手语双向翻译系统，其特征在于， 所述第一电机、所述第二电机、每个所述第三电机、每个所述第四电机、第五电机、第六电机、第七电机、第八电机、第九电机和第十电机均为舵机。6.根据权利要求4所述的语音仿生手语双向翻译系统，其特征在于，所述机身上还设置有显示装置，以显示所述接收装置接收的文字信息或与所述接收装置接收的语音相对应的文字信息。7.根据权利要求4所述的语音仿生手语双向翻译系统，其特征在于， 所述接收装置包括麦克风，设置于所述机身； 所述文字或语言输出装置包括扬声器，设置于所述机身。8.根据权利要求1所述的语音仿生手语双向翻译系统，其特征在于， 手语动作识别装置包括手语手套和设置于手语手套上的传感器，以检测手语发出者的手势动作。9.根据权利要求1所述的语音仿生手语双向翻译系统，其特征在于， 所述手语动作识别装置和所述控制装置均包括无线传输模块。10.根据权利要求1所述的语音仿生手语双向翻译系统，其特征在于， 所述控制装置包括: 设置于所述手语动作识别装置上的第一控制装置，以将所述手语动作识别装置识别得到的手势动作翻译成相对应的文字或语言，以使所述文字或语言输出装置进行输出；和设置于所述仿生手语输出装置上的第二控制装置，以将所述接收装置接收的文字或语言翻译成相对应的手语的手势动作，以使所述仿生手语输出装置做出;且所述文字或语言输出装置设置于所述手语动作识别装置上； 所述接收装置设置于所述仿生手语输出装置上。
【专利摘要】本发明提供了一种语音仿生手语双向翻译系统，其包括：手语动作识别装置，配置成识别手语发出者的手势动作；文字或语言输出装置，配置成输出与手语动作识别装置识别得到的手势动作相对应的文字或语音；接收装置，配置成接收文字或语言发出者发出的文字或语音；具有机械手的仿生手语输出装置，配置成做出与接收装置接收的文字或语音相对应的手语的手势动作；以及控制装置。该语音仿生手语双向翻译系统，能够将聋哑人的手势动作转换成文字或语音，同时也能够将语音或文字转换成手语，克服了正常人与聋哑人之间的交流障碍；且使用机械手进行手语动作的三维表达，更直接、立体感强，可准确表达出正常人所要表达的意思。
【IPC分类】G09B21/04
【公开号】CN105489088
【申请号】CN201610020192
【发明人】宋纪元, 李浩亮, 孙宇, 卞甘甜, 陈本海, 房兆琦, 宋静静, 王石磊, 徐科飞
【申请人】宋纪元, 李浩亮, 孙宇, 卞甘甜, 陈本海, 房兆琦, 宋静静, 王石磊, 徐科飞
【公开日】2016年4月13日
【申请日】2016年1月13日
最新回复(0)