眼控装置及其眼控方法和眼控系统的制作方法

xiaoxiao2020-11-9  8

眼控装置及其眼控方法和眼控系统的制作方法
【技术领域】
[0001] 本发明设及显示技术领域,特别设及一种眼控装置及其眼控方法和眼控系统。
【背景技术】
[0002] 探索自然和谐的人机关系已成为计算机研究的一个重要领域,自然、高效、智能化 的人机交互界面是当今计算机发展的重要趋势。但是,对于残障人±或者双手暂时没有空 闲(例如双手正在进行洗漱、做饭、吃饭等活动)进行操作的用户,利用输入设备(例如鼠 标、键盘、操作器等)实现人机交互就非常困难。
[0003] 在人机交互领域中,眼睛作为又一种重要的信息交互通道,而视线反应人的注意 方向,因而将视线应用于人机交互领域具有其自然性、直接性和交互性等特点,备受人们的 关注,因此如何基于人眼的动作来实现人机交互是亟需解决的技术问题。

【发明内容】

[0004] 本发明提供一种眼控装置及其眼控方法和眼控系统,可基于人眼的动作来对待操 作器件进行控制。
[0005] 为实现上述目的,本发明提供了一种眼控装置,包括:
[0006] 注视点获取单元,用于获取人眼在待操作器件上的注视点的位置信息;
[0007] 人眼动作检测单元,用于检测人眼是否作出预设动作,并在检测出人眼作出预设 动作时,控制所述注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发 送给控制信号生成单元;
[000引控制信号生成单元,用于根据预先存储的与所述待操作器件相应的位置控制对应 表生成与所述当前位置信息相对应的控制信号,并将所述控制信号发送至待操作器件W供 所述待操作器件执行相应的操作;
[0009] 所述位置控制对应表中存储有所述待操作器件上的不同位置信息和与所述位置 信息相对应的控制信号。
[0010] 可选地,所述注视点获取单元包括:
[0011] 红外发射模块,设置于所述待操作器件上,用于向人眼发射红外光,并在人眼的两 个瞳孔中形成光反射点;
[0012] 第一人眼图像获取模块,设置于所述待操作器件上,用于获取人眼图像;
[0013] 图像处理模块,用于基于所述人眼图像建立图像坐标系,并对所述人眼图像进行 处理W获得两个瞳孔中屯、和所述光反射点在所述图像坐标系中的坐标位置;
[0014] 计算模块,用于根据两个所述瞳孔中屯、和所述光反射点在所述图像坐标系中的坐 标,通过交比不变算法得到人眼在待操作器件上的注视点的位置信息。
[0015] 可选地,所述注视点获取单元包括:
[0016] 眼镜;
[0017] 场景获取模块,设置于所述眼镜上,用于获取人眼通过所述眼镜所看到的场景图 像,所述场景图像中包含有所述待操作器件的图像;
[001引第二人眼图像获取模块,设置于所述眼镜上,用于获取人眼图像;
[0019] 注视方向确定模块,用于根据所述人眼图像来确定人眼的注视方向;
[0020] 注视点确定模块,用于根据所述场景图像和所述注视方向来确定人眼在待操作器 件上的注视点的位置信息。
[0021] 为实现上述目的,本发明还提供了一种眼控系统,包括:若干个待操作器件和如上 述的眼控装置。
[0022] 可选地,当所述眼控装置采用权利要求2所述的眼控装置时,所述眼控装置中的 所述注视点获取单元的数量与所述待操作器件的数量相等,所述注视点获取单元与所述待 操作器件一一对应;
[0023] 所述注视点获取单元设置在对应的所述待操作器件上。
[0024] 可选地,所述眼控装置中的所述人眼动作检测单元的数量与所述待操作器件的数 量相等,所述人眼动作检测单元与所述待操作器件一一对应;
[0025] 所述人眼动作检测单元设置在对应的所述待操作器件上。
[0026] 可选地,当所述眼控装置采用权利要求3所述的眼控装置时,所述眼控装置中的 所述注视点获取单元的数量为1个;
[0027] 所述眼控系统还包括:与所述待操作器件一一对应的若干个激活单元,所述激活 单元设置在对应的所述待操作器件上;
[002引所述激活单元用于在所述注视点获取单元朝向与所述激活单元相对应的待操作 器件时激活所述眼控装置,并控制所述控制信号生成单元调用与所述激活单元相对应的待 操作器件相应的位置控制对应表。
[0029] 可选地,所述人眼动作检测单元的数量为1个,所述人眼动作检测单元设置在所 述眼镜上。
[0030] 为实现上述目的,本发明还提供了一种眼控方法,所述眼控方法基于眼控装置,所 述眼控装置采用上述的眼控装置,所述眼控方法包括:
[0031] 所述注视点获取单元获取人眼在待操作器件上的注视点的位置信息;
[0032] 所述人眼动作检测单元检测人眼是否作出预设动作,并在检测出人眼作出预设动 作时,控制所述注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送 给控制信号生成单元;
[0033] 所述控制信号生成单元根据预先存储的与所述待操作器件相应的位置控制对应 表生成与所述当前位置信息相对应的控制信号,并将所述控制信号发送至待操作器件W供 所述待操作器件执行相应的操作,所述位置控制对应表中存储有所述待操作器件上的各不 同位置信息和各位置信息对应的控制信号。
[0034] 本发明具有W下有益效果:
[0035] 本发明提供了一种眼控装置及其眼控方法和眼控系统,其中该眼控装置包括:注 视点获取单元、人眼动作检测单元和控制信号生成单元,注视点获取单元用于获取人眼在 待操作器件上的注视点的位置信息;人眼动作检测单元用于检测人眼是否作出预设动作, 并在检测出人眼作出预设动作时,控制注视点获取单元将当前人眼在待操作器件上的注视 点的当前位置信息发送给控制信号生成单元;控制信号生成单元用于根据预先存储的与待 操作器件相应的位置控制对应表生成与当前位置信息相对应的控制信号,并将控制信号发 送至待操作器件W供待操作器件执行相应的操作。本发明的技术方案可有效的实现利用人 眼来对待操作器件进行控制。
【附图说明】
[0036] 图1为本发明实施例一提供的一种眼控装置的结构示意图;
[0037] 图2为本发明实施例二中提供的眼控装置的具体应用示意图;
[003引图3为本发明中注视点获取单元的一种结构示意图
[0039] 图4为本发明中注视点获取单元的又一种结构示意图;
[0040] 图5为本发明实施例二提供的一种眼控系统的结构示意图;
[0041] 图6为本发明实施例二提供的又一种眼控系统的结构示意图;
[0042] 图7为本发明实施例S提供的一种眼控方法的流程图。
【具体实施方式】
[0043] 为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图对本发明提 供的眼控装置进行详细描述。
[0044] 图1为本发明实施例一提供的一种眼控装置的结构示意图,如图1所示,该眼控装 置包括:注视点获取单元1、人眼动作检测单元2和控制信号生成单元3,其中,注视点获取 单元1与人眼动作检测单元2和控制信号生成单元3连接。注视点获取单元1用于获取人 眼在待操作器上的注视点的位置信息;人眼动作检测单元2用于检测人眼是否作出预设动 作,并在检测出人眼作出预设动作时,控制注视点获取单元1将当前人眼在待操作器件上 的注视点的当前位置信息发送给控制信号生成单元3 ;控制信号生成单元3用于根据预先 存储的与待操作器件相应的位置控制对应表生成与当 前位置信息相对应的控制信号,并将 控制信号发送至待操作器件W供待操作器件执行相应的操作。需要说明的是,该位置控制 对应表中存储有待操作器件上的各不同位置信息和各位置信息对应的控制信号。
[0045] 本实施例中,首先通过注视点获取单元1获取人眼在待操作器件上的注视点的位 置信息,然后人眼动作检测单元2用于检测人眼是否作出预设动作,并在检测出人眼作出 预设动作时,将人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元3, 最后控制信号生成单元3根据与待操作器件相应的位置控制对应表生成与当前位置信息 相对应的控制信号,W供操作器件基于该控制信号执行相应的操作,从而实现眼控。
[0046] 需要说明的是,本发明中的待操作器件可W为手机、触控显示屏、PAD等电子设备。 本发明中的连接既可W为有线连接,也可W为无线连接。
[0047] 下面将结合实例来对本发明实现眼控的具体过程进行详细的描述。其中,假定待 操作器件为一个触控显示屏,该触控显示屏在显示区域内设置有一些位置固定的软按键, 在周边区域设置有一些位置固定的物理按键。
[0048] 图2为本发明实施例二中提供的眼控装置的具体应用示意图,如图2所示,在进行 眼控操作之前需要建立该触控显示屏4的位置控制对应表。需要说明的是,本实施例中W 位置控制对应表中的位置信息具体为坐标信息为例进行说明,但是本领域技术人员应该知 晓的是,本实施例中位置信息为坐标信息的情况仅起到示例性作用,该并不会对本申请的 技术方案产生限制。在本申请中,凡是能够用于描述注视点在待操作器件上的具体位置的 其他信息,也可作为注视点在待操作器件上的位置信息。
[0049]本实施例中,在建立位置控制对应表时,可该触控显示屏4的左下角为原点, W横向方向为X轴,纵向方向为Y轴,建立坐标系,然后将整个触控显示屏4进行坐标化,并 设置n个分布均匀的不同位置的采样点,具体地,可在触控显示屏4上选取n个不同位置的 采样点,该n个采样点构成一个a行、b列的采样阵列,在该个采样阵列中在任意两个在行 方向上或列方向上相邻的采样点之间的距离相等。需要说明的是,该些采样点应该覆盖触 控显示屏4上所有按键(软按键和物理案件)的位置。在设置完采样点之后,基于该些采 样点,设计出与该些采样点对应的控制信号,并将与待操作器件5相对应的位置控制对应 表存储于控制信号生成单元3中。其中,作为一种示例,该位置控制对应表的结构可参见下 述表1,如下:
[(K)加]表1 [0化1]
【主权项】
1. 一种眼控装置,其特征在于,包括: 注视点获取单元,用于获取人眼在待操作器件上的注视点的位置信息; 人眼动作检测单元,用于检测人眼是否作出预设动作,并在检测出人眼作出预设动作 时,控制所述注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送给 控制信号生成单元; 控制信号生成单元,用于根据预先存储的与所述待操作器件相应的位置控制对应表生 成与所述当前位置信息相对应的控制信号,并将所述控制信号发送至待操作器件以供所述 待操作器件执行相应的操作; 所述位置控制对应表中存储有所述待操作器件上的不同的位置信息和与所述位置信 息相对应的控制信号。
2. 根据权利要求1所述的眼控装置,其特征在于,所述注视点获取单元包括: 红外发射模块,设置于所述待操作器件上,用于向人眼发射红外光,并在人眼的两个瞳 孔中形成光反射点; 第一人眼图像获取模块,设置于所述待操作器件上,用于获取人眼图像; 图像处理模块,用于基于所述人眼图像建立图像坐标系,并对所述人眼图像进行处理 以获得两个瞳孔中心和所述光反射点在所述图像坐标系中的坐标位置; 计算模块,用于根据两个所述瞳孔中心和所述光反射点在所述图像坐标系中的坐标, 通过交比不变算法得到人眼在待操作器件上的注视点的位置信息。
3. 根据权利要求1所述的眼控装置,其特征在于,所述注视点获取单元包括: 眼镜; 场景获取模块,设置于所述眼镜上,用于获取人眼通过所述眼镜所看到的场景图像,所 述场景图像中包含有所述待操作器件的图像; 第二人眼图像获取模块,设置于所述眼镜上,用于获取人眼图像; 注视方向确定模块,用于根据所述人眼图像来确定人眼的注视方向; 注视点确定模块,用于根据所述场景图像和所述注视方向来确定人眼在待操作器件上 的注视点的位置信息。
4. 一种眼控系统,其特征在于,包括:若干个待操作器件和如上述权利要求1至3中任 一所述的眼控装置。
5. 根据权利要求4所述的眼控系统,其特征在于,当所述眼控装置采用权利要求2所述 的眼控装置时,所述眼控装置中的所述注视点获取单元的数量与所述待操作器件的数量相 等,所述注视点获取单元与所述待操作器件一一对应; 所述注视点获取单元设置在对应的所述待操作器件上。
6. 根据权利要求5所述的眼控系统,其特征在于,所述眼控装置中的所述人眼动作检 测单元的数量与所述待操作器件的数量相等,所述人眼动作检测单元与所述待操作器件 --对应; 所述人眼动作检测单元设置在对应的所述待操作器件上。
7. 根据权利要求4所述的眼控系统,其特征在于,当所述眼控装置采用权利要求3所述 的眼控装置时,所述眼控装置中的所述注视点获取单元的数量为1个; 所述眼控系统还包括:与所述待操作器件一一对应的若干个激活单元,所述激活单元 设置在对应的所述待操作器件上; 所述激活单元用于在所述注视点获取单元朝向与所述激活单元相对应的待操作器件 时激活所述眼控装置,并控制所述控制信号生成单元调用与所述激活单元相对应的待操作 器件的位置控制对应表。
8. 根据权利要求7所述的眼控系统,其特征在于,所述人眼动作检测单元的数量为1 个,所述人眼动作检测单元设置在所述眼镜上。
9. 一种眼控方法,其特征在于,所述眼控方法基于眼控装置,所述眼控装置采用上述权 利要求1-3中任一所述的眼控装置,所述眼控方法包括: 所述注视点获取单元获取人眼在待操作器件上的注视点的位置信息; 所述人眼动作检测单元检测人眼是否作出预设动作,并在检测出人眼作出预设动作 时,控制所述注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送给 控制信号生成单元; 所述控制信号生成单元根据预先存储的与所述待操作器件相应的位置控制对应表生 成与所述当前位置信息相对应的控制信号,并将所述控制信号发送至待操作器件以供所述 待操作器件执行相应的操作,所述位置控制对应表中存储有所述待操作器件上的各不同位 置信息和各位置信息对应的控制信号。
【专利摘要】本发明公开了一种眼控装置及其眼控方法和眼控系统,其中,该眼控装置包括:注视点获取单元、人眼动作检测单元和控制信号生成单元,注视点获取单元用于获取人眼在待操作器件上的注视点的位置信息;人眼动作检测单元用于检测人眼是否作出预设动作,并在检测出人眼作出预设动作时,控制注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元;控制信号生成单元用于根据预先存储的与待操作器件相应的位置控制对应表生成与当前位置信息相对应的控制信号,并将控制信号发送至待操作器件以供待操作器件执行相应的操作。本发明的技术方案可有效的实现利用人眼来对待操作器件进行控制。
【IPC分类】G06F3-01
【公开号】CN104866100
【申请号】CN201510280294
【发明人】李文波, 杨添
【申请人】京东方科技集团股份有限公司
【公开日】2015年8月26日
【申请日】2015年5月27日

最新回复(0)