控制对象阅览器的导航和显示的移动检测和跟踪系统的制作方法
专利名称：控制对象阅览器的导航和显示的移动检测和跟踪系统的制作方法
背景技术：
本发明总的来说是关于用户接口，尤其是关于提供移动检测与跟踪、利用一个参考导航目标来控制多维对象数据库的导航和显示的计算机接口。
在最近的几十年，在开发和优化人与计算机的交互作用方面取得巨大的进步。在用户接口以及在数据性能、显示灵活性和通信能力方面的改进导致象因特网浏览器、电子邮件、图形节目、成像节目和视频游戏等可以向用户提供内容丰富的信息的应用的广泛使用。仅管讨论用户接口发展的各个阶段是没有必要的，但是下面指出的发展是说明性的，为理解本发明的应用提供了一个基础。
传统的人机接口10在大小和形式上各种各样，包括桌面型计算机、远程终端和移动装置，如膝上型计算机、笔计本计算机、手持计算机、和佩带式计算机。
在个人计算机时代的开始，桌上型计算机一直统治着该领域，今天也一直是这样。
图1描述了一个传统的桌上型计算机的人机接口10，传统的台式计算机10一般地包括一个显示装置12，一个键盘14和一个指示装置16。该显示装置12一般地通过一台计算机物理地连接到键盘14和指示装置16，该指示装置16和按钮18可以物理地集成进该键盘14。
在传统台式计算机人机接口10中，键盘14用于将数据键入该计算机系统。另外，该用户可以利用该指示装置16通过在显示装置12上的选择而控制该计算机系统。例如利用该指示装置，用户可以通过选择垂直或水平的滚动条38和36而滚动该显示区。
随着半导体制造技术的发展，移动式个人计算机如笔计本和手持计算机正在不断地增长。笔计本和手持式计算机通常是由两个机械链接的组件组成，一个包含必要的显示装置12，另一个包含键盘14和指示装置16。铰链把这两个机械组件与一个灵活的、连接该组件且嵌入在该铰链机构中的带状电缆链接在一起。这两个组件可以象一本书一样关上，通常闭锁以最小化不经意间的打开。
笔计本计算机极大地增加了个人计算机的可移动性，但是在二十世纪九十年代，一种新的计算机接口范例出现了，它允许更大的可移动性和自由，并由此产生个人数字助理20(PDA)。第一个商业上成功的PDA是由3Com公司制造的Palm产品线(PalmPilotTM)。这些机器尺寸小、质量轻并且相对便宜，通常可以放在口袋中，重大约几盎司，其费用小于400美元。这些机器有非常小的内存(通常小于2M)，小的显示装置28(大约6×6cm)，且没有物理键盘。类似笔的指示装置26(通常存放在PDA的旁边或其上)作用于显示区28来使用户进行选择或与PDA装置20交互。外部的通信是通过PDA内一个串行口(未示出)来建立的，该口通过线24连接到一个传统计算机10的支架22。可以理解，象PalmPilotTM这样的PDA已经显示了其作为计算机接口的商业可靠性。
图2显示了一个先有技术的PDA20的典型操作，它是用带子绑在用户的手腕上。至少有一个计算机公司Orange-otang Computers.Inc.销售各种不同腕带式PDA。笔指示器26握在手里，而PDA20在另一个手上。显示区域28相对于传统的计算机显示12要小。对于掌上产品系列，显示区28在6×6cm的观测区域内包含一个160×160像素的阵列。通常部份显示区域还用于放置菜单及其它的，由此进一步地限制针对一个对象的观测区域，如电子邮件的消息页。在显示区域内这种限制部份地是由进行菜单条34(图1)的操作来访问的，这种菜单条大多数出现在传统的计算机接口显示12上，在一个PDA显示28上是不可见的，除非按下了菜单按钮29。
对象数据库程序如地图阅览器提供了一套相对连续的功能集，用于阅读二维的信息。当正在阅读的对象大于显示区域时，提供在整个对象上水平和垂直地滚动该显示区域的控制。这样的阅读功能通常具有可见的控制，并通过一个指示装置来访问。如图1所示，水平滚动通过由一个与阅读区40水平对齐的滑动条36控制，垂直滚动通过由一个与阅读区40垂直对齐的垂直滑动条38控制。另外，这种数据库接口通常具有沿除水平和垂直方向之外的方向进行滚动的功能。这种功能通常由指示到一个图标如手标42来进行控制，在按下按钮18时将其相对于阅读区40进行移动。
而且，对象阅览器经常结合放大或缩小的能力以便控制细节的分辨率在显示装置上可见信息的数量。放大和缩小控件30、32，作为一个或多个菜单条34中的项目，可以利用一个下拉菜单而变成可见或可用的。
最后，对象阅览器通常包括这样的能力，即横截(traverse)对象集的层级组织，如电子邮件消息夹、传真的日志文件、图表的项目目录或建筑的平面图，因特网页链接和在多级数据库内的代表各种级别或子系统的对象。
总的来说，传统的人机接口10、20已经用于各种环境中，以提供与多维和/或多级对象程序和系统的互连。这些接口表面上看起来能提供合理的接口。但是尺寸限制和相关的障碍彻底地限制了它们的功能和互操作性。当对象的显示格式的期望尺寸大于显示屏本身时，必须利用一种方法来控制在一个给定时间内究竟在显示屏上显示哪一部份。除了上述的那些方法，已经提出了很多的方法来触发面板和滚动功能，如按一个‘箭头’键沿着箭头所指的方向，以一个预定的增幅移动显示的内容。另外一个笔指示器或铁笔(stylus)可以用于激活面板和滚动功能以便移动显示内容。在所有这些例子中，物理显示装置保持相对静止，并且更大的对象被视为智能块(piece-wise)，然后处于对应于显示屏的物理尺寸的、小的分段中。
在实际中，典型的方法有很多内在的问题，如果该显示屏相对于要观测的对象小，按照要显示的分段的序列，要采取很多不同的步骤来观测整个对象，该过程可能要求利用箭头或笔转接(pen tap)很多后续命令的输入，对于手持式计算机一般地要求使用两只手，而且在屏幕上显示的当前分段与整个对象的全部内容间的上下关系也会变得混乱。
因此所需要的是这样的系统提供简单而又方便的方法以控制显示内容，保持用户对显示的内容段和对象的整个内容间的关系的理解，该方法对个人信息装置如具有小显示屏的手持计算机和通信装置特别有价值，该装置可以满足在一只手上小而且方便与在另一只手上具有现代膝上型或台式计算机的应用及性能之间的冲突要求。最好该方法允许单手控制显示的内容。
发明概述本发明通过提供一种新的方法来控制在小型显示屏上出现的内容来解决上面提到的问题。本发明允许用户利用一个具有小显示屏的手持装置，容易地横截大对象的任意或所有的分段，该用户可以横截比显示大得多的对象。
根据本发明的一个方面的装置包括一个数字处理器，一个计算机存储器，一个计算机可读介质，一个显示装置和一个用于检测该显示装置相对一个参考导航目标移动的装置。该数字处理器可把驻留在计算机可读介质中的信息映像到用于把信息传递给用户的一个虚拟显示空间。该处理器不时地从移动检测装置查询数据，并利用该数据计算该装置相对于该装置的用户的相对位置。根据计算的装置相对于用户的位置，该处理器在显示装置上显示该虚拟显示空间内所选择的部份。该移动检测装置最好包括跟踪该装置相对于一个参考导航目标的运动，该目标包括一个唯一的特征集，尤其是该特征集对于所有的计算机用户来说是共同的头部、脸或肩膀。
本发明的另一个方面是提供一种在计算机系统的控制和运行期间辅助用户保持每个显示分段的上下文间的保持，同时横截其显示格式大于该显示器的对象。该方法首先通过计算机系统将要显示的全尺寸的对象映射进一个虚拟的显示空间，下一步，实际地显示该虚拟空间的某一部份。然后，通过一个运动检测装置捕获一个图像，然后从该捕获的图像中获取一个参考导航目标，最后，相对于该参考导航目标跟踪该装置的移动，并且该虚拟显示空间中所显示的部份以与该跟踪的移动相关的方式改变。最好，该装置的移动是相对于一个参考导航目标跟踪的。该参考导航目标包括唯一的人的特征集头、脸和/或用户肩膀。
在优选的实施例中，前面所描述的对象具有详细的类型或内容丰富的信息，如地理图、电子图表、视频或静止图像、文本文件或因特网网页。该手持装置是个人信息装置如手持计算机或移动通信装置，能够显示文本或图形信息，仅管它是在为手持装置、佩带式或可放口袋的个人信息装置定制的显示器上。本发明的该方面允许用户象前述的那样横截该对象。而且，该用户可以使用个人信息装置的其它功能，如通知与其它记录消息交谈，同时使用虚拟显示空间显示本发明的管理应用。
附图简述图1显示了一个已有技术的系统，包括一个传统的计算机人机接口和一个个人数字助理；图2显示了处于典型操作中的一个已有技术的个人数字助理；图3描述了一个手持计算机，包括根据本发明的一个实施例用于检测相对于该用户的计算机的移动的视频照像机和随后使用的移动模板以便描述用户的控制交互；图4描述了按照本发明的一个优选实施例的系统方框图，其具有结合在该处理器和本地移动处理装置中的嵌入式数据库；图5描述了按照本发明的一个优选实施例的方法的流程图6描述按照本发明的一个优选实施例的地图观测应用的初始显示，其中该用户指示一个放大和滚动来聚焦在California；图7描述了先前图形中给出了California地图的用户控制交互的结果，也给出了用户的下一个控制交互，它将导致显示放大和聚焦在San Francisco Bay Area。
图8描述了先前图形中给出了San Francisco Bay Area地图的用户控制交互的结果，也给出了用户的下一个控制交互，它将导致显示放大和聚焦在San Francisco的WaterFront。
图9、10、11描述了先前图形中给出了San Francisco WaterFront地图的用户控制交互的结果，也给出了用户的下一个控制交互，它将导致显示放大和聚焦在San Francisco的WaterFront的一部份；图12描述了手持式计算机的旋转运动的结果，它没有旋转平移；图13描述了按照本发明的与膝上型或台式计算机相结合的手持计算机；图14描述了按照本发明的实施例的个人信息装置。
本发明的详细描述本发明的中心思想是显示装置相对于一个参考导航目标的移动控制一个对象阅览器，此时，该对象被作为该显示装置的平面内虚拟空间中的静止状态对待，一个或多个安装在该显示装置上并可操作地耦合到一个移动处理器的成像装置如照像机，从该移动处理器获取一个参考导航目标的图像上捕获一个图像。该参考导航目标最好包括一个唯一的特征集如用户的头、脸和/或肩膀。该参考导航目标也可以包括具有一个唯一特征集的项目(item)，特征集附属于用户的一部份或用户的衣物，该移动处理器跟踪该显示装置相对于参考导航目标的的移动并向数字处理器提供一个运动数据向量，该数字处理器以与显示装置的跟踪移动有关的方式更新该对象的显示部份。以这种方式，该用户能横截整个对象，并能以整体形式或显示分段序列的方式检查该整个对象。
唯一的人的特征集，如人的头部、脸和/肩膀，优选地用于此目的，涉及该显示装置的所有的有用的应用，用户一般地位于显示装置的前端并在观看显示装置的显示屏。因此，照像机可以很方便地定位及定向以获取移动跟踪的期望特征集。
图3描述了按照本发明的一个实施例的手持计算机20，包括一个以这样的方式定向的视频照像机60，即用户的唯一特征集在该用户观看显示装置28时被捕获。在所说明的实施例中，附加的照像机可安装在计算机20上以达到本发明的目标。而且，图3中所包含的运动模板62要用于描述以后的用户控制操作，该手持式计算机被认为是具有对控制该显示装置28来说是内部的处理器。
图3所示的显示装置28与计算机20一样布置在同一外壳内。本发明并不限于其中显示装置28和计算机20是物理地连接或布置在同一外壳内装置。在显示装置与计算机是彼此远距离分开的情形，不管是通过有线连接或无线连接，成像装置都是布置在显示装置外壳上或内，以便根据本发明来捕获图像。
视频照像机60最好耦合到一个用于向该内部处理器提供运动向量测量的运动处理器。注意该运动向量测量的各部份可以以不同的速率进行采样。图4描述了一个这样的系统。数据库110结合一个嵌入式数据库120。通过连接114耦合到该处理器是一个运动处理器115和一个照像机116。同时通过连接112耦合到处理器110的是一个显示装置118。连接112和114可以是有线或无线的，仅有的限制在于该照像机116被放置在显示装置118上。此运动处理器最好提供检测手持显示装置的转动的能力，同时同步地确定平移运动。在本发明的一个优选的实施例中，参照导航目标的某些特征如用户头部的相对明显尺寸或用户眼睛间的相对距离，用于使能放大控制以调整在显示装置上可见信息的数量和/或细节的分辩率。
运动处理器相对于包含参照导航目标的参照帧产生了一个运动向量，某些优选实施例将使用二维的参考帧，而其它的一些实施例将使用三维的参考帧。某些优选实施例将使用一个直线轴系统，而其它的实施例将使用一个射线轴系统。在一个优选实施例中，原点放置在参照导航目标的主要特征上，如人的鼻子上。
该手持装置20还可以进一步地利用其它的控制输入如语音命令或该手持计算机20的一侧的按钮61来进一步地增大。该控制输入可以激活和/或去激活运动控制显示管理功能。另外，这些控制输入可以锁定激活时的显示或锁定在期望的轴向或径向的显示的运动，注意，为了本发明的目的，某些控件如按钮可以放置在该手持装置20的任意一侧或面对它。
本发明的运动检测和跟踪系统包括至少一个图像捕获装置如照像机，图像存储能力，图像处理功能和显示装置运动估计功能。参照图5，在操作200中，一个图像捕获装置提供了环境内、紧靠手持装置附近的一个捕获的图像，如用户的头、脸和/或肩膀的视图或肩膀的视图。图像存储性能维持代表一个或多个导航参照目标(如用户的头、脸和肩膀的类属表示和/或可以被图像处理功能使用的当前或先前捕获的图像)的特征集的一个或多个参照图像。在操作210中，图像处理功能使用一个或多个捕获的图像以获取和标识在图像捕获装置的视野内导航参照目标(如用户的头、脸和/或肩膀)的位置。以前存储的类属参照图像数据可以用为一种辅助手段以标识包含其它前景和背景图像数据的图像帧内导航参照目标。在操作220中，运动估计进程随后计算该导航参照目标相对于该显示装置的相对位置，其计算是利用增长运动、相对运动、立体照像测量或其它测量方法来进行的。该导航参照目标的新的位置与其先前估计的位置进行比较，并将所有的变化转换成该显示装置的新的运动和位置估计。随着显示装置的位置相对于导航参照目标被运动估计方法的更新，操作230使该信息对一个控制显示装置上的显示的内容的对象阅览器应用来说是可用的。在操作240，虚拟显示空间的显示部份以相对于所跟踪的移动的方式进行更新。
本发明有很多的实际应用，一个例子是允许用户仅使用运动横截一个地图数据库。图3描述了运行地图阅览器数据库应用的手持计算机，该数据库包含了美国各个地区的地图，并显示在计算机显示装置28上。
通过沿着正向的Z轴移动手持计算机20，用户可以把该地图缩放到一个特定的区域，如在图6中所示的更近地观察California。沿着正向Z轴持续地移动，用户就可以缩放到更特定的区域，如SanFrancisco Bay Area(图7)、San Francisco waterfront(图8)、最后就可以看到San Francisco waterfront的街道地图(图9,10,11)。
在任意的缩放水平，用户都可以沿着x轴、y轴或同时沿两轴移动该手持计算机20以便沿相应的方向仔细地探究该地图。图9描述了San Francisco waterfiont区域。通过沿着正向x轴70移动手持计算机20，用户可以在沿图10所描述的朝东的方向探究该地图，沿着正向x轴74持续地移动可以一直沿朝东方向研究地图(如图11所示)。
图12描述了旋转移动手持计算机20的结果。此时，当计算机20沿一个轴转动时显示28并不改变。注意，但是本发明的其它实施例可以包括跟踪性能，使得本发明可以跟踪计算机20的旋转并使显示28按照计算机20的转动而改变。本实施例将使一个二维的显示在三维的空间内进行旋转以表示在本装置内三维数据库的各个观测点。
本发明的另一个实施例是结合使用一个手持计算机20和一个传统的膝上型或台式计算机10，如图13所示。该手持计算机20包括一个如前所述的运动检测装置。该手持计算机20利用一个电子耦合装置(包括连接线、红外线的或射频发送)耦合到该台式计算机10。
本实施例可以使用户利用手持计算机20就象是用一个典型的计算机鼠标，该用户能移动手持计算机20来移动、选择或控制在台式计算机显示装置上显示的项目。而且，用户可以横截在手持计算机20的存储器内虚拟对象并可以利用该信息及在台式计算机10内的信息。例如，用户可以利用手持计算机20的运动来横截手持装置20的存储器内地理图，当用户想知道在手持计算机的显示装置上的感兴趣区域的更详细的信息时，用户可以通过电子耦合连接把该特定地区座标上载到台式计算机10。该台式计算机然后就可以利用该座标及内部的数据库来向用户提供特定的地理信息。
而且，可以结合台式计算机10和手持计算机20利用因特网向用户提供附加的信息，通过利用台式计算机下载附加的地理信息进一步地促进了前述的例子。在把座标上载到台式计算机后，如前所述的，就可以利用该台式计算机从因特网上搜索附加的地理信息。台式计算机可以直接搜索使用手持计算机20的上载的座标，可以把该座标与内部数据库结合使用以提供因特网的搜索参数。一旦从因特网上获取所要的信息，就可以把它下载到手持计算机20。例如，一个从因特网上下载一个更详细的地理图到台式计算机10，并随后上载到手持计算机20以便用户横截用。以这种方式，可以显示和使用的信息就会很大地增加了。
本发明的另一个实施例可以替代为来自用户的一个命令，而不是运动来横截该虚拟地图。例如，按钮61可以控制放大，而同时沿x轴和y轴的移动仍然由装置的运动来控制。本发明的另一个方面可以使用户锁定一个或多个轴。这种配置的优点在于沿着锁定轴的偶然的运动不会改变显示。例如用户可能想看看在其位置的北方是什么。此时，用户可以锁定x轴和z轴，而允许沿y轴方向的运动。
本发明的另一个方面是允许用户与装置的显示部份的两个窗口进行交互。在一个窗口中运行如上所描述的一个地图应用，另一个窗口则运行另一个应用，如屏幕抓取或文字处理应用。例如，当在一个窗口中导航一个虚拟地图时，用户可以获取其它窗口的信息，或在其它窗口中抓取所选择的虚拟图，这使得用户可以保存虚拟图中感兴趣的某些部份以便以后打印。而且，如果用户可以访问另一个数据库，如上面讨论的有关的无线远程通信的，关于虚拟图中感兴趣的特定地理的信息可以显示在一个窗口中，而同时用户可以在第一个窗口中横截该虚拟地图。
可以理解，本发明的技术并不限于地理地图，对象阅览器还可以包括但不限于建筑、流体、电子和光学电路图。其它的信息内容可以包括常规的具有文本、表格、说明、图形和电子数据表的文档页。而且，本发明可以在因特网、视频通信和手持视频游戏等领域找到特定的应用。
本发明还可以应用在包括如MRI图像的导航上下文对象系统中，本发明可以允许用户以一种容易且直观的方式导航这样的对象。通过使用本发明的运动驱动导航系统，用户可以仅使用一只手从一段MRI图像导航到下一段，而且，具有多维的对象可以使用本发明的系统而很容易地导航。常规的、一般通过手工控制输入如按击或拖曳而完成的功能可以通过该装置相对于导航参照目标的平移和/或转动而很容易地完成。
该对象阅览器和运行在本发明的计算机系统上的其它的应用可以使用一个事件队列，Palm OSTM和Windows CE的操作系统和应用的一个标准单元，两者都共同使用手持计算机、PDA、电话PDA混合装置等的实时操作系统。一个事件队列包含事件，它发生在程序内如鼠标按击或键盘的击打。这些事件随后存储在事件队列中，按最旧事件第一的原则。一个事件结构的声明随系统而不同。一个事件通常包含一个指示事件类型的指示符，通常包括但不限于上按钮(button up)、下按钮、上笔(pen up)、下笔。事件队列由事件循环来服务，其随后检查队列中提供的下一个事件，并根据事件而动作。
Palm OSTM和Windows CE操作系统至少支持一个应用程序运行，每个应用至少包括一个处理事件队列的事件循环。与硬件相关的事件一般是手持装置的操作系统的部份或者是应用程序的‘低’层。‘高层’事件类型如菜单选择、触摸滚动条、鼠标按击等通常是在分离的事件队列中处理的，每一个具有分开的并行的执行事件循环，这种并行的执行程序组件通常称为线程。
软件到硬件的接口，如选项附件，通过作为与每个应用的主事件循环独立运行、且与这些应用事件循环并行的线程填加到基本系统。这种附加的事件循环可以处理新的硬件事件，如传感器测量，并产生新的数据，该数据结合进放在应用事件队列中的事件内，用于应用处理。本发明所使用的一个硬件附件是一个图像捕获装置，用于运动的检测与跟踪。
在本发明的另一个优选实施例中，本发明的系统用于导航万维网(World Wide Wed)。参照图4，一个包含移动通信装置40的个人信息设备包括一显示屏42和一个图像捕获装置46。光标44可以相对于显示屏42的边界保持静止，所跟踪的装置40相对于参照导航目标的移动，随着网页48的导航而把光标44放置在所选网页48内超级链接上。控制输入如语音命令或按钮(未示出)可以选择所选的超级链接，并由此进行万维网的导航。
尽管已经详细地描述了本发明的一些实施例，应理解本发明可以体现在其它特定的形式中，而不会偏离本发明的精神或范围。因此本发明的例子是说明性的，而非限制性的，本发明并不限于这里给出的细节，而是可以在所附的要求内进行任意的修改。
权利要求
1.一种计算机实施的方法，用于帮助用户控制和操作计算机系统，该计算机系统具有一个显示装置，该计算机系统提供用于显示的信息内容，这种信息内容潜在地包含比在显示装置一次性地完全显示的常规内容多得多的内容，如字符、图片、线、链接、视频或像素，该计算机实施的方法包括将显示装置耦合到数字处理器；将由该数字处理器产生的信息内容映射进一个适于把信息传递给用户的虚拟显示空间；利用该显示装置显示该虚拟显示空间的某一部份；捕获一个图像；从该捕获的图像中获取一个参照导航目标；跟踪该显示装置相对于该参照导航目标的移动；以与所跟踪的移动相关的方式更新该虚拟显示空间的所显示的某部份。
2.如权利要求1所述的计算机实施的方法，其中该参照导航目标附着到用户的身体。
3.如权利要求1所述的计算机实施的方法，其中该参照导航目标是用户身体的一部份。
4.如权利要求1所述的计算机实施的方法，其中该参照导航目标是用户衣物的一部份。
5.如权利要求1所述的计算机实施的方法，其中该参照导航目标附着到用户的衣物。
6.如权利要求3所述的计算机实施的方法，其中该参照导航目标是用户的头部。
7.如权利要求3所述的计算机实施的方法，其中该参照导航目标是用户的脸部。
8.如权利要求1所述的计算机实施的方法，其中该参照导航目标是用户的头和脸。
9.如权利要求3所述的计算机实施的方法，其中该参照导航目标是用户的头和肩。
10.如权利要求3所述的计算机实施的方法，其中该参照导航目标是用户的脸和肩。
11.如权利要求1所述的计算机实施的方法，其中所显示的某部份的虚拟放大倍率以与所跟踪的移动相关的方式来更新。
12.如权利要求1所述的计算机实施的方法，其中所显示的某部份的虚拟放大倍率响应用户键入到数字处理器的命令来更新。
13.如权利要求1所述的计算机实施的方法，其中所显示的某部份的虚拟方向以与所跟踪的移动相关的方式来更新。
14.如权利要求1所述的计算机实施的方法，其中所显示的某部份的虚拟方向响应用户键入到数字处理器的命令来更新。
15.如权利要求1所述的计算机实施的方法，其中在该数字处理器上执行的应用是一个提供虚拟对象的多维对象数据库应用。
16.如权利要求15所述的计算机实施的方法，其中更新所显示某部份包括沿至少一个维度横截该虚拟对象。
17.如权利要求1所述的计算机实施的方法，其中更新所显示某部份包括按比例决定所显示的某部份。
18.如权利要求17所述的计算机实施的方法，其中所显示的某部份响应用户键入到计算机系统的命令来进行比例的决定。
19.如权利要求1所述的计算机实施的方法，其中该显示装置和数字处理器通过缆线方式进行远程连接。
20.如权利要求1所述的计算机实施的方法，其中该显示装置和数字处理器通过无线方式进行远程连接。
21.如权利要求1所述的计算机实施的方法，其中该显示装置和数字处理器布置在个人信息装置内。
22.如权利要求21所述的计算机实施的方法，其中该个人信息装置是手持计算机。
23.如权利要求21所述的计算机实施的方法，其中该个人信息装置是移动通信装置。
24.如权利要求21所述的计算机实施的方法，其中该个人信息装置具有语音发送消息能力。
25.如权利要求21所述的计算机实施的方法，其中该个人信息装置具有数据发送消息能力。
26.如权利要求21所述的计算机实施的方法，其中该个人信息装置具有手写识别能力。
27.如权利要求21所述的计算机实施的方法，其中该个人信息装置具有语音识别能力。
28.如权利要求1所述的计算机实施的方法，其中该显示的某部份包括多个应用窗口。
29.如权利要求21所述的计算机实施的方法，其中该个人信息装置被耦合到第二计算机。
30.如权利要求29所述的计算机实施的方法，还包括利用人人信息装置选择在第二计算机上显示的信息。
31.一个计算机系统，包括数字处理器；耦合到数字处理器的计算机存储器；耦合到数字处理器的显示装置；参考参照导航目标并耦合到该显示装置的运动检测器；以及包含在一个耦合到数字处理器的计算机可读介质的计算机程序，该计算机程序具有计算机可读的指令，用于通过该显示装置，把由计算机系统产生的信息内容映射进适于显示的虚拟显示空间；通过该显示装置，显示该虚拟显示空间的某一部份；捕获一个图像；从该捕获的图像中获取参照导航目标；通过该运动检测器跟踪显示装置相对于参照导航目标的移动；以及以与所跟踪的移动相关的方式更新此虚拟显示空间的所显示的某部份。
32.如权利要求31所述的计算机系统，其中该参照导航目标附着到用户的身体。
33.如权利要求31所述的计算机系统，其中该参照导航目标是用户身体的一部份。
34.如权利要求31所述的计算机系统，其中该参照导航目标是用户衣物的一部份。
35.如权利要求31所述的计算机系统，其中该参照导航目标附着到用户的衣物。
36.如权利要求33所述的计算机系统，其中该参照导航目标是用户的头部。
37.如权利要求33所述的计算机系统，其中该参照导航目标是用户的脸部。
38.如权利要求33所述的计算机系统，其中该参照导航目标是用户的头和脸。
39.如权利要求33所述的计算机系统，其中该参照导航目标是用户的头和肩。
40.如权利要求33所述的计算机系统，其中该参照导航目标是用户的脸和肩。
41.如权利要求31所述的计算机系统，其中所显示的某部份的虚拟放大倍率以与所跟踪的移动相关的方式来更新。
42.如权利要求31所述的计算机系统，其中所显示的某部份的虚拟放大倍率响应用户键入到数字处理器的命令来更新。
43.如权利要求31所述的计算机系统，其中所显示的某部份的虚拟方向以与所跟踪的移动相关的方式来更新。
44.如权利要求31所述的计算机系统，其中所显示的某部份的虚拟方向响应用户键入到数字处理器的命令来更新。
45.如权利要求31所述的计算机系统，其中在该数字处理器上执行的应用是一个提供虚拟对象的多维对象数据库应用。
46.如权利要求45所述的计算机系统，其中更新所显示某部份包括沿至少一个维度横截该虚拟对象。
47.如权利要求31所述的计算机系统，其中更新所显示某部份包括按比例决定所显示的某部份。
48.如权利要求48所述的计算机系统，其中所显示的某部份响应用户键入到计算机系统的命令来进行按比例的决定。
49.如权利要求31所述的计算机系统，其中该显示装置和数字处理器通过缆线方式进行远程连接。
50.如权利要求31所述的计算机系统，其中该显示装置和数字处理器通过无线方式进行远程连接。
51.如权利要求31所述的计算机系统，其中该显示装置和数字处理器布置在个人信息装置内。
52.如权利要求51所述的计算机系统，其中该个人信息装置是手持计算机。
53.如权利要求51所述的计算机系统，其中该个人信息装置是移动通信装置。
54.如权利要求51所述的计算机系统，其中该个人信息装置具有语音发送消息能力。
55.如权利要求51所述的计算机系统，其中该个人信息装置具有数据发送消息能力。
56.如权利要求51所述的计算机系统，其中该个人信息装置具有手写识别能力。
57.如权利要求51所述的计算机系统，其中该个人信息装置具有语音识别能力。
58.如权利要求31所述的计算机系统，其中该显示的某部份包括多个应用窗口。
59.如权利要求51所述的计算机系统，其中该个人信息装置被耦合到第二计算机。
60.如权利要求59所述的计算机实施的方法，还包括利用人人信息装置选择在第二计算机上显示的信息。
61.如权利要求31所述的计算机系统，其中该运动检测器还包括一个可操作地耦合到一个图像处理器的图像捕获装置，用于从所捕获的图像获取参照导航目标和跟踪显示装置相对于参照导航目标的移动。
62.一个包含在计算机可读介质上的计算机程序，包括将由该数字处理器产生的信息内容映射进一个适于把信息传递给用户的虚拟显示空间的代码段；利用一个显示装置显示该虚拟显示空间的某一部份的代码段；捕获一个图像的代码段；从该捕获的图像中获取一个参照导航目标的代码段；跟踪该显示装置相对于该参照导航目标的移动的代码段；以与所跟踪的移动相关的方式更新该虚拟显示空间的所显示的某部份的代码段。
63.如权利要求62所述的计算机程序，其中该参照导航目标附着到用户的身体。
64.如权利要求62所述的计算机程序，其中该参照导航目标是用户身体的一部份。
65.如权利要求62所述的计算机程序，其中该参照导航目标是用户衣物的一部份。
66.如权利要求62所述的计算机程序，其中该参照导航目标附着到用户的衣物。
67.如权利要求64所述的计算机程序，其中该参照导航目标是用户的头部。
68.如权利要求64所述的计算机程序，其中该参照导航目标是用户的脸部。
69.如权利要求64所述的计算机程序，其中该参照导航目标是用户的头和脸。
70.如权利要求64所述的计算机程序，其中该参照导航目标是用户的头和肩。
71.如权利要求64所述的计算机程序，其中该参照导航目标是用户的脸和肩。
72.如权利要求62所述的计算机程序，其中所显示的某部份的虚拟放大倍率以与所跟踪的移动相关的方式来更新。
73.如权利要求62所述的计算机程序，其中所显示的某部份的虚拟放大倍率响应用户键入到数字处理器的命令来更新。
74.如权利要求62所述的计算机程序，其中所显示的某部份的虚拟方向以与所跟踪的移动相关的方式来更新。
75.如权利要求62所述的计算机程序，其中所显示的某部份的虚拟方向响应用户键入到数字处理器的命令来更新。
76.如权利要求62所述的计算机系统，其中在该数字处理器上执行的应用是一个提供虚拟对象的多维对象数据库应用。
77.如权利要求76所述的计算机程序，其中更新所显示某部份包括沿至少一个维度横截该虚拟对象。
78.如权利要求62所述的计算机程序，其中更新所显示某部份包括按比例决定所显示的某部份。
79.如权利要求78所述的计算机程序，其中所显示的某部份响应用户键入到计算机系统的命令来进行按比例的决定。
80.如权利要求62所述的计算机程序，其中该显示装置和数字处理器通过缆线方式进行远程连接。
81.如权利要求62所述的计算机程序，其中该显示装置和数字处理器通过无线方式进行远程连接。
82.如权利要求62所述的计算机程序，其中该显示装置和数字处理器布置在个人信息装置内。
83.如权利要求82所述的计算机程序，其中该个人信息装置是手持计算机。
84.如权利要求82所述的计算机程序，其中该个人信息装置是移动通信装置。
85.如权利要求82所述的计算机程序，其中该个人信息装置具有数据发送消息能力。
86.如权利要求82所述的计算机程序，其中该个人信息装置具有手写识别能力。
全文摘要
计算机程序、系统和方法,跟踪运动、控制对象阅览器的显示和导航。由数字处理器产生的信息内容被映射进适于把信息传递给用户的虚拟显示空间。利用耦合到数字处理器的显示装置显示该虚拟显示空间的某部分。图像捕获装置所获取的参照导航目标捕获一个图像,所跟踪的显示装置相对于该参照导航目标的移动以与该移动相关的方式,更新此虚拟显示空间的所显示的某部分。
文档编号G06F3/033GK1300415SQ00800044
公开日2001年6月20日 申请日期2000年6月2日 优先权日1999年6月8日
发明者詹姆斯·弗拉克, 西纳·法塔赫, 戴维·L·莫特 申请人:维格－维斯塔公司
背景技术：
本发明总的来说是关于用户接口，尤其是关于提供移动检测与跟踪、利用一个参考导航目标来控制多维对象数据库的导航和显示的计算机接口。
在最近的几十年，在开发和优化人与计算机的交互作用方面取得巨大的进步。在用户接口以及在数据性能、显示灵活性和通信能力方面的改进导致象因特网浏览器、电子邮件、图形节目、成像节目和视频游戏等可以向用户提供内容丰富的信息的应用的广泛使用。仅管讨论用户接口发展的各个阶段是没有必要的，但是下面指出的发展是说明性的，为理解本发明的应用提供了一个基础。
传统的人机接口10在大小和形式上各种各样，包括桌面型计算机、远程终端和移动装置，如膝上型计算机、笔计本计算机、手持计算机、和佩带式计算机。
在个人计算机时代的开始，桌上型计算机一直统治着该领域，今天也一直是这样。
图1描述了一个传统的桌上型计算机的人机接口10，传统的台式计算机10一般地包括一个显示装置12，一个键盘14和一个指示装置16。该显示装置12一般地通过一台计算机物理地连接到键盘14和指示装置16，该指示装置16和按钮18可以物理地集成进该键盘14。
在传统台式计算机人机接口10中，键盘14用于将数据键入该计算机系统。另外，该用户可以利用该指示装置16通过在显示装置12上的选择而控制该计算机系统。例如利用该指示装置，用户可以通过选择垂直或水平的滚动条38和36而滚动该显示区。
随着半导体制造技术的发展，移动式个人计算机如笔计本和手持计算机正在不断地增长。笔计本和手持式计算机通常是由两个机械链接的组件组成，一个包含必要的显示装置12，另一个包含键盘14和指示装置16。铰链把这两个机械组件与一个灵活的、连接该组件且嵌入在该铰链机构中的带状电缆链接在一起。这两个组件可以象一本书一样关上，通常闭锁以最小化不经意间的打开。
笔计本计算机极大地增加了个人计算机的可移动性，但是在二十世纪九十年代，一种新的计算机接口范例出现了，它允许更大的可移动性和自由，并由此产生个人数字助理20(PDA)。第一个商业上成功的PDA是由3Com公司制造的Palm产品线(PalmPilotTM)。这些机器尺寸小、质量轻并且相对便宜，通常可以放在口袋中，重大约几盎司，其费用小于400美元。这些机器有非常小的内存(通常小于2M)，小的显示装置28(大约6×6cm)，且没有物理键盘。类似笔的指示装置26(通常存放在PDA的旁边或其上)作用于显示区28来使用户进行选择或与PDA装置20交互。外部的通信是通过PDA内一个串行口(未示出)来建立的，该口通过线24连接到一个传统计算机10的支架22。可以理解，象PalmPilotTM这样的PDA已经显示了其作为计算机接口的商业可靠性。
图2显示了一个先有技术的PDA20的典型操作，它是用带子绑在用户的手腕上。至少有一个计算机公司Orange-otang Computers.Inc.销售各种不同腕带式PDA。笔指示器26握在手里，而PDA20在另一个手上。显示区域28相对于传统的计算机显示12要小。对于掌上产品系列，显示区28在6×6cm的观测区域内包含一个160×160像素的阵列。通常部份显示区域还用于放置菜单及其它的，由此进一步地限制针对一个对象的观测区域，如电子邮件的消息页。在显示区域内这种限制部份地是由进行菜单条34(图1)的操作来访问的，这种菜单条大多数出现在传统的计算机接口显示12上，在一个PDA显示28上是不可见的，除非按下了菜单按钮29。
对象数据库程序如地图阅览器提供了一套相对连续的功能集，用于阅读二维的信息。当正在阅读的对象大于显示区域时，提供在整个对象上水平和垂直地滚动该显示区域的控制。这样的阅读功能通常具有可见的控制，并通过一个指示装置来访问。如图1所示，水平滚动通过由一个与阅读区40水平对齐的滑动条36控制，垂直滚动通过由一个与阅读区40垂直对齐的垂直滑动条38控制。另外，这种数据库接口通常具有沿除水平和垂直方向之外的方向进行滚动的功能。这种功能通常由指示到一个图标如手标42来进行控制，在按下按钮18时将其相对于阅读区40进行移动。
而且，对象阅览器经常结合放大或缩小的能力以便控制细节的分辨率在显示装置上可见信息的数量。放大和缩小控件30、32，作为一个或多个菜单条34中的项目，可以利用一个下拉菜单而变成可见或可用的。
最后，对象阅览器通常包括这样的能力，即横截(traverse)对象集的层级组织，如电子邮件消息夹、传真的日志文件、图表的项目目录或建筑的平面图，因特网页链接和在多级数据库内的代表各种级别或子系统的对象。
总的来说，传统的人机接口10、20已经用于各种环境中，以提供与多维和/或多级对象程序和系统的互连。这些接口表面上看起来能提供合理的接口。但是尺寸限制和相关的障碍彻底地限制了它们的功能和互操作性。当对象的显示格式的期望尺寸大于显示屏本身时，必须利用一种方法来控制在一个给定时间内究竟在显示屏上显示哪一部份。除了上述的那些方法，已经提出了很多的方法来触发面板和滚动功能，如按一个‘箭头’键沿着箭头所指的方向，以一个预定的增幅移动显示的内容。另外一个笔指示器或铁笔(stylus)可以用于激活面板和滚动功能以便移动显示内容。在所有这些例子中，物理显示装置保持相对静止，并且更大的对象被视为智能块(piece-wise)，然后处于对应于显示屏的物理尺寸的、小的分段中。
在实际中，典型的方法有很多内在的问题，如果该显示屏相对于要观测的对象小，按照要显示的分段的序列，要采取很多不同的步骤来观测整个对象，该过程可能要求利用箭头或笔转接(pen tap)很多后续命令的输入，对于手持式计算机一般地要求使用两只手，而且在屏幕上显示的当前分段与整个对象的全部内容间的上下关系也会变得混乱。
因此所需要的是这样的系统提供简单而又方便的方法以控制显示内容，保持用户对显示的内容段和对象的整个内容间的关系的理解，该方法对个人信息装置如具有小显示屏的手持计算机和通信装置特别有价值，该装置可以满足在一只手上小而且方便与在另一只手上具有现代膝上型或台式计算机的应用及性能之间的冲突要求。最好该方法允许单手控制显示的内容。
发明概述本发明通过提供一种新的方法来控制在小型显示屏上出现的内容来解决上面提到的问题。本发明允许用户利用一个具有小显示屏的手持装置，容易地横截大对象的任意或所有的分段，该用户可以横截比显示大得多的对象。
根据本发明的一个方面的装置包括一个数字处理器，一个计算机存储器，一个计算机可读介质，一个显示装置和一个用于检测该显示装置相对一个参考导航目标移动的装置。该数字处理器可把驻留在计算机可读介质中的信息映像到用于把信息传递给用户的一个虚拟显示空间。该处理器不时地从移动检测装置查询数据，并利用该数据计算该装置相对于该装置的用户的相对位置。根据计算的装置相对于用户的位置，该处理器在显示装置上显示该虚拟显示空间内所选择的部份。该移动检测装置最好包括跟踪该装置相对于一个参考导航目标的运动，该目标包括一个唯一的特征集，尤其是该特征集对于所有的计算机用户来说是共同的头部、脸或肩膀。
本发明的另一个方面是提供一种在计算机系统的控制和运行期间辅助用户保持每个显示分段的上下文间的保持，同时横截其显示格式大于该显示器的对象。该方法首先通过计算机系统将要显示的全尺寸的对象映射进一个虚拟的显示空间，下一步，实际地显示该虚拟空间的某一部份。然后，通过一个运动检测装置捕获一个图像，然后从该捕获的图像中获取一个参考导航目标，最后，相对于该参考导航目标跟踪该装置的移动，并且该虚拟显示空间中所显示的部份以与该跟踪的移动相关的方式改变。最好，该装置的移动是相对于一个参考导航目标跟踪的。该参考导航目标包括唯一的人的特征集头、脸和/或用户肩膀。
在优选的实施例中，前面所描述的对象具有详细的类型或内容丰富的信息，如地理图、电子图表、视频或静止图像、文本文件或因特网网页。该手持装置是个人信息装置如手持计算机或移动通信装置，能够显示文本或图形信息，仅管它是在为手持装置、佩带式或可放口袋的个人信息装置定制的显示器上。本发明的该方面允许用户象前述的那样横截该对象。而且，该用户可以使用个人信息装置的其它功能，如通知与其它记录消息交谈，同时使用虚拟显示空间显示本发明的管理应用。
附图简述图1显示了一个已有技术的系统，包括一个传统的计算机人机接口和一个个人数字助理；图2显示了处于典型操作中的一个已有技术的个人数字助理；图3描述了一个手持计算机，包括根据本发明的一个实施例用于检测相对于该用户的计算机的移动的视频照像机和随后使用的移动模板以便描述用户的控制交互；图4描述了按照本发明的一个优选实施例的系统方框图，其具有结合在该处理器和本地移动处理装置中的嵌入式数据库；图5描述了按照本发明的一个优选实施例的方法的流程图6描述按照本发明的一个优选实施例的地图观测应用的初始显示，其中该用户指示一个放大和滚动来聚焦在California；图7描述了先前图形中给出了California地图的用户控制交互的结果，也给出了用户的下一个控制交互，它将导致显示放大和聚焦在San Francisco Bay Area。
图8描述了先前图形中给出了San Francisco Bay Area地图的用户控制交互的结果，也给出了用户的下一个控制交互，它将导致显示放大和聚焦在San Francisco的WaterFront。
图9、10、11描述了先前图形中给出了San Francisco WaterFront地图的用户控制交互的结果，也给出了用户的下一个控制交互，它将导致显示放大和聚焦在San Francisco的WaterFront的一部份；图12描述了手持式计算机的旋转运动的结果，它没有旋转平移；图13描述了按照本发明的与膝上型或台式计算机相结合的手持计算机；图14描述了按照本发明的实施例的个人信息装置。
本发明的详细描述本发明的中心思想是显示装置相对于一个参考导航目标的移动控制一个对象阅览器，此时，该对象被作为该显示装置的平面内虚拟空间中的静止状态对待，一个或多个安装在该显示装置上并可操作地耦合到一个移动处理器的成像装置如照像机，从该移动处理器获取一个参考导航目标的图像上捕获一个图像。该参考导航目标最好包括一个唯一的特征集如用户的头、脸和/或肩膀。该参考导航目标也可以包括具有一个唯一特征集的项目(item)，特征集附属于用户的一部份或用户的衣物，该移动处理器跟踪该显示装置相对于参考导航目标的的移动并向数字处理器提供一个运动数据向量，该数字处理器以与显示装置的跟踪移动有关的方式更新该对象的显示部份。以这种方式，该用户能横截整个对象，并能以整体形式或显示分段序列的方式检查该整个对象。
唯一的人的特征集，如人的头部、脸和/肩膀，优选地用于此目的，涉及该显示装置的所有的有用的应用，用户一般地位于显示装置的前端并在观看显示装置的显示屏。因此，照像机可以很方便地定位及定向以获取移动跟踪的期望特征集。
图3描述了按照本发明的一个实施例的手持计算机20，包括一个以这样的方式定向的视频照像机60，即用户的唯一特征集在该用户观看显示装置28时被捕获。在所说明的实施例中，附加的照像机可安装在计算机20上以达到本发明的目标。而且，图3中所包含的运动模板62要用于描述以后的用户控制操作，该手持式计算机被认为是具有对控制该显示装置28来说是内部的处理器。
图3所示的显示装置28与计算机20一样布置在同一外壳内。本发明并不限于其中显示装置28和计算机20是物理地连接或布置在同一外壳内装置。在显示装置与计算机是彼此远距离分开的情形，不管是通过有线连接或无线连接，成像装置都是布置在显示装置外壳上或内，以便根据本发明来捕获图像。
视频照像机60最好耦合到一个用于向该内部处理器提供运动向量测量的运动处理器。注意该运动向量测量的各部份可以以不同的速率进行采样。图4描述了一个这样的系统。数据库110结合一个嵌入式数据库120。通过连接114耦合到该处理器是一个运动处理器115和一个照像机116。同时通过连接112耦合到处理器110的是一个显示装置118。连接112和114可以是有线或无线的，仅有的限制在于该照像机116被放置在显示装置118上。此运动处理器最好提供检测手持显示装置的转动的能力，同时同步地确定平移运动。在本发明的一个优选的实施例中，参照导航目标的某些特征如用户头部的相对明显尺寸或用户眼睛间的相对距离，用于使能放大控制以调整在显示装置上可见信息的数量和/或细节的分辩率。
运动处理器相对于包含参照导航目标的参照帧产生了一个运动向量，某些优选实施例将使用二维的参考帧，而其它的一些实施例将使用三维的参考帧。某些优选实施例将使用一个直线轴系统，而其它的实施例将使用一个射线轴系统。在一个优选实施例中，原点放置在参照导航目标的主要特征上，如人的鼻子上。
该手持装置20还可以进一步地利用其它的控制输入如语音命令或该手持计算机20的一侧的按钮61来进一步地增大。该控制输入可以激活和/或去激活运动控制显示管理功能。另外，这些控制输入可以锁定激活时的显示或锁定在期望的轴向或径向的显示的运动，注意，为了本发明的目的，某些控件如按钮可以放置在该手持装置20的任意一侧或面对它。
本发明的运动检测和跟踪系统包括至少一个图像捕获装置如照像机，图像存储能力，图像处理功能和显示装置运动估计功能。参照图5，在操作200中，一个图像捕获装置提供了环境内、紧靠手持装置附近的一个捕获的图像，如用户的头、脸和/或肩膀的视图或肩膀的视图。图像存储性能维持代表一个或多个导航参照目标(如用户的头、脸和肩膀的类属表示和/或可以被图像处理功能使用的当前或先前捕获的图像)的特征集的一个或多个参照图像。在操作210中，图像处理功能使用一个或多个捕获的图像以获取和标识在图像捕获装置的视野内导航参照目标(如用户的头、脸和/或肩膀)的位置。以前存储的类属参照图像数据可以用为一种辅助手段以标识包含其它前景和背景图像数据的图像帧内导航参照目标。在操作220中，运动估计进程随后计算该导航参照目标相对于该显示装置的相对位置，其计算是利用增长运动、相对运动、立体照像测量或其它测量方法来进行的。该导航参照目标的新的位置与其先前估计的位置进行比较，并将所有的变化转换成该显示装置的新的运动和位置估计。随着显示装置的位置相对于导航参照目标被运动估计方法的更新，操作230使该信息对一个控制显示装置上的显示的内容的对象阅览器应用来说是可用的。在操作240，虚拟显示空间的显示部份以相对于所跟踪的移动的方式进行更新。
本发明有很多的实际应用，一个例子是允许用户仅使用运动横截一个地图数据库。图3描述了运行地图阅览器数据库应用的手持计算机，该数据库包含了美国各个地区的地图，并显示在计算机显示装置28上。
通过沿着正向的Z轴移动手持计算机20，用户可以把该地图缩放到一个特定的区域，如在图6中所示的更近地观察California。沿着正向Z轴持续地移动，用户就可以缩放到更特定的区域，如SanFrancisco Bay Area(图7)、San Francisco waterfront(图8)、最后就可以看到San Francisco waterfront的街道地图(图9,10,11)。
在任意的缩放水平，用户都可以沿着x轴、y轴或同时沿两轴移动该手持计算机20以便沿相应的方向仔细地探究该地图。图9描述了San Francisco waterfiont区域。通过沿着正向x轴70移动手持计算机20，用户可以在沿图10所描述的朝东的方向探究该地图，沿着正向x轴74持续地移动可以一直沿朝东方向研究地图(如图11所示)。
图12描述了旋转移动手持计算机20的结果。此时，当计算机20沿一个轴转动时显示28并不改变。注意，但是本发明的其它实施例可以包括跟踪性能，使得本发明可以跟踪计算机20的旋转并使显示28按照计算机20的转动而改变。本实施例将使一个二维的显示在三维的空间内进行旋转以表示在本装置内三维数据库的各个观测点。
本发明的另一个实施例是结合使用一个手持计算机20和一个传统的膝上型或台式计算机10，如图13所示。该手持计算机20包括一个如前所述的运动检测装置。该手持计算机20利用一个电子耦合装置(包括连接线、红外线的或射频发送)耦合到该台式计算机10。
本实施例可以使用户利用手持计算机20就象是用一个典型的计算机鼠标，该用户能移动手持计算机20来移动、选择或控制在台式计算机显示装置上显示的项目。而且，用户可以横截在手持计算机20的存储器内虚拟对象并可以利用该信息及在台式计算机10内的信息。例如，用户可以利用手持计算机20的运动来横截手持装置20的存储器内地理图，当用户想知道在手持计算机的显示装置上的感兴趣区域的更详细的信息时，用户可以通过电子耦合连接把该特定地区座标上载到台式计算机10。该台式计算机然后就可以利用该座标及内部的数据库来向用户提供特定的地理信息。
而且，可以结合台式计算机10和手持计算机20利用因特网向用户提供附加的信息，通过利用台式计算机下载附加的地理信息进一步地促进了前述的例子。在把座标上载到台式计算机后，如前所述的，就可以利用该台式计算机从因特网上搜索附加的地理信息。台式计算机可以直接搜索使用手持计算机20的上载的座标，可以把该座标与内部数据库结合使用以提供因特网的搜索参数。一旦从因特网上获取所要的信息，就可以把它下载到手持计算机20。例如，一个从因特网上下载一个更详细的地理图到台式计算机10，并随后上载到手持计算机20以便用户横截用。以这种方式，可以显示和使用的信息就会很大地增加了。
本发明的另一个实施例可以替代为来自用户的一个命令，而不是运动来横截该虚拟地图。例如，按钮61可以控制放大，而同时沿x轴和y轴的移动仍然由装置的运动来控制。本发明的另一个方面可以使用户锁定一个或多个轴。这种配置的优点在于沿着锁定轴的偶然的运动不会改变显示。例如用户可能想看看在其位置的北方是什么。此时，用户可以锁定x轴和z轴，而允许沿y轴方向的运动。
本发明的另一个方面是允许用户与装置的显示部份的两个窗口进行交互。在一个窗口中运行如上所描述的一个地图应用，另一个窗口则运行另一个应用，如屏幕抓取或文字处理应用。例如，当在一个窗口中导航一个虚拟地图时，用户可以获取其它窗口的信息，或在其它窗口中抓取所选择的虚拟图，这使得用户可以保存虚拟图中感兴趣的某些部份以便以后打印。而且，如果用户可以访问另一个数据库，如上面讨论的有关的无线远程通信的，关于虚拟图中感兴趣的特定地理的信息可以显示在一个窗口中，而同时用户可以在第一个窗口中横截该虚拟地图。
可以理解，本发明的技术并不限于地理地图，对象阅览器还可以包括但不限于建筑、流体、电子和光学电路图。其它的信息内容可以包括常规的具有文本、表格、说明、图形和电子数据表的文档页。而且，本发明可以在因特网、视频通信和手持视频游戏等领域找到特定的应用。
本发明还可以应用在包括如MRI图像的导航上下文对象系统中，本发明可以允许用户以一种容易且直观的方式导航这样的对象。通过使用本发明的运动驱动导航系统，用户可以仅使用一只手从一段MRI图像导航到下一段，而且，具有多维的对象可以使用本发明的系统而很容易地导航。常规的、一般通过手工控制输入如按击或拖曳而完成的功能可以通过该装置相对于导航参照目标的平移和/或转动而很容易地完成。
该对象阅览器和运行在本发明的计算机系统上的其它的应用可以使用一个事件队列，Palm OSTM和Windows CE的操作系统和应用的一个标准单元，两者都共同使用手持计算机、PDA、电话PDA混合装置等的实时操作系统。一个事件队列包含事件，它发生在程序内如鼠标按击或键盘的击打。这些事件随后存储在事件队列中，按最旧事件第一的原则。一个事件结构的声明随系统而不同。一个事件通常包含一个指示事件类型的指示符，通常包括但不限于上按钮(button up)、下按钮、上笔(pen up)、下笔。事件队列由事件循环来服务，其随后检查队列中提供的下一个事件，并根据事件而动作。
Palm OSTM和Windows CE操作系统至少支持一个应用程序运行，每个应用至少包括一个处理事件队列的事件循环。与硬件相关的事件一般是手持装置的操作系统的部份或者是应用程序的‘低’层。‘高层’事件类型如菜单选择、触摸滚动条、鼠标按击等通常是在分离的事件队列中处理的，每一个具有分开的并行的执行事件循环，这种并行的执行程序组件通常称为线程。
软件到硬件的接口，如选项附件，通过作为与每个应用的主事件循环独立运行、且与这些应用事件循环并行的线程填加到基本系统。这种附加的事件循环可以处理新的硬件事件，如传感器测量，并产生新的数据，该数据结合进放在应用事件队列中的事件内，用于应用处理。本发明所使用的一个硬件附件是一个图像捕获装置，用于运动的检测与跟踪。
在本发明的另一个优选实施例中，本发明的系统用于导航万维网(World Wide Wed)。参照图4，一个包含移动通信装置40的个人信息设备包括一显示屏42和一个图像捕获装置46。光标44可以相对于显示屏42的边界保持静止，所跟踪的装置40相对于参照导航目标的移动，随着网页48的导航而把光标44放置在所选网页48内超级链接上。控制输入如语音命令或按钮(未示出)可以选择所选的超级链接，并由此进行万维网的导航。
尽管已经详细地描述了本发明的一些实施例，应理解本发明可以体现在其它特定的形式中，而不会偏离本发明的精神或范围。因此本发明的例子是说明性的，而非限制性的，本发明并不限于这里给出的细节，而是可以在所附的要求内进行任意的修改。
权利要求
1.一种计算机实施的方法，用于帮助用户控制和操作计算机系统，该计算机系统具有一个显示装置，该计算机系统提供用于显示的信息内容，这种信息内容潜在地包含比在显示装置一次性地完全显示的常规内容多得多的内容，如字符、图片、线、链接、视频或像素，该计算机实施的方法包括将显示装置耦合到数字处理器；将由该数字处理器产生的信息内容映射进一个适于把信息传递给用户的虚拟显示空间；利用该显示装置显示该虚拟显示空间的某一部份；捕获一个图像；从该捕获的图像中获取一个参照导航目标；跟踪该显示装置相对于该参照导航目标的移动；以与所跟踪的移动相关的方式更新该虚拟显示空间的所显示的某部份。
2.如权利要求1所述的计算机实施的方法，其中该参照导航目标附着到用户的身体。
3.如权利要求1所述的计算机实施的方法，其中该参照导航目标是用户身体的一部份。
4.如权利要求1所述的计算机实施的方法，其中该参照导航目标是用户衣物的一部份。
5.如权利要求1所述的计算机实施的方法，其中该参照导航目标附着到用户的衣物。
6.如权利要求3所述的计算机实施的方法，其中该参照导航目标是用户的头部。
7.如权利要求3所述的计算机实施的方法，其中该参照导航目标是用户的脸部。
8.如权利要求1所述的计算机实施的方法，其中该参照导航目标是用户的头和脸。
9.如权利要求3所述的计算机实施的方法，其中该参照导航目标是用户的头和肩。
10.如权利要求3所述的计算机实施的方法，其中该参照导航目标是用户的脸和肩。
11.如权利要求1所述的计算机实施的方法，其中所显示的某部份的虚拟放大倍率以与所跟踪的移动相关的方式来更新。
12.如权利要求1所述的计算机实施的方法，其中所显示的某部份的虚拟放大倍率响应用户键入到数字处理器的命令来更新。
13.如权利要求1所述的计算机实施的方法，其中所显示的某部份的虚拟方向以与所跟踪的移动相关的方式来更新。
14.如权利要求1所述的计算机实施的方法，其中所显示的某部份的虚拟方向响应用户键入到数字处理器的命令来更新。
15.如权利要求1所述的计算机实施的方法，其中在该数字处理器上执行的应用是一个提供虚拟对象的多维对象数据库应用。
16.如权利要求15所述的计算机实施的方法，其中更新所显示某部份包括沿至少一个维度横截该虚拟对象。
17.如权利要求1所述的计算机实施的方法，其中更新所显示某部份包括按比例决定所显示的某部份。
18.如权利要求17所述的计算机实施的方法，其中所显示的某部份响应用户键入到计算机系统的命令来进行比例的决定。
19.如权利要求1所述的计算机实施的方法，其中该显示装置和数字处理器通过缆线方式进行远程连接。
20.如权利要求1所述的计算机实施的方法，其中该显示装置和数字处理器通过无线方式进行远程连接。
21.如权利要求1所述的计算机实施的方法，其中该显示装置和数字处理器布置在个人信息装置内。
22.如权利要求21所述的计算机实施的方法，其中该个人信息装置是手持计算机。
23.如权利要求21所述的计算机实施的方法，其中该个人信息装置是移动通信装置。
24.如权利要求21所述的计算机实施的方法，其中该个人信息装置具有语音发送消息能力。
25.如权利要求21所述的计算机实施的方法，其中该个人信息装置具有数据发送消息能力。
26.如权利要求21所述的计算机实施的方法，其中该个人信息装置具有手写识别能力。
27.如权利要求21所述的计算机实施的方法，其中该个人信息装置具有语音识别能力。
28.如权利要求1所述的计算机实施的方法，其中该显示的某部份包括多个应用窗口。
29.如权利要求21所述的计算机实施的方法，其中该个人信息装置被耦合到第二计算机。
30.如权利要求29所述的计算机实施的方法，还包括利用人人信息装置选择在第二计算机上显示的信息。
31.一个计算机系统，包括数字处理器；耦合到数字处理器的计算机存储器；耦合到数字处理器的显示装置；参考参照导航目标并耦合到该显示装置的运动检测器；以及包含在一个耦合到数字处理器的计算机可读介质的计算机程序，该计算机程序具有计算机可读的指令，用于通过该显示装置，把由计算机系统产生的信息内容映射进适于显示的虚拟显示空间；通过该显示装置，显示该虚拟显示空间的某一部份；捕获一个图像；从该捕获的图像中获取参照导航目标；通过该运动检测器跟踪显示装置相对于参照导航目标的移动；以及以与所跟踪的移动相关的方式更新此虚拟显示空间的所显示的某部份。
32.如权利要求31所述的计算机系统，其中该参照导航目标附着到用户的身体。
33.如权利要求31所述的计算机系统，其中该参照导航目标是用户身体的一部份。
34.如权利要求31所述的计算机系统，其中该参照导航目标是用户衣物的一部份。
35.如权利要求31所述的计算机系统，其中该参照导航目标附着到用户的衣物。
36.如权利要求33所述的计算机系统，其中该参照导航目标是用户的头部。
37.如权利要求33所述的计算机系统，其中该参照导航目标是用户的脸部。
38.如权利要求33所述的计算机系统，其中该参照导航目标是用户的头和脸。
39.如权利要求33所述的计算机系统，其中该参照导航目标是用户的头和肩。
40.如权利要求33所述的计算机系统，其中该参照导航目标是用户的脸和肩。
41.如权利要求31所述的计算机系统，其中所显示的某部份的虚拟放大倍率以与所跟踪的移动相关的方式来更新。
42.如权利要求31所述的计算机系统，其中所显示的某部份的虚拟放大倍率响应用户键入到数字处理器的命令来更新。
43.如权利要求31所述的计算机系统，其中所显示的某部份的虚拟方向以与所跟踪的移动相关的方式来更新。
44.如权利要求31所述的计算机系统，其中所显示的某部份的虚拟方向响应用户键入到数字处理器的命令来更新。
45.如权利要求31所述的计算机系统，其中在该数字处理器上执行的应用是一个提供虚拟对象的多维对象数据库应用。
46.如权利要求45所述的计算机系统，其中更新所显示某部份包括沿至少一个维度横截该虚拟对象。
47.如权利要求31所述的计算机系统，其中更新所显示某部份包括按比例决定所显示的某部份。
48.如权利要求48所述的计算机系统，其中所显示的某部份响应用户键入到计算机系统的命令来进行按比例的决定。
49.如权利要求31所述的计算机系统，其中该显示装置和数字处理器通过缆线方式进行远程连接。
50.如权利要求31所述的计算机系统，其中该显示装置和数字处理器通过无线方式进行远程连接。
51.如权利要求31所述的计算机系统，其中该显示装置和数字处理器布置在个人信息装置内。
52.如权利要求51所述的计算机系统，其中该个人信息装置是手持计算机。
53.如权利要求51所述的计算机系统，其中该个人信息装置是移动通信装置。
54.如权利要求51所述的计算机系统，其中该个人信息装置具有语音发送消息能力。
55.如权利要求51所述的计算机系统，其中该个人信息装置具有数据发送消息能力。
56.如权利要求51所述的计算机系统，其中该个人信息装置具有手写识别能力。
57.如权利要求51所述的计算机系统，其中该个人信息装置具有语音识别能力。
58.如权利要求31所述的计算机系统，其中该显示的某部份包括多个应用窗口。
59.如权利要求51所述的计算机系统，其中该个人信息装置被耦合到第二计算机。
60.如权利要求59所述的计算机实施的方法，还包括利用人人信息装置选择在第二计算机上显示的信息。
61.如权利要求31所述的计算机系统，其中该运动检测器还包括一个可操作地耦合到一个图像处理器的图像捕获装置，用于从所捕获的图像获取参照导航目标和跟踪显示装置相对于参照导航目标的移动。
62.一个包含在计算机可读介质上的计算机程序，包括将由该数字处理器产生的信息内容映射进一个适于把信息传递给用户的虚拟显示空间的代码段；利用一个显示装置显示该虚拟显示空间的某一部份的代码段；捕获一个图像的代码段；从该捕获的图像中获取一个参照导航目标的代码段；跟踪该显示装置相对于该参照导航目标的移动的代码段；以与所跟踪的移动相关的方式更新该虚拟显示空间的所显示的某部份的代码段。
63.如权利要求62所述的计算机程序，其中该参照导航目标附着到用户的身体。
64.如权利要求62所述的计算机程序，其中该参照导航目标是用户身体的一部份。
65.如权利要求62所述的计算机程序，其中该参照导航目标是用户衣物的一部份。
66.如权利要求62所述的计算机程序，其中该参照导航目标附着到用户的衣物。
67.如权利要求64所述的计算机程序，其中该参照导航目标是用户的头部。
68.如权利要求64所述的计算机程序，其中该参照导航目标是用户的脸部。
69.如权利要求64所述的计算机程序，其中该参照导航目标是用户的头和脸。
70.如权利要求64所述的计算机程序，其中该参照导航目标是用户的头和肩。
71.如权利要求64所述的计算机程序，其中该参照导航目标是用户的脸和肩。
72.如权利要求62所述的计算机程序，其中所显示的某部份的虚拟放大倍率以与所跟踪的移动相关的方式来更新。
73.如权利要求62所述的计算机程序，其中所显示的某部份的虚拟放大倍率响应用户键入到数字处理器的命令来更新。
74.如权利要求62所述的计算机程序，其中所显示的某部份的虚拟方向以与所跟踪的移动相关的方式来更新。
75.如权利要求62所述的计算机程序，其中所显示的某部份的虚拟方向响应用户键入到数字处理器的命令来更新。
76.如权利要求62所述的计算机系统，其中在该数字处理器上执行的应用是一个提供虚拟对象的多维对象数据库应用。
77.如权利要求76所述的计算机程序，其中更新所显示某部份包括沿至少一个维度横截该虚拟对象。
78.如权利要求62所述的计算机程序，其中更新所显示某部份包括按比例决定所显示的某部份。
79.如权利要求78所述的计算机程序，其中所显示的某部份响应用户键入到计算机系统的命令来进行按比例的决定。
80.如权利要求62所述的计算机程序，其中该显示装置和数字处理器通过缆线方式进行远程连接。
81.如权利要求62所述的计算机程序，其中该显示装置和数字处理器通过无线方式进行远程连接。
82.如权利要求62所述的计算机程序，其中该显示装置和数字处理器布置在个人信息装置内。
83.如权利要求82所述的计算机程序，其中该个人信息装置是手持计算机。
84.如权利要求82所述的计算机程序，其中该个人信息装置是移动通信装置。
85.如权利要求82所述的计算机程序，其中该个人信息装置具有数据发送消息能力。
86.如权利要求82所述的计算机程序，其中该个人信息装置具有手写识别能力。
全文摘要
计算机程序、系统和方法,跟踪运动、控制对象阅览器的显示和导航。由数字处理器产生的信息内容被映射进适于把信息传递给用户的虚拟显示空间。利用耦合到数字处理器的显示装置显示该虚拟显示空间的某部分。图像捕获装置所获取的参照导航目标捕获一个图像,所跟踪的显示装置相对于该参照导航目标的移动以与该移动相关的方式,更新此虚拟显示空间的所显示的某部分。
文档编号G06F3/033GK1300415SQ00800044
公开日2001年6月20日 申请日期2000年6月2日 优先权日1999年6月8日
发明者詹姆斯·弗拉克, 西纳·法塔赫, 戴维·L·莫特 申请人:维格－维斯塔公司
最新回复(0)