用于产生虚拟和增强现实的方法和系统与流程

背景技术:

现代计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发,其中数字再现的图像或其部分以它们似乎是或者可被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现而不对其它现实真实世界视觉输入透明;增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为在用户周围的现实世界的可视化的增强。例如,增强现实场景可允许AR技术的用户可看到被叠加在现实世界对象上或在现实世界对象之中的一或多个虚拟对象(例如,以背景中的人、树木、建筑物为特征的现实世界公园状环境,等等)。

人类视觉感知系统是非常复杂的,并且产生促进虚拟图像元素在其它虚拟或真实世界图像元素中的舒适的、自然感觉的、丰富的呈现的VR或AR技术是具有挑战性的。传统的立体可佩戴式眼镜通常具有两个显示器,其被配置为显示具有稍微不同的元素呈现的图像,使得人类视觉系统感知到三维透视。已经发现此类配置对于许多用户是不舒服的,这是由于可被克服以在三维中感知图像的聚散度(vergence)和适应性之间的不匹配。实际上,一些用户不能忍受立体配置。

尽管几种光学配置(例如,头戴式眼镜)是可用的(例如,Occulus等等),但是这些配置中没有一个最适合于以对用户将是舒适的并且最有用的方式呈现丰富的双眼、三维增强现实体验,部分是因为现有系统无法解决人类感知系统的一些基本方面,包括视网膜的光感受器及其与大脑的互操作以向用户产生可视化的感知。

人眼是非常复杂的器官,并且通常包括角膜、虹膜、晶状体、黄斑、视网膜和到大脑的视神经通路。黄斑是视网膜的中心,其用于看到适度的细节。在黄斑的中心为视网膜的一部分,其被称为“中央凹”,其用于观察场景的最细微的细节,并且比视网膜的任何其它的部分包含更多的光感受器(每视觉度大约120个视锥)。

人类视觉系统不是无源传感器类型的系统;它主动扫描环境。以某种程度类似于使用平板扫描器捕捉图像或使用手指从纸张上读取盲文的方式,眼睛的光感受器响应于刺激的变化而激发,而不是恒定地响应恒定状态的刺激。因此,需要运动来向大脑呈现光感受器信息。

事实上,使用已经用于使眼睛肌肉麻痹的物质(例如眼镜蛇毒)的实验已经表明,如果眼睛睁得大大的,用毒液引起麻痹的眼睛观看静态场景,人类受试者就会失明。换句话说,没有刺激的变化,光感受器不向大脑提供输入并且经历失明。据信,这是已经观察到的正常人的眼睛在左右移动(也称为“微跳视”(microsaccade))中来回移动或抖动的至少一个原因。

如上所述,视网膜的中央凹包含最大密度的光感受器。虽然人们通常认为人类在整个视场中具有高分辨率可视化能力,但实际上,人类只有几乎不变地机械扫描的小的高分辨率中心,以及通过中央凹最近捕捉的高分辨率信息的持久记忆。以某种程度类似的方式,眼睛的焦距控制机构(例如,以下面的方式可操作地耦合到晶状体的睫状肌,其中,睫状肌松弛引起张紧的睫状连接纤维,使晶状体变平以用于更远的焦距;睫状肌收缩引起松驰的睫状连接纤维,其允许晶状体呈现更圆的几何形状以用于更近的焦距)以大约1/4至1/2屈光度前后抖动,以在目标焦距的近侧和远侧循环诱发少量的“屈光模糊”。这被大脑的适应控制电路用作循环负反馈,其帮助不断地校正方向并保持被注视对象的视网膜图像近似对焦。

大脑的可视化中心还从两只眼睛及其部件相对于彼此的运动获得有价值的感知信息。两只眼睛相对于彼此的聚散运动(例如,瞳孔朝向彼此或远离彼此滚动运动以使眼睛的视线会聚以固定在对象上)与眼睛的晶状体的聚焦(或“适应”)紧密相关。在正常情况下,在被称为“适应-聚散反射”的关系下,改变眼睛的晶状体的焦距或调节眼睛以聚焦不同距离处的对象将自动引起聚散度到相同距离的匹配变化。同样,在正常条件下,聚散度的变化将触发适应性的匹配变化。已知违背这种反射(如大多数常规立体AR或VR配置的情况)会在用户中产生眼疲劳、头痛或其它形式的不适。

容纳眼睛的头部的运动也对对象的可视化具有关键的影响。人类倾向于移动他们的头部以对他们周围的世界可视化,并且通常相对于感兴趣的对象处于重新定位和重定向头部的相当恒定的状态。此外,当他们的眼睛注视需要移动以偏离中心超过约20度以聚焦于特定对象时,大多数人喜欢移动他们的头部(例如,人们通常不喜欢“从眼角”看东西)。人类还通常相对于声音扫描或移动他们的头部,以改善音频信号捕捉并利用耳朵相对于头部的几何形状。人类视觉系统从所谓的“头部运动视差”获得强大的深度提示,其与作为头部运动和眼睛聚散距离的函数的不同距离处的对象的相对运动相关。换句话说,如果人将他的头从一侧移动到另一侧并保持固定在对象上,则远离该对象的物项将沿与头部相同的方向移动,并且该对象前面的物项将与头部运动相反地移动。这些可为对象相对于人在环境中空间位置非常显著的提示。当然,头部运动也被用来环顾对象。

此外,头部和眼睛运动与“前庭眼反射”协调,其在头部旋转期间相对于视网膜稳定图像信息,从而保持对象图像信息大致位于视网膜的中心。响应于头部旋转,眼睛在相反方向上反射地和成比例地旋转,以保持稳定固定在对象上。作为这种补偿关系的结果,许多人能够在来回摇晃头部的同时读书。有趣的是,如果书以相同的速度来回摇动而头部大致静止,则通常不是这样――人不太可能能够阅读移动的书。前庭眼反射为头部和眼睛运动协调中的一种,并且通常不被发展用于手运动。这种范例对于AR系统可能是重要的,因为用户的头部运动可与眼睛运动相对直接地关联,并且理想的系统优选地将准备好与该关系一起工作。

实际上,给定这些各种关系,当放置数字内容(例如,3-D内容,诸如被呈现以增强房间的真实世界视图的虚拟枝形吊灯对象;或2-D内容,诸如被呈现以增强房间的真实世界视图的平面/平坦虚拟油画对象)时,可以进行设计选择以控制对象的行为。例如,2-D油画对象可以头部为中心,在此情况下,对象随着用户的头部一起移动(例如,如在方法中)。在另一示例中,对象可为以世界为中心的,在此情况下,它可被呈现为好像它是真实世界坐标系的一部分,使得用户可移动他的头部或眼睛,而不移动对象相对于现实世界的位置。

因此,当将虚拟内容放置到用AR系统呈现的增强现实世界中时,做出关于该对象是否应该被呈现为以世界为中心、以身体为中心、以头部为中心或以眼睛为中心的选择。在以头部为中心的方法中,虚拟对象驻留在真实世界中的位置,使得用户可围绕它移动他的身体、头部、眼睛而不改变其相对于围绕它的真实世界对象(诸如真实世界墙壁)的位置。在以身体为中心的方法中,虚拟元素可相对于用户的躯干是固定的,使得用户可以移动他的头部或眼睛而不移动对象,但是对象被从属于躯干运动。在以头部为中心的方法中,所显示的对象(和/或显示本身)可与头部运动一起移动,如上面参考所描述的)。在以眼睛为中心的方法中,如在如下所述的“中央凹显示”配置中,内容根据眼睛位置而回转。

在以世界为中心的配置中,可能期望具有诸如精确的头部姿势测量、围绕用户的真实世界对象和几何形状的精确表示和/或测量、作为头部姿势的函数在增强现实显示中的低延迟动态呈现和通常低延迟显示的输入。

上面列出的美国专利申请提出了与典型人的视觉配置一起工作以解决虚拟现实和增强现实应用中的各种挑战的系统和技术。这些虚拟现实和/或AR系统的设计呈现了许多挑战,包括系统在递送虚拟内容时的速度、虚拟内容的质量、用户的适眼距(eye relief)、系统的大小和可移植性以及其它系统和光学挑战。

本文所述的系统和技术被配置为与典型人的视觉配置一起工作以解决这些挑战。

技术实现要素:

本发明的实施例涉及用于促进一或多个用户的虚拟现实和/或增强现实交互的装置、系统和方法。在一个方面,公开了用于显示虚拟内容的系统。

在一个方面,一种增强现实显示系统包括捕捉一或多个图像的图像捕捉装置,所述一或多个图像对应于头戴式增强现实装置的用户的视场,以及处理器,其通信地耦合到图像捕捉装置以从所述图像集合中提取一组映射点,以从所提取的该组映射点中识别一组稀疏点和一组密集点,以及对该组映射点执行归一化。在一或多个实施例中,处理器可分别为稀疏点集合和密集点集合生成稀疏点和密集点描述符。

在一或多个实施例中,稀疏点描述符和密集点描述符被存储为映射数据。在一或多个实施例中,稀疏点集合对应于一或多个图像的区别特征。在一或多个实施例中,区别特征选自由角、圆、三角形和文本组成的组。

在一或多个实施例中,密集点集合对应于视场内的3D点。在一或多个实施例中,密集点集合另外包括颜色值。在一或多个实施例中,归一化包括缩放归一化。在一或多个实施例中,归一化包括至共同原点的坐标归一化。在一或多个实施例中,归一化利用机器学习。在一或多个实施例中,稀疏点和密集点描述符对应于稀疏和密集点集合中的相应稀疏点和密集点。在一或多个实施例中,稀疏点和密集点描述符包括与缩放、纹理、取向和补片数据中的至少一种有关的信息。

在另一方面,一种生成映射数据的方法包括:识别与一或多个图像相关联的一组映射点;从所识别的映射点确定稀疏点集合和密集点集合;以及执行相应的稀疏点和密集点集合的归一化。

在一或多个实施例中,该方法另外包括针对稀疏点和密集点的相应集合生成稀疏点和密集点描述符,以及组合稀疏点描述符和密集点描述符以存储为映射数据。

在一或多个实施例中,稀疏点集合对应于区别特征。在一或多个实施例中,区别特征选自由角、圆、三角形和文本组成的组。在一或多个实施例中,密集点集合对应于视场内的3D点。在一或多个实施例中,密集点集合还包括颜色值。

在一或多个实施例中,归一化包括缩放归一化。在一或多个实施例中,归一化包括至共同原点的坐标归一化。在一或多个实施例中,使用机器学习来实现归一化。在一或多个实施例中,稀疏点和密集点描述符对应于相应稀疏点和密集点集合中的每个稀疏点和密集点。在一或多个实施例中,每个稀疏点和密集点描述符包括关于从由缩放、取向、补片数据和纹理组成的组中选择的相应稀疏和密集点的信息。

在另一方面,一种增强现实显示系统包括捕捉一或多个图像的图像捕捉装置,所述一或多个图像对应于用户的视场,其中,该图像捕捉由用户产生的至少一个姿势,以及通信地耦合到图像捕捉装置的处理器,该处理器被配置为识别与姿势相关联的点的集合,并且将该点的集合与预定姿势的数据库进行比较,并且至少部分地基于该比较来识别姿势,以及至少部分地基于所识别的姿势来确定用户输入。

在一或多个实施例中,处理器基于比较生成用于所识别的点的集合的得分值。在一或多个实施例中,处理器在得分超过阈值时识别姿势。在一或多个实施例中,增强现实显示系统包括用于存储预定姿势集合的数据库。在一或多个实施例中,系统另外包括用于访问预定姿势的数据库的联网存储器。

在一或多个实施例中,姿势为手势。在一或多个实施例中,姿势为手指姿势。在一或多个实施例中,姿势为手指间交互。在一或多个实施例中,姿势从包括手指间交互、指向、敲击和摩擦的组中选择。

在一或多个实施例中,增强现实显示系统另外包括空间光调制器,空间光调制器通信地耦合到处理器,其中,处理器以使得一或多个虚拟对象至少部分地基于所确定的用户输入被显示给用户的方式控制空间光调制器。在一或多个实施例中,一或多个虚拟对象包括虚拟用户界面。

在另一方面,用于确定用户输入的方法,包括:捕捉用户的视场的图像,图像包括由用户产生的姿势,分析所捕捉的图像以识别与姿势相关联的点的集合,将识别的点的集合和与预定姿势的数据库相关联的点的集合进行比较,并且基于所识别的姿势确定用户输入。

在一或多个实施例中,该方法另外包括基于该比较生成所识别的点的集合的得分值。在一或多个实施例中,该方法另外包括当得分值超出阈值时识别姿势。在一或多个实施例中,该方法另外包括将预定姿势存储在数据库中。在一或多个实施例中,该方法另外包括访问联网存储器以访问预定姿势的数据库。

在一或多个实施例中,姿势为手势。在一或多个实施例中,姿势为手指姿势。在一或多个实施例中,姿势为手指间交互。在一或多个实施例中,姿势从包括手指间交互、指向、敲击和摩擦的组中选择。

在一或多个实施例中,该方法另外包括至少部分基于所确定的用户输入向用户显示一或多个虚拟对象。在一或多个实施例中,一或多个虚拟对象包括虚拟用户界面。

在另一方面,一种增强现实显示系统包括捕捉一或多个图像的图像捕捉装置,以及通信地耦合到图像捕捉装置的处理器,其分析所捕捉的图像以识别由用户产生的一或多个姿势,其中,一或多个姿势的识别包括利用具有多个级的级联机制。

在一或多个实施例中,级联机制包括多个节点,每个节点对应于多个级中的级。在一或多个实施例中,级联机制包括一系列许可分析节点。在一或多个实施例中,级联机制的多个级中的较早级被配置为与级联机制的多个级中的较后级相比消耗较少的处理能力。

在一或多个实施例中,基于在级联机制的较早级对所捕捉的图像的分析去除非姿势。在一或多个实施例中,多个级中的较后级被配置为至少部分基于所捕捉的图像来确定更复杂的姿势。

在一或多个实施例中,对所捕捉的图像的分析包括确定所捕捉的图像中各种形状的轮廓的锐度是否足够锐利以构成姿势。在一或多个实施例中,级联机制的较后级用于区分不同的姿势。在一或多个实施例中,处理器还被配置为至少部分基于分析来生成得分。在一或多个实施例中,如果所生成的得分低于最小阈值,则处理器从考虑中移除候选图像。在一或多个实施例中,如果所生成的得分高于最小阈值,则处理器前进到级联机制的较后级。

在另一方面,一种方法包括:捕捉对应于用户的视场的一或多个图像,以及分析所捕捉的一或多个图像以识别由用户产生的一或多个手势,其中,分析包括利用具有多个级的级联机制。

在一或多个实施例中,级联机制包括多个节点,每个节点对应于多个级中的级。在一或多个实施例中,级联机制包括一系列许可分析节点。在一或多个实施例中,级联机制的多个级中的较早级被配置为与级联机构的多个级中的较后级相比消耗较少的处理能力。

在一或多个实施例中,基于在级联机制的较早级对所捕捉的图像的分析去除非姿势。在一或多个实施例中,多个级中的较后级被配置为至少部分基于所捕捉的图像来确定更复杂的姿势。

在一或多个实施例中,对所捕捉的图像的分析包括确定所捕捉的图像中各种形状的轮廓的锐度是否足够锐利以构成姿势。在一或多个实施例中,级联机制的较后级用于区分不同的姿势。

在一或多个实施例中,该方法另外包括至少部分基于该分析生成得分。在一或多个实施例中,该方法另外包括:如果所生成的得分低于最小阈值,则从考虑中移除候选图像。在一或多个实施例中,该方法另外包括:如果所生成的得分高于最小阈值,则前进到级联机制的较后级。

在另一方面,一种增强现实系统包括捕捉用户的各个视场的多个图像的图像捕捉装置,以及通信地耦合到图像捕捉装置的处理器,其分析多个图像并且从所捕捉的多个图像生成多个姿势候选,并且生成与所述多个姿势候选对应的分析值,其中,至少部分基于该分析值来识别姿势。

在一或多个实施例中,处理器还被配置为至少部分基于相应的分析值对姿势候选进行排序。在一或多个实施例中,处理器还被配置为消除具有低于最小阈值的分析值的姿势候选。在一或多个实施例中,处理器还被配置为如果分析值高于最小阈值,则将姿势候选推进到下一处理级。

在另一方面,一种方法包括:捕捉用户的各个视场的多个图像,分析多个图像以生成多个姿势候选,并且生成与多个姿势候选相对应的分析值,其中,姿势至少部分基于分析值来识别。

在一或多个实施例中,该方法还包括至少部分基于相应分析值对姿势候选进行排序。在一或多个实施例中,该方法另外包括消除具有低于最小阈值的分析值的姿势候选。在一或多个实施例中,该方法另外包括:如果分析值高于最小阈值,则将姿势候选推进到下一处理级。

在又一方面,一种增强现实显示系统包括捕捉用户的视场的图像的图像捕捉装置,以及被配置为生成对应于所捕捉的图像的深度地图并且分析所捕捉图像的深度地图以识别姿势的处理器。

在一或多个实施例中,处理器还被配置为利用分类器机制来识别对应于所生成的深度地图的点的手的一部分。在一或多个实施例中,处理器还被配置为基于手的一部分的识别来对所述深度地图进行骨架化(skeletonize)。

在一或多个实施例中,处理器至少部分地基于骨架化的深度地图将图像分类为姿势。在一或多个实施例中,至少部分通过执行深度分割过程来生成深度。

在一或多个实施例中,深度分割包括线搜索。在一或多个实施例中,处理器对深度地图执行级联分析以将图像分类为姿势。在一或多个实施例中,处理器对深度地图执行深度增强。在一或多个实施例中,处理器对深度地图执行表面归一化。

在一或多个实施例中,处理器对深度地图执行取向归一化。在一或多个实施例中,处理器对深度地图执行背景减法。在一或多个实施例中,处理器对深度地图执行深度比较。在一或多个实施例中,处理器至少部分地基于骨架化深度地图和先前信息将图像分类为姿势。在一或多个实施例中,分类器机制为决策林。

在另一方面,一种用于对姿势进行分类的方法包括:捕捉用户的视场的图像;对捕捉图像执行深度分割以生成深度地图;以及至少部分基于所生成的深度地图来识别姿势。

在一或多个实施例中,该方法另外包括使用分类器机制来分析深度地图,以识别与深度地图中的点相对应的手的一部分。在一或多个实施例中,该方法另外包括基于手的一部分的识别来对深度地图骨架化。在一或多个实施例中,该方法另外包括基于骨架化深度地图将图像分类为姿势。

在一或多个实施例中,深度分割包括线搜索。在一或多个实施例中,该方法另外包括对深度地图执行级联分析以将图像分类为姿势。在一或多个实施例中,该方法另外包括对深度地图执行深度增强。

在一或多个实施例中,该方法另外包括对深度地图执行表面归一化。在一或多个实施例中,该方法另外包括对深度地图执行取向归一化。在一或多个实施例中,该方法另外包括对深度地图执行背景减法。

在一或多个实施例中,该方法另外包括对深度地图执行深度比较。在一或多个实施例中,该方法另外包括基于骨架化深度地图和先验信息将图像分类为姿势。在一或多个实施例中,分类器机制为决策林。

在另一方面,一种增强现实显示系统包括:捕捉用户的视场的一组图像的图像捕捉装置,该组图像捕捉用户相对于预定义物理对象的运动;以及通信耦合到图像捕捉装置的处理器,其分析相对于预定义物理对象的运动,以及至少部分基于所分析的运动来确定用户输入。

在一或多个实施例中,处理器识别预定义的物理对象。在一或多个实施例中,至少部分基于预定义物理对象的捕捉图像和预定义物理对象的数据库之间的图像比较来识别预定义物理对象。在一或多个实施例中,所分析的用户相对于预定义物理对象的移动被用于生成图案。在一或多个实施例中,将所生成的图案与预定义图案的数据库进行比较。在一或多个实施例中,处理器基于比较生成用于所识别的图案的得分值。

在一或多个实施例中,处理器在得分值超出阈值时确定用户输入。在一或多个实施例中,图像捕捉装置可视地跟踪相对于预定义物理对象的运动以生成视频记录。在一或多个实施例中,分析视频记录以确定用户输入。

在一或多个实施例中,增强现实显示系统另外包括用于访问预定义图案的数据库的联网存储器。在一或多个实施例中,预定义物理对象选自视场中的现有结构、有源标记图腾、无源标记图腾、摄像机/传感器集成对象和图腾控制器对象。

在一或多个实施例中,相对于预定义物理对象的运动从包括预定义物理对象相对于参考系的位置、取向和移动的组中选择。在一或多个实施例中,预定义物理对象包括用户手的第一只手,并且其中,相对于第一只手的运动包括用用户的第二只手对第一只手的操控。

在一或多个实施例中,预定义物理对象具有软硬度表面,并且其中,相对于预定义物理对象的运动包括用户压下软硬度表面。在一或多个实施例中,处理器为用户呈现与预定义物理对象相关联的虚拟界面元素,该虚拟界面元素由用户通过显示装置观看。

在一或多个实施例中,当被用户观看时,相对于预定义物理对象显示虚拟界面元素,使得至少部分基于关于预定义物理对象的修改来修改虚拟界面元素。在一或多个实施例中,预定义物理对象包括电子输入装置,并且其中,基于所识别的预定义物理对象的运动和来自电子输入装置的输入来确定用户输入。

在一或多个实施例中,处理器被配置为控制耦合到用户的眼睛的显示装置,使得至少部分基于所确定的用户输入来修改向用户显示的虚拟内容。

在另一方面,一种用于确定用户输入的方法包括:捕捉用户的视场的一或多个图像,该图像至少包括预定义的物理对象,分析图像以检测用户相对于预定义物理对象的运动,并且至少部分基于相对于所预定义物理对象的运动的分析来确定用户输入。

在一或多个实施例中,该方法另外包括识别预定义的物理对象。在一或多个实施例中,至少部分基于预定义物理对象的捕捉图像和预定义物理对象的数据库之间的图像比较来识别预定义物理对象。在一或多个实施例中,用户相对于预定义物理对象的运动被用于生成图案。

在一或多个实施例中,该方法另外包括将所生成的图案与预定图案的数据库进行比较。在一或多个实施例中,该方法另外包括基于该比较生成所识别的图案的得分值。在一或多个实施例中,该方法另外包括当得分值超过阈值时确定用户输入。

在一或多个实施例中,该方法另外包括视觉地跟踪与预定义物理对象相关的运动以生成视频记录。在一或多个实施例中,分析视频记录以确定用户输入。在一或多个实施例中,该方法还包括通过联网存储器访问预定图案的数据库。在一或多个实施例中,预定义物理对象选自视场中的现有结构、有源标记图腾、无源标记图腾、摄像机/传感器集成对象和图腾控制器对象。

在一或多个实施例中,相对于预定义物理对象的运动从包括预定义物理对象相对于参考系的位置、取向和移动的组中选择。在一或多个实施例中,预定义物理对象包括用户手的第一只手,并且其中,相对于第一只手的运动包括用用户的第二只手对第一只手的操控。

在一或多个实施例中,预定义物理对象具有软硬度表面,并且其中,相对于预定义物理对象的运动包括用户压下软硬度表面。在一或多个实施例中,该方法另外包括为用户呈现与预定义物理对象相关联的虚拟界面元素。

在一或多个实施例中,当被用户观看时,相对于预定义物理对象显示虚拟界面元素,使得至少部分基于关于预定义物理对象的修改来修改虚拟界面元素。在一或多个实施例中,预定义物理对象包括电子输入装置,并且其中,基于所识别的预定义物理对象的运动和来自电子输入装置的输入来确定用户输入。在一或多个实施例中,该方法另外包括至少部分基于所确定的用户输入来修改向用户显示的虚拟内容的至少一个特性。

在另一方面,一种增强现实显示系统包括物理地耦合到用户的眼睛的显示器,其显示与一或多个物理对象相关的一组虚拟内容,以及通信地耦合到显示器和图像捕捉装置的处理器,其基于用户输入识别经由显示器向用户显示的虚拟用户界面,获得用户相对于世界的位置,以及确定一组显示虚拟用户界面的坐标点,并且控制该显示以使得所识别的虚拟用户界面被显示给用户。

在一或多个实施例中,至少部分基于所识别的姿势来确定用户输入。在一或多个实施例中,至少部分基于语音命令来确定用户输入。在一或多个实施例中,至少部分基于与预定义物理对象的交互来确定用户输入。

在一或多个实施例中,增强现实显示系统另外包括用户界面库,并且其中,从用户界面库检索所识别的用户界面。在一或多个实施例中,所识别的虚拟用户界面与参考系相关联。在一或多个实施例中,参考系为以身体为中心的参考系。

在一或多个实施例中,参考系为以头部为中心的参考系。在一或多个实施例中,参考系为以手为中心的参考系。在一或多个实施例中,参考系为以世界为中心的参考系。在一或多个实施例中,处理器执行与所识别的虚拟用户界面相关联的参考系和所获得的用户相对于世界的位置之间的变换,以确定虚拟用户界面的坐标点集合。

在一或多个实施例中,基于用户的GPS位置确定用户在世界中的位置。在一或多个实施例中,基于与用户相关联的一组映射点来确定用户在世界中的位置。在一或多个实施例中,当用户移动时,虚拟用户界面看起来是静止的。

在一或多个实施例中,虚拟用户界面相对于用户的移动而移动。在一或多个实施例中,处理器确定与所识别的虚拟用户界面相关联的参考系、确定参考系相对于世界参考系的位置、将所确定的位置设置为原点并确定相对于原点的坐标点集合。

在另一方面,一种用于生成虚拟用户界面的方法包括:基于用户输入来识别要向用户显示的虚拟用户界面;获得与用户相关联的位置;至少部分基于所获得的位置来确定在其处显示所识别的虚拟用户界面的一组坐标点;并且在所确定的坐标点处向用户显示虚拟用户界面。

在一或多个实施例中,至少部分基于所识别的姿势来确定用户输入。在一或多个实施例中,至少部分基于语音命令来确定用户输入。在一或多个实施例中,至少部分基于与预定义物理对象的交互来确定用户输入。

在一或多个实施例中,该方法另外包括从用户界面库检索所识别的用户虚拟用户界面。在一或多个实施例中,所识别的虚拟用户界面与参考系相关联。在一或多个实施例中,参考系为以身体为中心的参考系。

在一或多个实施例中,参考系为以头部为中心的参考系。在一或多个实施例中,参考系为以手为中心的参考系。在一或多个实施例中,参考系为以世界为中心的参考系。

在一或多个实施例中,该方法另外包括在与所识别的虚拟用户界面相关联的参考系和所获得的用户相对于世界的位置之间执行变换,以确定虚拟用户界面的坐标点集合。在一或多个实施例中,基于用户的GPS位置确定用户在世界中的位置。

在一或多个实施例中,基于与用户相关联的一组映射点来确定用户在世界中的位置。在一或多个实施例中,当用户移动时,虚拟用户界面看起来是静止的。在一或多个实施例中,虚拟用户界面相对于用户的移动而移动。

在一或多个实施例中,该方法另外包括确定与所识别的虚拟用户界面相关联的参考系、确定参考系相对于世界参考系的位置、将所确定的位置设置为原点并确定相对于原点的坐标点集合。

在一或多个实施例中,该方法另外包括从联网存储器检索映射点集合。在一或多个实施例中,用户输入包括待显示虚拟用户界面在空间中的位置。在一或多个实施例中,在空间中的位置与在用户位置处的物理实体相关联。在一或多个实施例中,用户输入包括包含指示墙的投掷输入的姿势。在一或多个实施例中,用户输入包括表示结束生成虚拟用户界面的指令的姿势。

在另一方面,用于生成虚拟用户界面的方法,包括:检测预定义物理对象的操控;基于所检测到的操控识别产生虚拟用户界面的命令;从虚拟世界模型确定与预定义物理对象的位置相关联的映射点集合,以及在所确定的与图腾的位置相关联的映射点处实时呈现虚拟用户界面,使得当被用户观看时,虚拟用户界面看起来在预定义物理对象的位置处是静止的。

在一或多个实施例中,预定义物理对象的操控包括用户的手在预定义物理对象的表面上的扩张捏合姿势。在一或多个实施例中,当被用户观看时,虚拟用户界面看起来覆盖预定义物理对象的表面的一部分,该部分对应于在形成扩张捏合姿势期间用户的手的位置。在一或多个实施例中,预定义物理对象是用户的手。

在一或多个实施例中,预定义物理对象的操控包括从包括用户打开手、用户显示手的打开手掌以及用户举起手的组中选择的动作。在一或多个实施例中,在被用户观看时,虚拟用户界面看起来覆盖手的表面的一部分。

在一或多个实施例中,虚拟用户界面包括可由手的手指或拇指选择的多个第一级菜单项。在一或多个实施例中,该方法另外包括检测手的进一步操控、基于所检测到的进一步操控识别产生第二虚拟用户界面的命令,并且在所确定的与预定义物理对象的位置相关联的映射点处实时呈现第二虚拟用户界面,使得当由用户观看时,虚拟用户界面看起来在预定义物理对象的位置处是静止的。

在一或多个实施例中,该方法另外包括手的进一步操控,包括展开手的手指。在一个或多个实施例中,第二虚拟用户界面包括可由手的手指或拇指选择的多个第二级菜单项,其中,第二级低于第一级。

在一或多个实施例中,图腾的进一步操控包括用来自用户的第二只手的手指在手掌中进行环绕运动。在一或多个实施例中,第二虚拟用户界面包括以弧形布置的多个菜单项,菜单项可滚动并且可由第二只手的手指选择。

在另一方面,一种增强现实显示系统包括图像捕捉装置,其捕捉用户的视场的一或多个图像,其中,至少一个图像捕捉预定义物理对象的操控,显示装置,其向用户显示一或多个虚拟对象,包括可传递世界模型的数据库,可传递世界模型包括与世界的物理对象相关联的一组映射点,以及处理器,其通信耦合到图像捕捉装置,以基于一或多个图像识别产生虚拟用户界面的命令,至少部分基于可传递世界模型来确定与预定义物理对象相对应的映射点,并且使得虚拟用户界面在所确定的与预定义物理对象相对应的映射点处生成,使得虚拟用户界面看起来在预定义物理对象的位置处是静止的。

在一或多个实施例中,预定义物理对象的操控包括用户的手在预定义物理对象的表面上的扩张捏合姿势。在一或多个实施例中,当被用户观看时,虚拟用户界面看起来覆盖预定义物理对象的表面的一部分,该部分对应于在形成扩张捏合姿势期间用户的手的位置。在一或多个实施例中,预定义物理对象是用户的手。

在一或多个实施例中,预定义物理对象的操控包括从包括用户打开手、用户显示手的打开手掌以及用户举起手的组中选择的动作。在一或多个实施例中,在被用户观看时,虚拟用户界面看起来覆盖手的表面的一部分。

在一或多个实施例中,虚拟用户界面包括可由手的手指或拇指选择的多个第一级菜单项。在一或多个实施例中,预定义物理对象为手,并且其中,处理器检测手的进一步操控并识别产生第二虚拟用户界面的命令,并且以使得第二虚拟用户界面被显示在所确定的映射点处来控制显示。

在一或多个实施例中,手的进一步操控包括展开手的手指。在一个或多个实施例中,第二虚拟用户界面包括可由手的手指或拇指选择的多个第二级菜单项,其中,第二级低于第一级。在一或多个实施例中,图腾的进一步操控包括用来自用户的第二只手的手指在手掌中进行环绕动作。

在一或多个实施例中,第二虚拟用户界面包括以弧形布置的多个菜单项,菜单项可滚动并且可由第二只手的手指选择。

在另一方面,一种用于更新虚拟世界的方法包括:从第一用户的第一装置接收第一输入,第一输入对应于第一用户的物理环境;基于所接收到的第一输入更新虚拟世界模型,虚拟世界模型对应于第一用户的物理环境,将对应于虚拟世界模型的第一部分的第一更新信息发送给第二用户,其中,第一更新信息被配置为指示第一更新信息的任何部分是否需要向第二用户显示。

在一或多个实施例中,虚拟世界模型驻留在联网存储器上。在一或多个实施例中,第一用户和第二用户位于相应的不同位置。在一或多个实施例中,第一用户的第一装置选自由FOV摄像机、其它摄像机、传感器、眼睛跟踪第一装置和音频第一装置组成的组。

在一或多个实施例中,该方法另外包括将对应于虚拟世界模型的第一部分的第一更新信息发送给第一用户,其中,第一更新信息被配置为指示第一更新信息的任何部分是否需要显示给第一用户。在一或多个实施例中,该方法另外包括将对应于虚拟世界模型的第一部分的第一更新信息发送给多个其他用户,其中,第一更新信息被配置为指示第一更新信息的任何部分是否需要显示给所述多个其他用户中的每个用户。

在一或多个实施例中,该方法另外包括从多个其他用户中的相应第一装置接收多个输入,多个输入对应于第一用户的物理环境;基于所接收到的多个输入更新虚拟世界模型,并且向第二用户发送与虚拟世界模型的相应附加部分相对应的附加更新信息,其中,附加更新信息被配置为指示是否需要向第二用户显示附加更新信息的任何部分。

在一或多个实施例中,该方法另外包括将对应于虚拟世界模型的部分的附加更新信息发送给第一用户,其中,附加更新信息被配置为指示附加更新信息的任何部分是否需要显示给第一用户。

在一或多个实施例中,该方法另外包括将对应于虚拟世界模型的相应附加部分的附加更新信息发送给多个其他用户,其中,附加更新信息被配置为指示附加更新信息的任何部分是否需要显示给多个其他用户中的每个用户。

在一或多个实施例中,该方法另外包括从第二用户的第二装置接收第二输入,第二输入对应于第二用户的物理环境;基于所接收到的第二输入更新虚拟世界模型,虚拟世界模型对应于第一用户的物理环境,并将对应于虚拟世界模型的第二部分的第二更新信息发送给第一用户,其中,第二更新信息被配置为指示第二更新信息的任何部分是否需要显示给第一用户。在一或多个实施例中,第二更新信息对应于虚拟世界模型的第二部分中的第二用户的化身的运动。

在另一方面,一种方法包括:将光图案投影到空间上;用摄像机检测光图案的第一和第二部分以产生对应于该图案的第一和第二部分的第一和第二数据点,并且执行三角测量分析以至少部分基于第一和第二数据点来确定光图案的第一和第二部分的位置。

在一或多个实施例中,该方法另外包括针对图案的多个部分重复所述投影、检测和三角测量步骤,以获取空间的附加纹理数据。在一或多个实施例中,其中,将光投射到空间上包括使用基于光纤的投影仪将光投射到空间上。

在一或多个实施例中,该方法另外包括在光被投射到空间上之前用光学元件修改光以形成光线束。在一或多个实施例中,光图案对应于结构化光,并且其中,光图案是动态的。在一或多个实施例中,光图案对应于图案化的光,并且其中,光图案包括多个点。

在一或多个实施例中,光图案对应于纹理化的光,并且其中,光图案是不规则的。在一或多个实施例中,光图案的第一和第二部分为光图案的相应像素。

在另一方面,一种增强现实显示系统包括用于在空间中投射光图案的投光器,耦合到增强现实显示系统的镜框的摄像机,其捕捉用户的视场的图像,其中,摄像机捕捉对应于投射光图案的第一和第二部分,以及通信耦合到摄像机的处理器,其用于至少部分基于从摄像机接收到的数据来检测对应于图案的第一和第二部分的第一和第二数据点并且执行三角测量分析以至少部分基于第一和第二数据点来确定光图案的第一和第二部分的位置。

在一或多个实施例中,处理器针对图案的多个部分重复所述投影、检测和三角测量步骤,以获取空间的附加纹理数据。在一或多个实施例中,投光器包括基于光纤的投影仪。在一或多个实施例中,用光学元件修改投射光,以在光被投射到空间上之前形成光线束。

在一或多个实施例中,光图案对应于结构化光,并且其中,光图案是动态的。在一或多个实施例中,光图案对应于图案化的光,并且其中,光图案包括多个点。在一或多个实施例中,光图案对应于纹理化的光,并且其中,光图案是不规则的。在一或多个实施例中,光图案的第一和第二部分为光图案的相应像素。

在另一方面,一种增强现实系统包括具有被配置为被操控使得所述操控被增强现实系统检测为用户输入的表面的预定义物理对象,其中,预定义物理对象包括被配置为当用户经由触摸与预定义物理对象交互时向用户提供触觉感知的材料。

在一或多个实施例中,预定义物理对象被配置为模拟用户输入装置。在一或多个实施例中,用户输入装置选自由计算机键盘、计算机鼠标、计算机触控板和手持式控制器组成的组。

在一或多个实施例中,系统另外包括用于向用户显示一或多个虚拟对象的显示装置,以及以使得虚拟用户界面被显示在预定义物理对象的表面上的方式控制显示装置的处理器。

在一或多个实施例中,预定义物理对象具有球形形状。在一或多个实施例中,系统被配置为显示虚拟用户界面,使得虚拟用户界面看起来从预定义物理对象发出。在一或多个实施例中,预定义物理对象具有纹理化外表面。

在一或多个实施例中,预定义物理对象包括用户输入元素。在一或多个实施例中,用户输入元件从包括键、按钮和滚轮的组中选择。在一或多个实施例中,用户输入元件不是可操作地耦合到电子器件。在一或多个实施例中,系统另外包括被配置成检测用户对图腾的操控的摄像机。

在一或多个实施例中,预定义物理对象包括凹陷、空腔或突起。在一或多个实施例中,操控选自由轻扫、摇动、旋转、滚动、敲击、双敲、短敲和长敲组成的手指运动组。

在一或多个实施例中,操控选自由交互的数量、交互的类型和交互的持续时间组成的手指运动特性的组。在一或多个实施例中,操控从包括距离、方向、速度和加速度组成的手指特性的组中选择。

在又一方面,一种用于生成虚拟房间的方法包括:识别要向用户显示的虚拟房间;获得与虚拟房间相关联的第一组映射点,第一组映射点对应于在用户的位置的第一物理房间;将虚拟房间系留到第一组映射点;并且向用户显示虚拟房间,使得在被用户观看时,虚拟房间看起来在第一组映射点的集合处是静止的。

在一或多个实施例中,该方法另外包括基于用户输入来识别虚拟房间。在一或多个实施例中,用户输入选自由姿势、视觉数据、音频数据、感觉数据、直接命令、语音命令、眼睛跟踪以及物理按钮的选择所组成的组。

在一或多个实施例中,虚拟房间由用户预先确定。在一或多个实施例中,该方法另外包括从联网存储器检索第一组映射点。在一或多个实施例中,该方法另外包括:获得与虚拟房间相关联的第二组映射点,第二组映射点对应于用户从第一物理房间运动之后在用户位置处的第二物理房间;将虚拟房间连接到第二组映射点;并且向用户显示虚拟房间,使得当被用户观看时,虚拟房间看起来在第二组映射点处是静止的。

在一或多个实施例中,虚拟房间还包括第一和第二虚拟对象,该方法另外包括当虚拟房间被系留到第二虚拟对象时,保持对应于第一组映射点的第一虚拟对象和第二虚拟对象之间的相对空间位置。在一或多个实施例中,该方法另外包括向用户显示虚拟房间,使得在被用户观看时,虚拟房间看起来相对于第一物理房间的一部分是静止的。在一或多个实施例中,虚拟房间另外包括可选择的虚拟装饰。

在另一方面,一种用于产生零售体验的方法包括:识别用户在零售机构中的位置;检索对应于零售机构的数据;基于所检索的数据生成与零售机构有关的虚拟内容;在用户的视场中产生虚拟用户界面;并且在用户参与在零售机构中的零售活动时,在虚拟用户界面上显示虚拟内容。

在一或多个实施例中,所检索到的数据包括对应于零售机构的一组映射点,并且其中,当被用户观看时,虚拟用户界面看起来在该组映射点处是静止的。在一或多个实施例中,使用射频识别转发器和通信来识别用户的位置。在一或多个实施例中,虚拟内容选自由虚拟角色、虚拟优惠券、基于用户位置的游戏、促销商品列表、营养信息、与商品相关的元数据、名人外观、交叉销售广告、来自用户已知的人的信息和电子书组成的组。

在一或多个实施例中,该方法另外包括检索对应于用户的用户数据,以及基于所检索到的数据和所检索的用户数据生成虚拟内容。在一或多个实施例中,虚拟内容选自由虚拟杂货列表、虚拟优惠券书、虚拟食谱书、用户家中的各种配料的列表以及虚拟食谱构建器组成的组。在一或多个实施例中,该方法另外包括:接收用户输入;基于用户输入生成附加虚拟内容;并且当用户参与零售机构中的零售活动时,在虚拟用户界面上显示附加虚拟内容。

在一或多个实施例中,用户输入选自由姿势、视觉数据、音频数据、感觉数据、直接命令、语音命令、眼睛跟踪以及物理按钮的选择所组成的组。在一或多个实施例中,虚拟内容选自由移动总成本、智能虚拟杂货列表、接近用户位置的商品的指示符以及虚拟支付系统组成的组。在一或多个实施例中,该方法另外包括将所生成的虚拟内容发送到用户装置以供显示。

在另一方面,一种方法包括:检索与患者的病史有关的患者数据;至少部分基于所检索到的患者数据生成虚拟内容;检索对应于第一用户的第一位置的第一组映射点;至少部分基于所检索到的该组映射点在第一用户的视场中产生第一虚拟用户界面;并且在第一虚拟用户界面上显示虚拟内容,使得在被第一用户观看时,第一虚拟用户界面看起来被固定在第一组映射点处。

在一或多个实施例中,虚拟内容选自由手术目标的三维图像、患者识别信息、医学图像、重要的患者标志信息和医疗图表组成的组。在一或多个实施例中,从联网的存储器检索患者数据。

在一或多个实施例中,该方法另外包括:生成被配置为促进第一用户和第二用户之间的通信的第二虚拟用户界面,其中,第二用户位于与第一用户的第一位置不同的第二位置。在一或多个实施例中,第二虚拟用户界面为第二用户的视觉表示。在一或多个实施例中,第二用户选自由咨询外科医生、患者、与患者相关的一方和医学生组成的组。在一或多个实施例中,该方法另外包括:在第一虚拟用户界面上向第二用户显示虚拟内容,使得在被第二用户观看时,第一虚拟用户界面看起来被固定在该组映射点处。

在一或多个实施例中,在外科手术期间,虚拟内容被显示给第一用户,并且该方法另外包括:接收用户输入;基于用户输入生成附加虚拟内容;并且在第一用户正在执行外科手术期间,在第一虚拟用户界面上显示附加虚拟内容。

在一或多个实施例中,用户输入选自由姿势、视觉数据、音频数据、感觉数据、直接命令、语音命令、眼睛跟踪以及物理按钮的选择所组成的组。在一或多个实施例中,用户输入包括第一用户的视场的图像,该方法另外包括:在第一虚拟用户界面上向第二用户显示附加虚拟内容,使得当由第二用户观看时,第一虚拟用户界面看起来被固定在该组映射点处。

在一或多个实施例中,一种用于促进医疗康复的方法包括:接收与医疗康复相关的用户输入;基于所接收到的用户输入向云服务器发送与医疗康复相关的请求;基于请求从连接到云服务器的知识库接收与医疗康复有关的数据;并且基于所接收到的数据向第一用户显示与医疗康复有关的虚拟内容。

在一或多个实施例中,用户输入选自由视觉、音频和感觉输入组成的组。在一或多个实施例中,该方法另外包括在将请求发送到云服务器之前确定用户输入是否有效。在一或多个实施例中,数据从连接到云服务器的多个知识库接收。

在一或多个实施例中,所述请求指示云服务器从知识库检索数据。在一或多个实施例中,虚拟内容包括令人放松的环境。在一或多个实施例中,该方法另外包括:从第二用户接收附加数据;并且基于所接收到的附加数据向第一用户显示附加虚拟内容。

在一或多个实施例中,第一和第二用户位于不同的物理位置。在一或多个实施例中,附加虚拟内容为第二用户的视觉表示。在一或多个实施例中,该方法另外包括:从第一用户接收第一用户数据;并且从第二用户接收第二用户数据;基于所接收到的第一和第二用户数据修改虚拟内容;并且将所修改的虚拟内容向第一和第二用户显示。

在一或多个实施例中,第一用户参与用于医疗康复的体育活动,并且其中,虚拟内容涉及身体活动。在一或多个实施例中,虚拟内容选自由关于身体活动的信息、第一用户的表现统计、对应于身体活动的虚拟体验和虚拟化身组成的组。在一或多个实施例中,数据从联网存储器检索。

在另一方面,一种用于增强任务绩效的方法包括:检索与待由用户执行的任务相关的任务数据;基于任务数据生成虚拟内容;在用户的视场中产生虚拟用户界面;检索与用户的位置相对应的一组映射点;并且在用户正在执行任务时,在虚拟用户界面上显示虚拟内容,使得在被用户观看时,虚拟用户界面看起来被固定在一组映射点。

在一或多个实施例中,虚拟内容为具有虚拟映射图案的游戏,并且其中,游戏被配置为改善用户执行任务的绩效。在一或多个实施例中,游戏对于跟随虚拟映射图案奖励点数。在一或多个实施例中,对于在预定量的时间内到达虚拟映射图案中的点,游戏将点数倍增。

在一或多个实施例中,对于从虚拟映射图案中偏离,所述游戏扣除点数。在一或多个实施例中,对于移动邻近物理对象,所述游戏扣除点数。在一或多个实施例中,任务选自由操作园林机械、取回仓库物品、堆叠零售货架和分类邮件组成的组。在一或多个实施例中,从联网存储器检索任务数据。

在一或多个实施例中,该方法另外包括:接收用户输入;基于用户输入生成附加虚拟内容;并且在用户正在执行任务时,在虚拟用户界面上显示附加虚拟内容。在一或多个实施例中,用户输入包括与任务的执行有关的用户动作。

在又一方面,一种增强现实显示系统包括:显示装置,其可配置为向用户的眼睛显示一或多个虚拟图像;通信耦合到显示装置的处理器,其被配置为向显示装置提供一或多个虚拟图像,处理器包括预测器机构,其预测性地校正与虚拟图像的显示有关的定时不一致性。

在一或多个实施例中,定时不一致性涉及由一或多个传感器进行的一或多个传感器测量,一或多个传感器通信耦合到处理器。在一或多个实施例中,定时不一致性涉及处理输入数据时的处理延迟。

在一或多个实施例中,预测器机构利用滤波器来校正定时不一致性的影响。在一或多个实施例中,滤波器考虑一或多个传感器测量的相对速度,传感器测量由通信耦合到处理器的一或多个传感器进行。在一或多个实施例中,预测器机构采用卡尔曼预测器。

在一或多个实施例中,在显示处理阶段期间利用卡尔曼预测器。在一或多个实施例中,处理器对与一或多个虚拟图像相关联的数据执行补偿性改变以补偿定时不一致性。在一或多个实施例中,补偿改变包括执行与虚拟图像相关联的数据的移位。

在一或多个实施例中,补偿变化包括平滑与虚拟图像相关联的一或多个视觉假象。在一或多个实施例中,补偿变化包括校正一或多个传感器的传感器测量的负面影响,一或多个传感器通信耦合到处理器。

在另一方面,一种用于校正增强现实显示系统中的延迟的方法,包括:在向用户显示虚拟图像的至少一个阶段中确定一或多个定时不一致性;利用预测器机制来预测性地校正定时不一致性;并且至少部分基于预测器机制来补偿与虚拟图像的数据相关的至少一个特性。

在一或多个实施例中,定时不一致性涉及由一或多个传感器进行的一或多个传感器测量,所述一或多个传感器通信耦合到处理器。在一或多个实施例中,定时不一致性涉及处理输入数据时的处理延迟。

在一或多个实施例中,预测器机制利用滤波器来校正定时不一致性的影响。在一或多个实施例中,滤波器考虑一或多个传感器测量的相对速度,传感器测量由通信耦合到处理器的一或多个传感器进行。

在一或多个实施例中,预测器机构采用卡尔曼预测器。在一或多个实施例中,在显示处理阶段期间利用卡尔曼预测器。在一或多个实施例中,补偿包括执行与虚拟图像相关联的数据的移位。在一或多个实施例中,补偿包括平滑与虚拟图像相关联的一或多个视觉假象。在一或多个实施例中,补偿包括校正一或多个传感器的传感器测量的负面影响,所述一或多个传感器通信耦合到处理器。

在另一方面,一种校正增强现实系统的方法包括:向用户显示虚拟图像,其中,虚拟图像被配置为以已知焦距显示,并且其中,虚拟图像包括像素点;确定像素点被显示给用户的位置,其中,像素的位置至少部分基于用户眼睛的瞳孔的位置来计算,并且将虚拟图像的像素点与空间中的已知点对准。

在一或多个实施例中,针对多个像素点重复这些步骤。在一或多个实施例中,至少部分基于在空间中的已知点的位置来计算被显示给用户的像素点的位置。在一或多个实施例中,瞳孔的位置、像素点的位置和在空间中的位置已知点落在相同的线上。

在一或多个实施例中,基于用户输入来修改向用户显示像素点的位置。在一或多个实施例中,该方法另外包括产生游戏界面,使得向用户呈现多个像素点。在一或多个实施例中,游戏界面包括通过用户的眼睛运动发射激光。

在一或多个实施例中,至少部分基于从一或多个世界摄像机接收的数据来确定已知点的位置。在一或多个实施例中,针对用户的另一只眼睛重复这些步骤。在一或多个实施例中,至少部分基于瞳孔的位置和已知点的位置的函数来确定像素点的位置。在一或多个实施例中,所述函数包括二次函数。

在另一方面,一种增强现实显示系统包括:用于向用户显示虚拟图像的显示装置,其中,虚拟图像被配置为以已知焦距显示,并且其中,虚拟图像包括像素点;以及通信耦合到显示装置的处理器,其被配置为确定向用户显示像素点的位置,并且至少部分基于用户眼睛的瞳孔的位置来计算像素点的位置,以及将虚拟图像的像素点与空间中的已知点对准。

在一或多个实施例中,针对多个像素点重复这些步骤。在一或多个实施例中,至少部分基于在空间中的已知点的位置来计算被显示给用户的像素点的位置。在一或多个实施例中,瞳孔的位置、像素点的位置和在空间中的位置已知点落在相同的线上。在一或多个实施例中,基于用户输入来修改向用户显示像素点的位置。

在一或多个实施例中,系统另外包括被配置为向用户呈现多个像素点的游戏界面。在一或多个实施例中,游戏界面包括通过用户的眼睛运动发射激光。在一或多个实施例中,至少部分基于从一或多个世界摄像机接收的数据来确定已知点的位置。

在一或多个实施例中,针对用户的另一只眼睛重复这些步骤。在一或多个实施例中,至少部分基于瞳孔的位置和已知点的位置的函数来确定像素点的位置。在一或多个实施例中,所述函数包括二次函数。

在另一方面,一种显示虚拟界面的方法包括:基于用户输入识别待显示给用户的用户界面;相对于至少一个物理对象显示化身用户界面,其中,化身用户界面呈现至少一个虚拟用户界面元素;并且至少部分基于用户和化身用户界面之间的交互来选择至少一个虚拟用户界面元素。

在一或多个实施例中,用户输入包括姿势。在一或多个实施例中,该方法另外包括确定姿势相对于用户的增强现实显示系统的位置,其中,在所确定的位置处显示虚拟用户界面。在一或多个实施例中,化身为预选的化身。在一或多个实施例中,化身类似于用户。

在一或多个实施例中,化身被显示为好像看起来站立在物理对象上。在一或多个实施例中,至少一个虚拟元素包括应用。在一或多个实施例中,方法另外包括:至少部分基于另一用户输入来选择至少一个虚拟元素,其中,至少一个虚拟元素包括用户的联系人;并且相对于化身虚拟用户界面和物理对象,显示表示用户的联系人的另一化身,其中,通过化身虚拟用户界面和表示用户的联系人的另一化身之间的虚拟交互来动画化该用户与该用户的联系人之间的交互。

在一或多个实施例中,所述交互包括在用户的增强现实系统和与用户的联系人相对应的计算系统之间传输数据。在一或多个实施例中,用户输入包括语音命令。

在另一方面,一种显示虚拟界面的方法包括:基于用户输入,识别待向用户显示的用户界面;并且显示相对于至少一个物理对象的浮动用户界面,该浮动用户界面包括一或多个更可选择的虚拟界面元素,其中,浮动用户界面看起来已从接收到用户输入的位置挤出。

在一或多个实施例中,用户输入包括用户手指的姿势。在一或多个实施例中,用户手指的姿势包括用户的一只手的手指触摸用户的另一只手的另一手指。在一或多个实施例中,该方法另外包括确定用户的一只手的手指与用户的另一只手的另一手指触摸的位置,其中,浮动虚拟用户界面源自所确定的位置。

在一或多个实施例中,浮动用户界面包括一组三维块,其中,该组三维块中的三维块表示至少一个可选择的虚拟用户界面元素。在一或多个实施例中,至少部分基于世界参考系来产生浮动虚拟用户界面。

在一或多个实施例中,至少一个可选择的虚拟用户界面元素被填充为三维块的堆叠,并且其中,三维块的堆叠至少部分基于另一用户输入而旋转。在一或多个实施例中,该方法另外包括:至少部分基于从用户接收的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素,其中,所述虚拟界面元素与至少一个其它子虚拟界面元素相关联,并且在所选择的虚拟界面元素下显示至少一个其它子虚拟界面元素。

在一或多个实施例中,该方法另外包括:至少部分基于从用户接收到的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素;并且在虚拟框中显示与所选择的虚拟界面元素相关联的内容,虚拟框包括在用户的视场中显示的内容。

在一或多个实施例中,该方法另外包括:识别指示虚拟框应被关闭的第二用户输入;至少部分基于第二用户输入以类似于纸张的折皱的方式对虚拟框进行动画化;并且终止与所选择的虚拟界面元素相关联的内容。在一或多个实施例中,第二用户输入包括姿势,该姿势类似于折皱一张纸。

在另一方面,一种显示虚拟用户界面的方法包括:基于用户输入识别待显示给用户的用户界面;并且显示相对于至少一个物理对象的浮动用户界面,该浮动用户界面包括一或多个可选择的虚拟界面元素,其中,浮动用户界面看起来停留在所述至少一个物理对象上,并且其中,所述至少一个物理对象围绕至少一个物理对象的纵向轴线的旋转致使附加的可选择虚拟界面元素被显示,其中,所述附加的可选择虚拟界面元素看起来停留在至少一个物理对象的另一侧上。

在一或多个实施例中,至少一个物理对象包括用户的手臂。在一或多个实施例中,用户输入包括姿势。在一或多个实施例中,姿势包括用户的手在用户的手臂上的杯状动作,所述可选择的虚拟界面元素看起来被显示在用户的手臂上。

在一或多个实施例中,该方法另外包括确定用户的手在用户的手臂上的杯状动作的位置,其中,浮动用户界面源自所确定的位置。在一或多个实施例中,该方法另外包括至少部分基于另一用户输入来终止浮动虚拟用户界面的呈现。

在一或多个实施例中,所述另一用户输入包括姿势,其中,姿势包括用户的双手跨物理对象的拖动运动。在一或多个实施例中,至少部分基于以手为中心的参考系来产生浮动虚拟用户界面。在一或多个实施例中,该方法另外包括:至少部分基于从用户接收的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素;并且显示与所选择的虚拟界面元素相关联的内容,其中,内容相对于浮动虚拟界面进行显示。

在一或多个实施例中,所显示的内容对应于以手为中心的参考系。在一或多个实施例中,该方法另外包括:至少部分基于从用户接收的输入,将所显示的内容从以手为中心的参考系移动到以世界为中心的参考系,使得在浮动虚拟用户界面移动时,所显示的内容保持静止。

在另一方面,一种产生虚拟用户界面的方法包括:基于用户输入识别待显示给用户的用户界面;并且相对于至少一个物理对象显示源自触摸至少一个物理对象的位置的虚拟用户界面,其中,虚拟用户界面看起来在触摸至少一个物理对象的位置长出;并且其中,虚拟用户界面包括看起来被附加到虚拟用户界面的至少一个可选择的虚拟用户界面元素。

在一或多个实施例中,至少一个物理对象包括水平表面。在一或多个实施例中,用户输入包括姿势。在一或多个实施例中,姿势包括延伸手指在预定义的时间段内触摸至少一个物理对象。在一或多个实施例中,该方法另外包括确定用户的手指对至少一个物理对象的触摸的位置,其中,虚拟用户界面源自所确定的位置。

在一或多个实施例中,该方法另外包括至少部分基于另一用户输入来终止浮动虚拟用户界面的呈现。在一或多个实施例中,其它用户输入包括姿势,其中,姿势包括用户的手跨再现虚拟用户界面的切割动作。在一或多个实施例中,至少部分基于以世界为中心的参考系来产生虚拟用户界面,使得虚拟用户界面相对于用户的任何移动保持静止。

在一或多个实施例中,该方法另外包括:至少部分基于从用户接收的另一用户输入来选择至少一个可选择虚拟界面元素中的虚拟用户界面元素;并且在至少一个物理对象的另一位置生成第二虚拟用户界面,第二虚拟用户界面包括附加的可选择虚拟界面元素。在一或多个实施例中,虚拟用户界面类似于从触摸至少一个物理对象的位置发芽的树。

在另一方面,一种显示虚拟用户界面的方法包括:基于用户输入,识别待向用户显示的用户界面;并且绘制虚拟用户界面以镜像用户的手指的动作,使得虚拟用户界面镜像手指的运动,并且在绘制虚拟用户界面的区域内显示一或多个可选择用户界面元素。在一或多个实施例中,手指姿势包括在预定义的时间段内用用户的手的至少一个手指的指向姿势。

在一或多个实施例中,该方法另外包括确定指向手势的位置,其中,虚拟用户界面源自所确定的位置。在一或多个实施例中,该方法另外包括检测用户不再绘制虚拟用户界面,其中,虚拟用户界面元素至少部分基于检测来显示。在一或多个实施例中,虚拟用户界面的绘制镜像用户手指跨空间的拖动运动。在一或多个实施例中,该方法另外包括至少部分基于另一用户输入来终止浮动虚拟用户界面的呈现。

在一或多个实施例中,其它用户输入包括姿势,并且其中,该姿势包括终止用户手指的连续拖动动作。在一或多个实施例中,至少部分基于以世界为中心的参考系来产生虚拟用户界面,使得虚拟用户界面相对于用户的任何移动保持静止。

在一或多个实施例中,该方法另外包括:至少部分基于从用户接收到的另一用户输入选择至少一个可选择虚拟界面元素中的虚拟用户界面元素;并且相对于虚拟用户界面生成与所选虚拟界面元素相关联的内容。在一或多个实施例中,虚拟用户界面的形状类似于由用户的手指绘制的形状。

在另一方面,一种产生虚拟用户界面的方法包括:基于用户的手势识别待向用户显示的用户界面;并且响应于该手势,在手势的方向上在物理对象的垂直侧上显示具有至少一个可选择的虚拟界面元素的虚拟用户界面,使得虚拟用户界面看起来在物理对象的垂直侧上。

在一或多个实施例中,该方法另外包括响应于手势显示一组类似于颜料斑点的虚拟内容,其中,虚拟内容起源于由手势表示的点。在一或多个实施例中,手势包括在物理对象的垂直侧的方向上伸出的扩展手指。在一或多个实施例中,该方法另外包括;确定在物理对象的垂直侧的方向上伸出的扩展手指的位置,其中,在所确定的位置处显示类似于颜料斑点的一组虚拟内容。

在一或多个实施例中,该方法另外包括:在物理对象的垂直侧上显示虚拟斑点,其中,虚拟斑点的至少一个特征至少部分基于所确定的在物理对象的方向上伸出的扩展手指的位置在物理对象的垂直侧上显示。在一或多个实施例中,物理对象包括墙壁。

在一或多个实施例中,至少部分基于以世界为中心的参考系来产生虚拟用户界面,使得虚拟用户界面相对于用户的任何移动保持静止。在一或多个实施例中,该方法另外包括:至少部分基于从用户接收到的另一用户输入来选择至少一个可选择虚拟界面元素中的虚拟用户界面元素;并且在物理对象的另一位置生成与所选的用户界面元素相关联的内容。

在一或多个实施例中,该方法另外包括以简化形式存储与所选择的用户界面元素相关联的内容,其中,简化形式包括虚拟带,其中,虚拟带在用户的手的周围显示。在一或多个实施例中,至少部分基于以手为中心的参考系来产生虚拟带,使得虚拟带至少部分基于手的运动而运动。

在一或多个实施例中,该方法另外包括至少部分基于用户的另一姿势以完整形式显示内容。在一或多个实施例中,另一姿势包括在其上显示虚拟带的手的拖动运动。

在另一方面,一种产生虚拟用户界面的方法包括:基于用户的手势识别待向用户显示的用户界面;并且响应于该手势,显示虚拟用户界面,虚拟用户界面类似于具有至少一个可选择虚拟界面元素的水平细绳,使得至少一个可选择虚拟界面元素至少部分基于用户的另一手势来移动以显示另外的可选择虚拟界面元素。

在一或多个实施例中,所述手势包括用户的第一只手的第一手指与第二只手的第二手指的触摸动作。在一或多个实施例中,所述手势另外包括第一手指和第二手指的拉开运动,使得第一手指从第二手指拉开。在一或多个实施例中,虚拟细绳镜像第一和第二手指的运动的长度,其中,虚拟细绳的长度至少部分基于第一和第二手指的运动。

在一或多个实施例中,该方法另外包括确定第一和第二手指的触摸动作的位置,其中,虚拟细绳源自所确定的位置。在一或多个实施例中,另一手势包括用户的手的转动动作,其中,转动动作使得至少一个可选择的虚拟界面元素在转动动作的方向上移动。

在一或多个实施例中,至少部分基于以世界为中心的参考系来产生虚拟用户界面,使得虚拟用户界面相对于用户的任何移动保持静止。在一或多个实施例中,该方法另外包括:至少部分基于用户的另一手势来选择至少一个可选择的虚拟界面元素中的虚拟用户界面元素;并且在物理对象的另一位置,生成与所选择的用户界面元素相关联的内容。在一或多个实施例中,另一手势包括用户的一只手的向前运动。

在另一方面,一种产生虚拟用户界面的方法包括:基于用户的手势识别待向用户显示的用户界面;并且响应于该手势,显示虚拟用户界面,虚拟用户界面包括一组垂直细绳,每个垂直细绳与至少一个可选择的虚拟界面元素相关联。

在一或多个实施例中,手势包括用户的第一只手在预定时间段内的开放手势。在一或多个实施例中,该方法另外包括:至少部分基于另一手势来选择至少一个可选择虚拟界面元素,其中,另一手势包括该组虚拟细绳的至少一个细绳通过用户的两个手指的拉动运动。

在一或多个实施例中,该方法另外包括:至少部分基于手势,将与第一虚拟细绳相关联的第一虚拟元素相关联的数据发送到与第二虚拟细绳相关联的第二虚拟元素。在一或多个实施例中,另一手势包括与第一虚拟细绳相关联的第一虚拟元素和与第二虚拟细绳相关联的第二虚拟元素的挤压运动,挤压运动由用户的手指执行。

在一或多个实施例中,虚拟界面相对于至少一个物理对象来显示。在一或多个实施例中,至少一个物理对象包括墙壁。

在一或多个实施例中,该方法另外包括确定手势的位置,其中,虚拟细绳源自所确定的位置。

在一或多个实施例中,至少部分基于以世界为中心的参考系来产生虚拟用户界面,使得虚拟用户界面相对于用户的任何移动保持静止。在一或多个实施例中,该方法另外包括:至少部分基于用户的另一手势来选择至少一个可选择的虚拟界面元素中的虚拟用户界面元素;并且在物理对象的另一位置,生成与所选择的用户界面元素相关联的虚拟内容。

在另一方面,产生虚拟用户界面的方法包括:基于用户的手势识别待向用户显示的用户界面;并且响应于该手势,显示虚拟用户界面,虚拟用户界面包括一组垂直细绳,每个垂直细绳与至少一个可选择的虚拟界面元素相关联。在一或多个实施例中,手势包括用户的第一只手在预定时间段内的开放手势。

在一或多个实施例中,该方法另外包括:至少部分基于另一手势来选择至少一个可选择虚拟界面元素,其中,另一手势包括该组虚拟细绳的至少一个细绳通过用户的两个手指的拉动动作。在一或多个实施例中,该方法另外包括:至少部分基于手势,将与第一虚拟细绳相关联的第一虚拟元素相关联的数据发送到与第二虚拟细绳相关联的第二虚拟元素。

在一或多个实施例中,另一手势包括与第一虚拟细绳相关联的第一虚拟元素和与第二虚拟细绳相关联的第二虚拟元素的挤压动作,挤压动作由用户的手指执行。在一或多个实施例中,虚拟界面相对于至少一个物理对象来显示。在一或多个实施例中,至少一个物理对象包括墙壁。

在一或多个实施例中,该方法另外包括确定手势的位置,其中,虚拟细绳源自所确定的位置。在一或多个实施例中,至少部分基于以世界为中心的参考系来产生虚拟用户界面,使得虚拟用户界面相对于用户的任何移动保持静止。

在一或多个实施例中,该方法另外包括:至少部分基于用户的另一手势来选择至少一个可选择的虚拟界面元素中的虚拟用户界面元素;并且在物理对象的另一位置,生成与所选择的用户界面元素相关联的虚拟内容。

在另一方面,一种产生虚拟用户界面的方法包括:基于用户的手势识别待向用户显示的用户界面;并且响应于该手势,显示虚拟用户界面,虚拟用户界面类似于虚拟蜘蛛网,其中,用户拉动虚拟蛛网的虚拟细丝以将所述虚拟界面移动得更靠近用户。

在一或多个实施例中,手势包括用户的手的闭合拳头的拉动动作。在一或多个实施例中,虚拟蜘蛛网的虚拟细丝包括至少一个可选择的虚拟元素。在一或多个实施例中,该方法另外包括至少部分基于另一手势来选择至少一个可选择虚拟界面元素,其中,另一手势包括虚拟细丝中的至少一个朝向用户的拉动动作。

在一或多个实施例中,该方法另外包括:至少部分基于手势,将与第一虚拟细丝相关联的第一虚拟元素相关联的数据发送到与第二虚拟细丝相关联的第二虚拟元素。在一或多个实施例中,另一手势包括与第一虚拟细丝相关联的第一虚拟元素和与第二虚拟细丝相关联的第二虚拟元素的挤压动作,挤压动作由用户的手指执行。

在一或多个实施例中,虚拟界面相对于至少一个物理对象来显示。在一或多个实施例中,至少一个物理对象包括墙壁。在一或多个实施例中,该方法另外包括确定手势的位置,其中,虚拟蛛网源自所确定的位置。

在一或多个实施例中,至少部分基于以世界为中心的参考系来产生虚拟用户界面,使得虚拟用户界面相对于用户的任何移动保持静止。在一或多个实施例中,该方法另外包括:至少部分基于用户的另一手势来选择至少一个可选择的虚拟界面元素中的虚拟用户界面元素;并且在物理对象的另一位置,生成与所选择的用户界面元素相关联的虚拟内容。

本发明的另外和其它目标、特征和优点在具体实施方式、附图和权利要求中描述。

附图说明

附图示出本发明的各种实施例的设计和实用性。应注意,附图不是按比例绘制的,并且在所有附图中,类似的结构或功能的元件由相同的附图标记表示。为了更好理解如何获得本发明的各种实施例的上述和其它优点和目的,将通过参考其特定实施例来呈现上面简要描述的在附图中示出的本发明的更详细的描述。应理解,这些附图仅描绘了本发明的典型实施例,因此不应被认为是对其范围的限制,本发明将通过使用附图以附加的特征和细节来描述和解释,其中:

图1示出根据说明性实施例的与一或多个服务器交互的增强现实(AR)系统的系统架构。

图2示出根据一个说明性实施例的用作与一或多个服务器交互的AR装置的蜂窝电话的详细视图。

图3示出根据一个说明性实施例的安装在用户头部上的示例AR装置的平面图。

图4A-D示出可穿戴式AR装置的各种内部处理部件的一或多个实施例。

图5A-5H示出通过透射分束器基板将聚焦光透射到用户的实施例。

图6A和6B示出将透镜元件与图5A-5H的透射分束器基板耦合的实施例。

图7A和7B示出使用一或多个波导来向用户透射光的实施例。

图8A-8Q示出衍射光学元件(DOE)的实施例。

图9A和9B示出根据一个说明性实施例的从投光器产生的波前。

图10示出根据一个说明性实施例的与光学元件耦合的多个透射分束器基板的堆叠配置的实施例。

图11A-11C示出根据说明性实施例的被投射到用户瞳孔中的一组子束(beamlet)。

图12A和12B示出根据说明性实施例的微型投影仪阵列的配置。

图13A-13M示出根据说明性实施例的耦合微型投影仪和光学元件的实施例。

图14A-14F示出根据说明性实施例的与光学元件耦合的空间光调制器的实施例。

图15A-15C示出根据说明性实施例的楔形波导与多个光源一起使用。

图16A-160示出根据说明性实施例将光学元件耦合到光纤的实施例。

图17示出根据一个说明性实施例的陷波滤波器。

图18示出根据一个说明性实施例的光纤扫描显示器的螺旋图案。

图19A-19N示出根据说明性实施例向用户呈现暗视场时的遮挡效果。

图20A-20O示出根据说明性实施例的各种波导组件的实施例。

图21A-21N示出根据说明性实施例的耦合到其它光学元件的DOE的各种配置。

图22A-22Y示出根据说明性实施例的自由形式光学元件的各种配置。

图23示出简化的单独AR装置的部件的俯视图。

图24示出单独AR系统的光学器件的示例实施例。

图25示出根据一个实施例的单独AR系统的系统架构。

图26示出根据一个实施例的基于房间的传感器系统。

图27示出增强现实系统的通信架构以及许多用户的增强现实系统与云的交互。

图28示出根据一个实施例的可传递世界模型的简化视图。

图29示出根据一个实施例的使用可传递世界模型进行呈现的示例方法。

图30示出根据一个实施例的用于识别对象的过程的高级流程图。

图31示出根据一个实施例的由对象识别器采用以识别可传递世界中的对象的环形缓冲器方法。

图32示出根据一个实施例的示例拓扑图。

图33示出根据一个实施例的使用拓扑图的定位过程的高级流程图。

图34示出根据一个实施例的作为各种关键帧之间的连接的几何地图。

图35示出根据一个实施例的在几何地图的顶部层叠的拓扑图的示例实施例。

图36示出根据一个实施例的用于执行波传播束调节的过程的高级流程图。

图37示出根据一个实施例的通过虚拟关键帧看到的从映射点到关键帧的映射点和呈现线。

图38示出根据一个实施例的用于基于呈现而不是搜索来寻找映射点的过程的高级流程图。

图39示出根据一个实施例的基于光映射来呈现虚拟对象的过程的高级流程图。

图40示出根据一个实施例的用于产生光映射的过程的高级流程图。

图41描绘根据一个实施例的以用户为中心的光映射。

图42描绘根据一个实施例的以对象为中心的光映射。

图43示出根据一个实施例的用于变换光映射的过程的高级流程图。

图44示出根据一个实施例的自主导航定义或对象的库。

图45示出根据一个实施例的各种自主导航对象的交互。

图46示出根据一个实施例的自主导航定义或对象的堆栈。

图47A-47B示出根据一个实施例的使用自主导航定义来识别情绪状态。

图48示出根据一个实施例的用于定义自主导航定义或对象的相关阈值图。

图49示出根据一个实施例的可传递世界模型的系统视图。

图50示出根据一个实施例的显示虚拟场景的示例方法。

图51示出根据一个说明性实施例的AR系统的各种模块的平面图。

图52示出根据一个说明性实施例的当在增强现实模式下操作AR装置时被用户观看到的对象的示例。

图53示出根据一个说明性实施例的当在虚拟模式下操作AR装置时被用户观看到的对象的示例。

图54示出根据一个说明性实施例的当AR装置在混合虚拟界面模式中操作时被用户观看到的对象的示例。

图55示出根据一个实施例的位于不同地理位置的两个用户通过他们各自的用户装置与另一用户和公共虚拟世界交互的实施例。

图56示出根据一个实施例的扩展图55的实施例以包括使用触觉装置的实施例。

图57A-57B示出根据一或多个实施例的混杂模式接口的示例。

图58示出根据一个实施例的当与AR系统接口时的用户视图的示例图。

图59示出根据一个实施例的用户视图的示例图,其示出当用户以增强现实模式与系统交互时由物理对象触发的虚拟对象。

图60示出增强和虚拟现实集成配置的一个实施例,其中,在增强现实体验中的一个用户可视化另一用户在虚拟现实体验中的存在。

图61示出基于时间和/或意外事件的增强现实体验配置的一个实施例。

图62示出适合于虚拟和/或增强现实体验的用户显示配置的一个实施例。

图63示出本地和基于云的计算协调的一个实施例。

图64示出根据一个说明性实施例的配准(registration)配置的各个方面。

图65示出根据一个实施例的与AR系统交互的示例场景。

图66示出根据另一实施例的图65的示例场景的另一透视图。

图67示出根据另一实施例的图65的示例场景的又一透视图。

图68示出根据一个实施例的示例场景的俯视图。

图69示出根据一个实施例的图65-68的示例场景的游戏视图。

图70示出根据一个实施例的图65-68的示例场景的俯视图。

图71示出根据一个实施例的包括多个用户的增强现实场景。

图72A-72B示出根据一个实施例的使用作为AR装置的智能电话或平板计算机。

图73示出根据一个实施例的使用定位在AR系统的用户之间进行通信的示例方法。

图74A-74B示出根据一个实施例的与AR系统交互的示例办公室场景。

图75示出根据一个实施例的与房屋中的AR系统交互的示例场景。

图76示出根据一个实施例的与房子中的AR系统交互的另一示例场景。

图77示出根据一个实施例的与房子中的AR系统交互的另一示例场景。

图78A-78B示出根据一个实施例的与房子中的AR系统交互的又一示例场景。

图79A-79E示出根据一个实施例的与房子中的AR系统交互的另一示例场景。

图80A-80C示出根据一个实施例与虚拟室中的AR系统交互的另一示例场景。

图81示出根据一个实施例的另一示例用户交互场景。

图82示出根据一个实施例的另一示例用户交互场景。

图83A-83B示出根据一或多个实施例的又一示例用户交互场景。

图84A-84C示出根据一或多个实施例的在虚拟空间中与AR系统交互的用户。

图85A-85C示出各种用户界面实施例。

图86A-86C示出根据一或多个实施例的产生用户界面的其它实施例。

图87A-87C示出根据一或多个实施例的产生和移动用户界面的其它实施例。

图88A-88C示出根据一或多个实施例的在用户的手上产生的用户界面。

图89A-89J示出根据一或多个实施例的使用AR系统的示例用户购物体验。

图90示出根据一或多个实施例的使用AR系统的示例图书馆体验。

图91A-91F示出根据一或多个实施例的使用AR系统的示例保健体验。

图92示出根据一或多个实施例的使用AR系统的示例劳动体验。

图93A-93L示出根据一或多个实施例的使用AR系统的示例工作空间体验。

图94示出根据一或多个实施例的使用AR系统的另一示例工作空间体验。

图95A-95E示出根据一或多个实施例的另一AR体验。

图96A-96D示出根据一或多个实施例的又一AR体验。

图97A-97H示出根据一或多个实施例的AR系统的游戏体验。

图98A-98D示出根据一或多个实施例的使用AR系统的网络购物体验。

图99示出根据一或多个实施例的游戏平台中的各种游戏的框图。

图100示出根据一实施例的与增强现实系统通信的各种用户输入。

图101示出根据一个实施例的跟踪用户眼睛的运动的LED灯和二极管。

图102示出根据一个实施例的浦肯野图像。

图103示出根据一个实施例的可用于与增强现实系统通信的各种手势。

图104示出根据一个实施例的示例图腾。

图105A-105C示出根据一或多个实施例的其它示例图腾。

图106A-106C示出可用于与增强现实系统通信的其它图腾。

图107A-107D示出根据一或多个实施例的其它示例图腾。

图108A-108C示出根据一或多个实施例的环和手镯图腾的示例实施例。

图109A-109C示出根据一或多个实施例的更多示例图腾。

图110A-110B示出根据一或多个实施例的魅力图腾和钥匙链图腾。

图111示出根据一实施例的通过图腾确定用户输入的过程的高级流程图。

图112示出根据一个实施例的用于产生声波前的过程的高级流程图。

图113为根据一个实施例的用于产生声波前的部件的框图。

图114为根据一个实施例的确定稀疏和密集点的示例方法。

图115为根据一个实施例的投射纹理光的框图。

图116为根据一个实施例的数据处理的示例框图。

图117为根据一个实施例的用于注视跟踪的眼睛的示意图。

图118示出根据一个实施例的用于注视跟踪的眼睛和一或多个摄像机的另一透视图。

图119示出根据一个实施例的用于注视跟踪的眼睛和一或多个摄像机的又一透视图。

图120示出根据一个实施例的用于注视跟踪的眼睛和一或多个摄像机的又一透视图。

图121示出根据一个实施例的用于注视跟踪的平移矩阵视图。

图122示出根据一个实施例的注视跟踪的示例方法。

图123A-123D示出根据一个实施例的使用化身的一系列示例性用户界面流程。

图124A-124M示出根据一个实施例的使用挤压的一系列示例用户界面流程。

图125A-125M示出根据一个实施例的使用长手套的一系列示例用户界面流程。

图126A-126L示出根据一个实施例的使用生长的一系列示例用户界面流程。

图127A-127E示出根据一个实施例的使用画笔的一系列示例用户界面流程。

图128A-128P示出根据一个实施例的使用手指刷的一系列示例用户界面流程。

图129A-129M示出根据一个实施例的使用枢轴的一系列示例用户界面流程。

图130A-130I示出根据一个实施例的使用细绳的一系列示例用户界面流程。

图131A-131I示出根据一个实施例的使用蜘蛛网的一系列示例用户界面流程。

图132为虚拟对象与一或多个物理对象相关的各种机制的平面图。

图133为根据一或多个实施例的各种类型的AR呈现的平面图。

图134示出根据一或多个实施例的AR系统中的各种类型的用户输入。

图135A-135J示出根据一或多个实施例的关于在AR系统中使用姿势的各种实施例。

图136示出根据一或多个实施例的AR系统的校正机构的各种部件的平面图。

图137示出根据一或多个实施例的在用户面部上的AR装置的视图,该AR装置具有眼睛跟踪摄像头。

图138示出根据一或多个实施例的AR系统的眼睛识别图像。

图139示出根据一或多个实施例的利用AR系统拍摄的视网膜图像。

图140为根据一个说明性实施例的生成虚拟用户界面的示例方法的过程流程图。

图141为根据一个说明性实施例的基于坐标系生成虚拟用户界面的示例方法的另一个过程流程图。

图142为根据一个说明性实施例的构建定制用户界面的示例方法的过程流程图。

图143为根据一个说明性实施例的从可传递世界模型检索信息并与AR系统的其他用户交互的示例方法的过程流程图。

图144为根据一个说明性实施例的基于所接收的输入从基于云中的知识检索信息的示例方法的过程流程图。

图145为根据一个说明性实施例的校正AR系统的示例方法的处理流程图。

具体实施方式

现将参考附图详细描述各种实施例,附图作为本发明的说明性示例来提供,以使本领域技术人员能够实施本发明。值得注意的是,下面的附图和示例并不旨在限制本发明的范围。在本发明的某些元件可使用已知部件(或方法或过程)部分或完全实现的情况下,将仅描述对于理解本发明所必需的此类已知部件(或方法或过程)的那些部分,并将省略此类已知组件(或方法或过程)的其它部分的详细描述,以免模糊本发明。此外,各种实施例涵盖本文通过说明提及的部件的当前和将来已知的等效物。

在前述说明书中,本发明已参考其特定实施例进行了描述。但是,在没有偏离本发明的广义实质和范围的情况下,显然可对其做出各种更改和改变。例如,参考过程动作的特定顺序描述了上述过程流程。然而,可改变许多所描述的过程动作的顺序,而不影响本发明的范围或操作。因此,说明书和附图应被视为说明性的,而不是限制性的。

所公开的为用于生成虚拟和/或增强现实的方法和系统。为了提供现实和愉快的虚拟现实(VR)或增强现实(AR)体验,可以以尊重人眼的生理和限制的方式将虚拟内容策略性地传递到用户的眼睛。以下公开将提供可被集成到AR系统中的此类光学系统的各种实施例。虽然本文的大多数公开将在AR系统的语境文中论述,但应理解,相同的技术也可被用于VR系统,并且以下实施例不应被解读为限制。

以下公开将提供关于各种类型的系统的细节,其中,AR用户可通过实时产生包括关于真实世界的物理对象的全面信息的映射来彼此交互。有利地,映射可被查询,以便与已知真实对象相关地投影虚拟图像。以下公开将提供各种方法来理解关于真实世界的信息,并使用该信息来提供更真实和愉快的AR体验。另外,本公开将提供可实现诸如本文所述的AR系统的各种用户场景和应用。

系统概述

在一或多个实施例中,AR系统10包括计算网络5,其包括通过一或多个高带宽接口15连接的一或多个计算机服务器11。计算网络中的服务器11可以或可以不共址。一或多个服务器11中的每个包括用于执行程序指令的一或多个处理器。服务器也可包括用于存储程序指令和在程序指令的指导下由服务器11执行的过程所使用和/或生成的数据的存储器。

计算网络5通过一或多个数据网络连接13在服务器11之间以及服务器与一或多个用户装置12之间传送数据。此类数据网络的示例包括但不限于任何和所有类型的公共和专用数据网络,包括移动的和有线的,包括例如通常被称为互联网的许多此类网络的互连。附图并不旨在暗示特定的介质、拓扑或协议。

用户装置被配置为与计算网络5或任何服务器11直接通信。另选地,用户装置12通过专门编程的本地网关14与远程服务器11并且可选地与其它本地用户装置进行通信,以用于处理数据和/或在网络5与一或多个本地用户装置12之间传送数据。

如图所示,网关14被实现为单独的硬件部件,其包括用于执行软件指令的处理器和用于存储软件指令和数据的存储器。网关自身具有到数据网络的有线和/或无线连接,以用于与构成计算网络5的服务器11通信。另选地,网关14可以与用户佩戴或携带的用户装置12集成。例如,网关14可被实现为在被包含在用户装置12中的处理器上安装和运行的可下载软件应用。在一个实施例中,网关14提供经由数据网络13对计算网络5的一或多个用户接入。

服务器11中的每个包括例如用于存储数据和软件程序的工作存储器和存储设备、用于执行程序指令的微处理器、图形处理器和用于呈现和生成图形、图像、视频、音频和多媒体文件的其它专用处理器。计算网络5也可包括用于存储由服务器11访问、使用或产生的数据的装置。

在服务器上并且可选地在用户装置12和网关14上运行的软件程序用于生成用户使用用户装置12交互的数字世界(这里也称为虚拟世界)。数字世界(或映射)(如下面将进一步详细描述的)由描述和/或定义虚拟的、不存在的实体、环境和条件的数据和过程表示,其可以通过用户装置12被呈现给用户以由用户体验和与之交互。例如,当在用户正在观看或体验的场景中被实例化时将看起来实际存在的一些类型的对象、实体或物项可包括对其外观、其行为、如何允许用户与其交互以及其它特性的描述。

用于产生虚拟世界(包括虚拟对象)的环境的数据可包括例如大气数据、地形数据、天气数据、温度数据、位置数据和用于定义和/或描述虚拟环境的其它数据。另外,定义支配虚拟世界的操作的各种条件的数据可包括例如物理定律、时间、空间关系和其它数据,其可被用于定义和/或产生支配虚拟世界(包括虚拟对象)的操作的各种条件。

除非上下文另有说明,否则数字世界的实体、对象、条件、特性、行为或其它特征将在本文中一般地称为对象(例如,数字对象、虚拟对象、呈现的物理对象等)。对象可为任何类型的有生命或无生命的对象,包括但不限于建筑物、植物、交通工具、人、动物、生物、机器、数据、视频、文本、图片和其它用户。对象也可在数字世界中定义,以用于存储关于实际存在于物理世界中的物项、行为或条件的信息。描述或定义实体、对象或物项或存储其当前状态的数据在本文中通常被称为对象数据。该数据由服务器11处理,或者根据实施方案由网关14或用户装置12处理以实例化对象的实例并且以适当的方式呈现该对象以供用户通过用户装置体验。

开发和/或策划数字世界的程序员产生或定义对象及其实例化的条件。然而,数字世界可以允许其它人产生或修改对象。一旦对象被实例化,对象的状态可被允许由经历数字世界的一或多个用户改变、控制或操控。

例如,在一个实施例中,数字世界的开发、生产和管理通常由一或多个系统管理程序员提供。在一些实施例中,这可包括在数字世界中的故事线、主题和事件的开发、设计和/或执行,以及通过各种形式的事件和媒体,诸如例如电影、数字、网络、移动、增强现实和现场娱乐,来分发叙事。系统管理程序员也可处理数字世界和与其相关联的用户社区的技术管理、节制和策划,以及通常由网络管理人员执行的其它任务。

用户使用某种类型的本地计算装置与一或多个数字世界交互,该本地计算装置通常被称为用户装置12。此类用户装置的示例包括但不限于智能电话、平板装置、头戴式显示器(HMD)、游戏控制台或能够传送数据并向用户提供界面或显示的任何其他装置以及此类装置的组合。在一些实施例中,用户装置12可包括本地外围装置或输入/输出部件,诸如例如键盘、鼠标、操纵杆、游戏控制器、触觉接口装置、运动捕捉控制器、光学跟踪装置、音频设备、语音设备、投影仪系统、3D显示器和/或全息3D接触透镜,或与其通信。

图2中示出用于与系统10交互的用户装置12的示例。在图2所示的示例实施例中,用户21可通过智能电话22与一或多个数字世界交互。网关由存储在智能手机22上并在智能手机22上运行的软件应用23实现。在该特定示例中,数据网络13包括将用户装置(例如,智能电话22)连接到计算机网络5的无线移动网络。

在优选实施例的一个实施方案中,系统10能够同时支持大量的用户(例如,数百万用户),每个用户使用某种类型的用户装置12与相同的数字世界或多个数字世界交互。

用户装置向用户提供用于实现用户与由服务器11生成的数字世界(包括呈现给用户的其他用户和对象(真实或虚拟))之间的视觉、听觉和/或物理交互的界面。界面向用户提供可以被观看、听到或以其它方式感测的呈现场景,以及与场景实时交互的能力。用户与所呈现的场景交互的方式可由用户装置的能力指定。例如,如果用户装置是智能电话,则用户交互可由用户接触触摸屏来实现。在另一示例中,如果用户装置为计算机或游戏控制台,则可使用键盘或游戏控制器来实现用户交互。用户装置可包括实现用户交互的附加部件,诸如传感器,其中,由传感器检测到的对象和信息(包括姿势)可被提供,作为表示用户使用用户装置与虚拟世界交互的输入。

所呈现的场景可以以各种形式呈现,诸如例如二维或三维视觉显示(包括投影)、声音以及触觉或动觉反馈。所呈现的场景可由用户以包括例如增强现实、虚拟现实及其组合的一或多个模式进行交互。所呈现的场景的格式以及接口模式可由以下各项中的一或多个来指定:用户装置、数据处理能力、用户装置连接性、网络容量和系统工作负载。通过计算网络5、服务器11、网关部件14(可选地)和用户装置12能够实现大量用户与数字世界同时交互以及数据交换的实时性质。

在一个示例中,计算网络5包括具有通过高速连接(例如,高带宽接口15)连接的单核和/或多核服务器(例如,服务器11)的大规模计算系统。计算网络5可形成云或网格网络。每个服务器包括存储器,或者与用于存储软件的计算机可读存储器耦合,该软件用于实现数据以产生、设计、改变或处理数字世界的对象。这些对象及其实例化可为动态的、进入和退出存在、随着时间改变以及响应于其它条件而改变。对象的动态能力的示例在本文中通常关于各种实施例进行论述。在一些实施例中,与系统10交互的每个用户也可被表示为在一或多个数字世界内的对象和/或对象的集合。

计算网络5内的服务器11也存储每个数字世界的计算状态数据。计算状态数据(在本文中,也被称为状态数据)可为对象数据的组件,并且通常定义在给定时刻的对象的实例的状态。因此,计算状态数据可随时间改变,并且可能受一或多个用户和/或维护系统10的程序员的动作影响。当用户影响计算状态数据(或包括数字世界的其它数据)时,用户直接改变或以其它方式操控数字世界。如果数字世界与其它用户共享或交互,则用户的动作可能影响与数字世界交互的其他用户的体验。因此,在一些实施例中,由用户做出的对数字世界的改变将由与系统10交互的其他用户体验。

在一个实施例中,存储在计算网络5内的一或多个服务器11中的数据高速并且低延迟地发送或部署到一或多个用户装置12和/或网关部件14。在一个实施例中,由服务器共享的对象数据可为完整的或可为压缩的,并且包含用于在用户侧重建完整对象数据的指令,所述完整对象数据由用户的本地计算装置(例如,网关14和/或用户装置12)呈现并可视化。在一些实施例中,运行在计算网络5的服务器11上的软件可适应性调整其生成的数据(或作为用户特定装置和带宽的函数由计算网络5交换的任何其它数据)并将该数据发送给特定用户装置12,用于数字世界内的对象。

例如,当用户通过用户装置12与数字世界或映射交互时,服务器11可识别用户正在使用的特定类型的装置、装置的连接性和/或用户装置和服务器之间的可用带宽,并适当地调整和平衡被递送到该装置的数据以优化用户交互。这一点的示例可包括将所发送的数据的大小减小到低分辨率质量,使得数据可在具有低分辨率显示器的特定用户装置上显示。在优选实施例中,计算网络5和/或网关部件14以足以呈现以15帧/秒或更高速率并且以高清晰度质量或更高分辨率工作的界面的速率向用户装置12传送数据。

网关14为一或多个用户提供至计算网络5的本地连接。在一些实施例中,其可由在用户装置12或另一本地装置(例如图2所示的本地装置)上运行的可下载软件应用来实现。在其它实施例中,其可通过与用户装置12通信但不与用户装置12结合或吸引的硬件部件(具有存储在部件上的适当的软件/固件,该部件具有处理器)来实现,或者其与用户装置12结合。网关14经由数据网络13与计算网络5通信,并且在计算网络5和一或多个本地用户装置12之间提供数据交换。如下面更详细论述的,网关组件14可包括软件、固件、存储器和处理电路,并且能够处理在网络5和一或多个本地用户装置12之间所传送的数据。

在一些实施例中,网关部件14监测和调节在用户装置12和计算机网络5之间所交换的数据的速率,以允许特定用户装置12的最优数据处理能力。例如,在一些实施例中,网关14缓冲并下载数字世界的静态和动态方面,甚至是超出通过与用户装置连接的接口被呈现给用户的视场之外的方面。在这样的实施例中,静态对象(结构化数据、软件实现的方法或两者)的实例可被存储在存储器中(本地网关部件14、用户装置12或两者),并且相对于本地用户的当前位置被引用,所述当前位置如由计算网络5和/或用户装置12提供的数据所指示的。

可包括例如智能软件代理和由其他用户和/或本地用户控制的对象的动态对象的实例被存储在高速存储器缓冲器中。表示被呈现给用户的场景内的二维或三维对象的动态对象可例如被分解成组件形状,诸如在移动但不变化的静态形状,以及在变化的动态形状。正在改变的动态对象的部分可以由来自服务器11的、通过计算网络5的、由网关部件14管理的实时的线程化的高优先级数据流更新。

作为优先化的线程化数据流的一个示例,可以给予在用户眼睛的60度视场内的数据比更外围的数据更高的优先级。另一示例包括优先考虑用户的视场内的相对于背景中的静态对象的动态角色和/或对象。

除了管理计算网络5和用户装置12之间的数据连接之外,网关部件14可存储和/或处理可被呈现给用户装置12的数据。例如,在一些实施例中,网关部件14可从计算网络5接收描述例如待呈现以供用户观看的图形对象的压缩数据,并且执行高级呈现技术以减轻从计算网络5被发送至用户装置12的数据负荷。在网关14为单独的装置的另一示例中,网关14可存储和/或处理对象的本地实例的数据,而不是将数据传送至计算网络5以进行处理。

现在参考图3,虚拟世界可由一或多个用户以可取决于用户装置的能力的各种形式进行体验。在一些实施例中,用户装置12可包括例如智能电话、平板装置、头戴式显示器(HMD)、游戏控制台或可穿戴装置。通常,用户装置将包括用于执行存储在装置上的存储器中的程序代码并且与显示器和通信接口耦合的处理器。

在图3中示出用户装置的示例实施例,其中,用户装置包括移动的可穿戴装置,即头戴式显示系统30。根据本公开的实施例,头戴式显示系统30包括用户界面37、用户感测系统34、环境感测系统36和处理器38。虽然处理器38在图3中被示为与头戴式系统30分离的隔离部件,但是在替代实施例中,处理器38可与头戴式系统30的一或多个部件集成,或者可被集成到其它系统10部件,诸如例如在图1和图2中示出的网关14。

用户装置30向用户呈现用于与数字世界交互和体验数字世界的界面37。这种交互可涉及用户和数字世界、与系统10交互的一或多个其他用户以及数字世界内的对象。界面37通常向用户提供图像和/或音频感测输入(在一些实施例中,物理感测输入)。因此,界面37可包括扬声器(未示出)和显示部件33,其在一些实施例中能够实现体现人类视觉系统的更自然特性的立体3D观看和/或3D观看。

在一些实施例中,显示部件33可包括透明界面(诸如透明OLED),当处于“关闭”设置时,其使得能够以很少到没有光学失真或计算覆盖(computing overlay)对用户周围的物理环境进行光学正确观察。如下面更详细论述的,界面37可包括允许各种视觉/界面性能和功能的附加设置。

在一些实施例中,用户感测系统34可包括一或多个传感器31,其可操作以检测与佩戴系统30的个体用户相关的某些特征、特性或信息。例如,在一些实施例中,传感器31可包括能够检测用户的实时光学特性/测量的摄像机或光学检测/扫描电路。

用户的实时光学特性/测量可例如为以下中的一或多个:瞳孔收缩/扩张、每个瞳孔的角度测量/定位、球状度、眼睛形状(眼睛形状随时间变化)和其它解剖数据。该数据可提供或被用于计算可由头戴式系统30和/或界面系统10使用以优化用户的观看体验的信息(例如,用户的视觉焦点)。例如,在一个实施例中,传感器31可各自测量用户每只眼睛的瞳孔收缩率。该数据可被发送到处理器38(或网关部件14或服务器11),其中,该数据被用于确定例如用户对界面显示器33的亮度设置的反应。

例如,如果用户的反应指示显示器33的亮度水平太高,则可根据用户的反应来调整界面37,例如调暗显示器33。用户感测系统34可包括除了上面论述的或在图3中所示的那些之外的其它部件。例如,在一些实施例中,用户感测系统34可包括用于从用户接收语音输入的麦克风。用户感测系统34也可包括一或多个红外摄像机传感器、一或多个可见光谱摄像机传感器、结构化光发射器和/或传感器、红外光发射器、相干光发射器和/或传感器、陀螺仪、加速度计、磁力计、接近传感器、GPS传感器、超声波发射器和检测器和触觉界面。

环境感测系统36包括用于从用户周围的物理环境获得数据的一或多个传感器32。由传感器检测到的对象或信息可作为用户装置的输入来提供。在一些实施例中,该输入可表示用户与虚拟世界的交互。例如,观看桌子上的虚拟键盘的用户可用手指作手势,就好像在虚拟键盘上打字一样。手指移动的运动可由传感器32捕捉并且作为输入被提供给用户装置或系统,其中,输入可被用于改变虚拟世界或产生新的虚拟对象。

例如,手指的运动可被识别(例如,使用处理器的软件程序等)为打字,并且所识别的打字姿势可与虚拟键盘上的虚拟键的已知位置组合。然后,系统可呈现向用户(或与系统交互的其他用户)显示的虚拟监视器,其中,虚拟监视器显示用户键入的文本。

传感器32可包括例如大体面向外部的摄像机或用于例如通过连续和/或间歇投影的红外结构光来解释场景信息的扫描器。环境感测系统(36)可被用于通过检测和配准(register)本地环境(包括静态对象、动态对象、人、姿势和各种照明、大气和声学条件)来映射用户周围的物理环境的一或多个元素。因此,在一些实施例中,环境感测系统(36)可包括被嵌入在本地计算系统(例如,网关部件14或处理器38)中并且可操作以数字地重建由传感器32检测到的一或多个对象或信息的基于图像的3D重建软件。

在一个示例实施例中,环境感测系统36提供以下的一或多个:运动捕捉数据(包括姿势识别)、深度感测、面部识别、对象识别、唯一对象特征识别、语音/音频识别和处理、声音源定位、降噪、红外或类似激光投影以及单色和/或彩色CMOS传感器(或其它类似的传感器)、视场传感器和各种其它光学增强传感器。

应理解,环境感测系统36可包括除了上面论述的或图3中所示的那些之外的其它部件。例如,在一些实施例中,环境感测系统36可包括用于从本地环境接收音频的麦克风。用户感测系统36也可包括一或多个红外摄像机传感器、一或多个可见光谱摄像机传感器、结构光发射器和/或传感器、红外光发射器、相干光发射器和/或传感器、陀螺仪、加速度计、磁力计、接近传感器、GPS传感器、超声波发射器和检测器和触觉接口。

如上所述,在一些实施例中,处理器38可与头戴式系统30的其它部件集成、与界面系统10的其它部件集成或者可为如图3所示的隔离装置(可佩戴的或与用户分离的)。处理器38可通过物理的有线连接或通过无线连接(诸如例如移动网络连接(包括蜂窝电话和数据网络)、Wi-Fi或蓝牙)被连接到头戴式系统30的各种部件和/或接口系统10的部件。

在一或多个实施例中,处理器38可包括存储器模块、集成和/或附加的图形处理单元、无线和/或有线互联网连接和编解码器和/或能够将来自源(例如,计算网络5、用户感测系统34、环境感测系统36或网关部件14)的数据转换成图像和音频数据的固件,其中,图像/视频和音频可经由界面37呈现给用户。

在一或多个实施例中,处理器38处理头戴式系统30的各种部件的数据处理以及头戴式系统30和网关部件14(及在一些实施例中的计算网络5)之间的数据交换。例如,处理器38可被用于缓冲和处理在用户和计算网络5之间的数据流传输,从而实现平滑、连续和高保真的用户体验。

在一些实施例中,处理器38可以用足以实现320×240分辨率的8帧/秒至在高分辨率(1280×720)的24帧/秒,或更大,诸如60-120帧/秒和4k分辨率和更高(10k+分辨率和50,000帧/秒)之间的任何地方的速率处理数据。另外,处理器38可存储和/或处理可被呈现给用户的数据,而不是从计算网络5实时地流传输。

例如,在一些实施例中,处理器38可从计算网络5接收压缩数据,并且执行高级呈现技术(诸如照明或阴影处理)以减轻从计算网络5传送至用户装置12的数据负荷。在另一示例中,处理器38可存储和/或处理本地对象数据,而不是将数据发送至网关部件14或至计算网络5。

在一些实施例中,头戴式系统30可包括允许各种视觉/界面性能和功能的各种设置或模式。这些模式可由用户手动选择,或者由头戴式系统30的部件或网关部件14自动选择。如上所述,头戴式系统30的一个示例模式包括“关闭”模式,其中,界面37基本上不提供数字或虚拟内容。在关闭模式下,显示部件33可为透明的,由此使得能够以很少到没有光学失真或计算覆盖来光学正确地观看用户周围的物理环境。

在一个示例实施例中,头戴式系统30包括“增强”模式,其中,界面37提供增强现实界面。在增强模式中,界面显示器33可为基本上透明的,从而允许用户观看本地的物理环境。同时,由计算网络5、处理器38和/或网关部件14提供的虚拟对象数据与物理、本地环境组合地呈现在显示器33上。以下节段将描述可用于虚拟和增强现实目的的示例头戴式用户系统的各种实施例。

用户系统

参考图4A-4D,该图示出一些通用的部件选项。在图4A-4D的论述之后的详细描述的部分中,提出了用于解决为人类VR和/或AR提供高质量、舒适感知的显示系统的目的的各种系统、子系统和部件。

如图4A所示,头戴式增强现实系统(“AR系统”)的用户60被描绘为佩戴耦合到位于用户眼睛前面的显示系统62的镜框64结构。扬声器66在所描绘的配置中被耦合到镜框64,并且定位在用户60的耳道附近(在一个实施例中,另一个扬声器(未示出)被定位在用户的另一耳道附近以提供立体的/可塑形(shapeable)的声音控制)。显示器62诸如通过有线引线或无线连接可操作地耦合68到本地处理和数据模块70,本地处理和数据模块70可以被安装在各种配置中,诸如固定地附接到镜框64、如图4B的实施例中所示固定地附接到头盔或帽子80、嵌入在耳机中、在如图4C的实施例中所示的配置中以可拆卸的方式附接到用户60的躯干82、在如图4D的实施例中所示的皮带连接型配置中以可拆卸的方式附接到用户60的髋部84。

本地处理和数据模块70可包括功率高效的处理器或控制器以及诸如闪存的数字存储器,二者都可用于帮助处理、高速缓存和存储(a)从传感器捕捉到的数据,传感器可被操作地耦合到镜框64,诸如图像捕捉装置(诸如摄像机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电装置和/或陀螺仪;和/或(b)使用远程处理模块72和/或远程数据仓库74获取和/或处理的数据,可能该数据在这样的处理或检索之后被传递到显示器62。

本地处理和数据模块70可诸如经由有线或无线通信链路(76、78)可操作地耦合到远程处理模块72和远程数据仓库74,使得这些远程模块(72、74)可操作地彼此耦合并且作为资源可用于本地处理和数据模块70。处理模块70可控制AR系统的光学系统和其它系统,并且执行一或多个计算任务,包括从存储器或一或多个数据库(例如,基于云的服务器)检索数据以便向用户提供虚拟内容。

在一个实施例中,远程处理模块72可包括被配置为分析和处理数据和/或图像信息的一或多个相对强大的处理器或控制器。在一个实施例中,远程数据仓库74可包括相对大规模的数字数据存储设施,其可通过互联网或“云”资源配置中的其它网络配置来获得。在一个实施例中,在本地处理和数据模块中存储所有数据并且执行所有计算,从而允许相对于任何远程模块的完全自主使用。

光学实施例

应理解,可以有通过头戴式用户装置的光学元件向用户的眼睛呈现3D虚拟内容的许多方法。以下示例实施例可与其它方法组合使用,并且不应以限制性的含义阅读。以下示例实施例表示可与头戴式用户装置(30)集成以允许用户以舒适和适应性友好的方式观看虚拟内容的一些示例光学系统。

参考图5A至图22Y,该图呈现了各种显示器构造,其被设计为向人眼呈现可以被舒适地感知为对物理现实的增强、具有高水平的图像质量和三维感知以及能够呈现二维内容的基于光子的辐射图案。

参考图5A,在简化示例中,具有45度反射表面102的透射分束器基板104将可从透镜(未示出)输出的入射辐射106通过眼睛58的瞳孔45引导到视网膜54。此系统的视场受分束器104的几何形状限制。为了利用最少的硬件来适应舒适观看,在一个实施例中,可以通过聚集各种不同的反射和/或衍射表面的输出/反射来产生更大的视场。这可通过使用例如帧顺序配置来实现,其中,眼睛58被呈现有提供单个连贯(coherent)场景的感知的高频率的帧序列。

作为经由不同反射器以时间顺序方式呈现不同图像数据的替代或补充,反射器可通过其它手段(诸如偏振选择性或波长选择性)来分离内容。除了能够中继二维图像之外,反射器还可中继与真实物理对象的真实三维观看相关联的三维波前。

参考图5B,该图示出包括多个角度110的多个反射器的基板108,其中,为了说明的目的,每个反射器以所描绘的构造主动地反射。反射器可包括可切换元件以便于时间选择性。在一个实施例中,可利用帧顺序输入信息106有意地且按顺序激活反射表面,其中,每个反射表面呈现窄视场子图像,该窄视场子图像与由其它反射表面所呈现的其它窄视场子图像一起平铺以形成复合宽视场图像。

例如,参考图5C、5D和5E,表面110(例如,在基板108的中间)被“接通”到反射状态,使得其反射进入的图像信息106在较大视场的中间呈现相对窄的视场子图像,而其它潜在的反射表面处于透射状态中。

参考图5C,来自窄视场子图像的右侧的输入图像信息106(如输入光束106相对于输入界面112处的基板108的角度以及它们离开基板108的所得角度所示)从反射表面110朝向眼睛58反射。图5D示出为活动的相同反射器110,其中,图像信息来自窄视场子图像的中间,如输入界面112处的输入信息106的角度以及其离开基板108时的角度所示。

图5E示出相同的活动反射器110,其中,图像信息来自视场的左侧,如输入界面112处的输入信息106的角度以及在基板108的表面处的所得出射角所示。图5F示出底部反射器110为活动的构造,其中,图像信息106从整个视场的最右侧进入。例如,图5C、5D和5E可以示出表示帧顺序平铺图像的中心的一个帧,以及图5F可以示出表示该平铺图像的最右边的第二帧。

在一个实施例中,承载图像信息106的光可在进入输入界面112处的基板108之后直接照射反射表面110,而不首先从基板108的表面反射。在一个实施例中,承载图像信息106的光可在进入输入界面112之后且在照射反射表面110之前从基板108的一或多个表面反射。例如,基板108可用作平面波导,其通过全内反射传播承载图像信息106的光。光也可从部分反射涂层、波长选择性涂层、角度选择性涂层和/或偏振选择性涂层从基板108的一或多个表面反射。

在一个实施例中,成角度反射器可使用电活性材料构造,使得在向特定反射器施加电压和/或电流时,构成此反射器的材料的折射率从大体匹配于其余的基板108改变。当折射率匹配基板108的其余部分时,反射器处于透射构造中。当折射率与基板108的其余部分的折射率不匹配时,反射器处于反射构造,使得产生反射效应。示例电活性材料包括铌酸锂和电活性聚合物。用于控制多个此类反射器的合适的基本上透明的电极可包括诸如用在液晶显示器中的氧化铟锡的材料。

在一个实施例中,电活性反射器110可包括被嵌入在诸如玻璃或塑料的基板108主介质中的液晶。在一些变体中,可选择根据所施加的电信号而改变折射率的液晶,使得与二进制(从一个透射状态到一个反射状态)相反,可实现更多的模拟变化。在6个子图像将按帧顺序呈现给眼睛以形成具有每秒60帧的整体刷新速率的大平铺图像的实施例中,期望具有可以约360Hz速率刷新的输入显示器,其具有可跟上此频率的电活性反射器阵列。

在一个实施例中,与液晶相反,铌酸锂可被用作电活性反射材料:铌酸锂被用在光子学工业中以用于高速开关和光纤网络,并且具有在非常高的频率下响应于所施加的电压切换折射率的能力。该高频可被用于控制线顺序或像素顺序子图像信息,特别是如果输入显示器为扫描光显示器,例如光纤扫描显示器或基于扫描镜的显示器。

在另一实施例中,可变可切换成角度镜构造可包括一或多个高速机械可重定位反射表面,诸如MEMS(微机电系统)装置。MEMS装置可包括所谓的“数字镜面装置”或“DMD”(其通常为“数字光处理”或“DLP”系统的一部分,诸如可从德克萨斯仪器公司获得的那些)。在另一机电实施例中,多个空气间隙(或真空中的)反射表面可以以高频机械地移入和移出。在另一机电实施例中,单个反射表面可上下移动并以非常高的频率重新设置间距。

参考图5G,值得注意的是,本文所描述的可切换可变角度反射器构造不仅能够将准直或平坦的波前信息传递到眼睛58的视网膜54,而且能够传递弯曲的波前122图像信息,如图5G的例证所示。这通常不是其它基于波导的构造的情况,其中,弯曲波前信息的全内反射引起不期望的复杂情况,因此输入通常必须被准直。传递弯曲波前信息的能力有利于诸如图5B-5H所示的构造的能力,以向视网膜54提供被感知为在离眼睛58的各种距离而不仅仅是光学无限(这将是在没有其它线索的情况下对准直光的解释)处聚焦的输入。

参考图5H,在另一实施例中,静态部分反射表面116的阵列(例如,总是处于反射模式;在另一实施例中,它们可以是电活性的,如上所述)可被嵌入在基板114中,其中,高频门控层118控制至眼睛58的输出。高频门控层118可仅允许通过可控地移动的孔120进行传输。换句话说,除了通过孔120传输之外,一切都可被选择性地阻挡。门控层118可包括液晶阵列、铌酸锂阵列、MEMS百叶窗元件阵列、DLP DMD元件阵列或其它MEMS器件的阵列,其被构造为以相对高频切换和被切换到透射模式时的高频透射率来传递或传输。

参考图6A-6B,描绘了其它实施例,其中,阵列光学元件可与出射光瞳扩展构造组合以有助于用户的虚拟或增强现实体验的舒适度。使用光学构造的更大的“出射光瞳”,相对于显示器(其如图4A-4D所示,可以以眼镜类型的构造被安装在用户的头上)的用户眼睛定位更少可能破坏他的体验――因为由于系统的更大的出射光瞳,存在更大的可接受区域,其中,用户的解剖学瞳孔可被定位为仍然如所期望地从显示系统接收信息。换句话说,对于更大的出射光瞳,系统更少可能对显示器相对于用户的解剖学瞳孔的轻微未对准敏感,并且可通过对他或她与显示器/眼镜的关系的较少几何约束来实现用户的更大舒适度。

现在参考图6A和6B,该图示出替代方法。如图6A所示,左侧的显示器140将一组平行光线馈送到基板124中。在一个实施例中,显示器可为扫描光纤显示器,其以如图所示的角度来回扫描窄光束,以通过透镜或其它光学元件142投影图像,透镜或其它光学元件142可被用于收集角扫描光并将其转换为平行光线束。光线可从一系列反射表面(126、128、130、132、134、136)反射,反射表面可部分地反射并且部分地透射入射光,使得光可跨反射表面组(126、128、130、132、134、136)大致相等地共享。通过将小透镜138放置在来自波导124的每个出射点处,出射光线可被引导通过节点并且朝向眼睛58扫描以提供出射光瞳的阵列,或者在用户朝向显示系统注视时,可由他或她使用的一个大出射光瞳的功能等同物。

对于期望还能够通过波导看到真实世界144的虚拟现实构造,可在波导124的相对侧上呈现类似的一组透镜139,以补偿下组透镜;从而产生相当于零放大望远镜的等同物。反射表面(126、128、130、132、134、136)各自可以以大约45度对准,如图所示,或可具有不同的对准,类似于例如图5B-5H的构造。反射表面(126、128、130、132、134、136)可包括波长选择反射器、带通反射器、半镀银反射镜或其它反射构造。所示的透镜(138、139)为折射透镜,但是也可使用衍射透镜元件。

参考图6B,该图描绘了某种程度类似的构造,其中,多个弯曲反射表面(148、150、152、154、156、158)可被用于有效地组合图6A的实施例的透镜(图6A的元件138)和反射器(图6A的元件126、128、130、132、134、136)的功能,从而避免了对两组透镜(图6A的元件138)的需要。

弯曲反射表面(148、150、152、154、156、158)可为各种弯曲构造,其被选择以反射和赋予角变化这两者,诸如抛物线或椭圆弯曲表面。利用抛物线形状,入射光线的平行集合将被收集到单个输出点;利用椭圆形构造,从单个原点发散的一组光线被收集到单个输出点。与图6A的构造一样,弯曲反射表面(148、150、152、154、156、158)优选地部分反射并且部分透射,使得入射光跨波导146的长度上共享。弯曲反射表面(148、150、152、154、156、158)可包括波长选择性凹槽反射器(notch reflector)、半镀银反射镜或其它反射构造。在另一实施例中,弯曲反射表面(148、150、152、154、156、158)可用反射并且也偏转的衍射反射器代替。

参考图7A,可使用结合可变焦点光学元件构造的波导来促进Z轴差异(例如,沿着光轴从眼睛直线出来的距离)的感知。如图7A所示,来自显示器160的图像信息可被准直并射入到波导164中,并且使用例如诸如参考图6A和6B所述的构造或本领域技术人员已知的其它基板引导光学器件方法以大的出射光瞳方式分配――然后可变聚焦光学元件能力可被用于改变从波导出射的光的波前的焦点,并且向眼睛提供来自波导164的光来自于特定焦距的感知。

换句话说,由于入射光已被准直以避免全内反射波导构造中的挑战,所以其将以准直方式退出,这需要观看者的眼睛适应远点以使其聚焦在视网膜上,并且自然地解释为来自于光学无限远――除非一些其它干预致使光被重新聚焦并且被感知为来自不同的观看距离;一种合适的此干预为可变焦距透镜。

在图7A的实施例中,来自显示器160的准直图像信息以一定角度射入到一块玻璃162或其它材料中,使得其完全内反射并进入相邻的波导164中。波导164可被构造为类似于图6A或6B的波导(分别为124、146),使得来自显示器的准直光被分布成在沿着波导的长度的反射器或衍射特征的分布上稍微均匀地出射。在朝向眼睛58出射时,在所描绘的构造中,出射光通过可变焦透镜元件166传递,其中,根据可变焦透镜元件166的受控焦点,离开可变焦透镜元件166并进入眼睛58的光将具有各种水平的聚焦(准直平坦波前以表示光学无限远,越来越多的光束发散/波前曲率以表示相对于眼睛58更近的观看距离)。

为了补偿在眼睛58和波导164之间的可变焦距透镜元件166,另一个类似的可变焦距透镜元件167被放置在波导164的相对侧上,以抵消透镜166对用于增强现实的世界144的光学效应(例如,如上所述,一个透镜补偿另一个透镜,从而产生零放大望远镜的功能等同物)。

可变焦透镜元件166可为折射元件,诸如液晶透镜、电活性透镜、具有移动元件的常规折射透镜、基于机械变形的透镜(诸如,流体填充的膜透镜或类似于人类晶状体的透镜,其中柔性元件被致动器弯曲和松弛)、电润湿透镜或具有不同折射率的多种流体。

可变焦透镜元件166也可包括可切换衍射光学元件(诸如,以聚合物分散液晶方法为特征的衍射光学元件,其中,诸如聚合物材料的主介质具有分散在材料内的液晶微滴;当施加电压时,分子重新取向使得它们的折射率不再与主介质的折射率匹配,从而产生高频可切换衍射图案)。

一个实施例包括主介质,其中,基于克尔效应的电活性材料(诸如铌酸锂)的微滴分散在主介质内,使得当与扫描光显示器(诸如光纤扫描显示器或基于扫描镜的显示器)耦合时,能够逐像素或逐行重新聚焦图像信息。在利用液晶、铌酸锂或其它技术来呈现图案的可变焦点透镜元件166构造中,图案间隔可被调制为不仅改变可变焦点透镜元件166的焦度,而且改变整个光学系统的焦度――对于变焦透镜类型的功能。

在一个实施例中,透镜166可以是远心的,因为显示器图像的焦点可以在保持放大率恒定的同时改变――以与拍摄变焦透镜可被构造成将焦点与变焦位置解耦相同的方式。在另一实施例中,透镜166可为非远心的,使得焦点改变也将引起缩放变化。利用此构造,此种放大率变化可在软件中用来自图形系统的输出与焦点变化同步的动态缩放来补偿。

返回参考投影仪或其它视频显示单元160以及如何以“帧顺序”配置将图像馈送到光学显示系统的问题,顺序二维图像的堆叠可按顺序馈送到显示器以产生随时间的三维感知;以类似于使用堆叠的图像切片来表示三维结构的计算机化断层摄影系统的方式。

可向眼睛呈现一系列二维图像切片,每个二维图像切片位于与眼睛不同的焦距处,并且眼睛/大脑将此类堆叠集成为连贯的三维体积的感知。根据显示类型,可进行逐行或甚至逐像素排序以产生三维观看的感知。例如,对于扫描光显示器(诸如扫描光纤显示器或扫描镜显示器),则显示器以顺序方式一次向波导164呈现一行或一个像素。

如果可变焦透镜元件166能够跟上逐个像素或逐行显示的高频,则每行或像素可通过可变焦透镜元件166呈现并动态聚焦以在与眼睛58不同的焦距处被感知。逐个像素聚焦调制通常需要极快/高频可变聚焦透镜元件166。例如,具有每秒60帧的整体帧速率的1080P分辨率显示器通常呈现每秒约1.25亿个像素。此构造也可使用固态可切换透镜来构造,诸如使用电活性材料的那种,例如铌酸锂或电活性聚合物。除了其与图7A所示的系统的兼容性之外,帧顺序多焦显示驱动方法可与本公开中所描述的多个显示系统和光学实施例结合使用。

参考图7B,电活性层172(诸如液晶或铌酸锂的电活性层)可被功能电极(170、174)(其可以由氧化铟锡制成)和波导168包围,该波导168具有常规的透射基板176。在一个或多个实施例中,波导可由具有已知的全内反射特性和与电活性层172的开或关状态匹配的折射率的玻璃或塑料制成。电活性层172可被控制,使得进入光束的路径可被动态地改变以基本上产生随时间变化的光场。

参考图8A,可利用堆叠波导组件178通过具有多个波导(182、184、186、188、190)和多个弱透镜(198、196、194、192)来向眼睛/大脑提供三维感知,上述多个波导和多个弱透镜被构造为一起向眼睛发送针对每个波导水平具有不同水平的波前曲率从而指示针对该波导水平感知的焦距的图像信息。多个显示器(200、202、204、206、208),或在另一实施例中,单个复用显示器可被用于将准直图像信息射入到波导(182、184、186、188、190)中,每个波导可如上所述被构造为将入射光基本上均匀地分布在每个波导的长度上,以朝向眼睛向下射出。

最靠近眼睛的波导182被构造为将被射入到此类波导182中的准直光传送到眼睛,其可代表光学无限远焦平面。另一波导184被构造为发送出穿过第一弱透镜(192;例如弱负透镜)并且被传送到用户的眼睛58的准直光。第一弱透镜192可被构造为产生轻微的凸出的波前曲率,使得眼睛/大脑将来自波导184的光解译为来自由光学无限远更接近内朝向人的第一焦平面。类似地,下一个波导186在到达眼睛58之前使其输出光通过第一透镜192和第二透镜194。第一透镜192和第二透镜194的组合光焦度可被构造成产生另一增量的波前发散,使得眼睛/大脑将来自波导186的光解释为来自第二焦平面,其比来自波导184的光由光学无限远更加接近内朝向人。

其它波导层(188、190)和弱透镜(196、198)被类似地构造,其中,堆叠中的最高波导190通过其与眼睛之间的所有弱透镜发送其表示最接近人的焦平面的聚焦光焦度的输出。为了在观看/解译来自堆叠波导组件178的另一侧上的世界144的光时补偿透镜堆叠(198、196、194、192),补偿透镜层(180)被设置在堆叠的顶部以补偿以下透镜堆叠(198、196、194、192)的聚合屈光度(power)。

此构造提供与可用的波导/透镜对一样多的感知焦平面,同样具有如上所述的相对大的出射光瞳构造。波导的反射方面和透镜的聚焦方面可为静态的(例如,不是动态的或电活性的)。在替代实施例中,它们可为使用如上所述的电活性特征的动态的,使得少量波导能够以时间顺序方式被多路复用以产生更多数量的有效焦平面。

参考图8B-8N,该图描绘了用于聚焦和/或重定向准直束的衍射构造的各个方面。用于此目的的衍射系统的其它方面在美国专利申请序列号14/331,218中公开。

参考图8B,应理解,使准直光束穿过线性衍射图案210(例如布拉格光栅)将偏转或“转向”光束。还应理解,使准直光束穿过径向对称衍射图案212或“菲涅尔带片”将改变光束的焦点。图8C示出使准直光束穿过线性衍射图案210的偏转效应。图8D示出使准直光束穿过径向对称衍射图案212的聚焦效应。

参考图8E和8F,具有线性和径向元件214的组合衍射图案产生准直输入光束的偏转和聚焦。这些偏转和聚焦效应可以在反射模式和透射模式下产生。这些原理可被应用于波导构造以允许附加的光学系统控制,例如如图8G-8N所示。

如图8G-8N所示,衍射图案220或“衍射光学元件”(或“DOE”)被嵌入在平面波导216内,使得当准直光束沿着平面波导216全内反射时,其与在多个位置处的衍射图案220相交。

优选地,DOE 220具有相对低的衍射效率,使得只有一部分光束的光随着DOE 220的每个交点被偏转朝向眼睛58,而其余部分继续通过整个内部反射穿过平面波导216。因此携带图像信息的光被分成在多个位置处离开波导的多个相关光束,并且结果是该特定的准直光束在平面内波导216反射,朝向眼睛58的出射发射产生相当均匀的图案,如图8H所示。朝向眼睛58的出射光束在图8H中被示为基本平行,因为在此情况下,DOE 220仅具有线性衍射图案。如图8L、8M和8N之间的比较所示,可利用对该线性衍射图案间距的变化来可控地偏转出射的平行光束,从而产生扫描或平铺功能。

参考图8I,随着嵌入式DOE 220的径向对称衍射图案分量的变化,出射光束图案更加发散,这将需要眼睛适应更近的距离以使其聚焦在视网膜上并且将被大脑解译为来自比光学无限远更接近眼睛的观看距离的光。参考图8J,通过添加光束可被射入的另一波导218(例如,投影仪或显示器),嵌入在另一波导218中的DOE 221(诸如线性衍射图案)可起到跨整个较大的平面波导216扩展光的作用。根据工作中的特定DOE构造,这可为眼睛58提供从较大平面波导216(例如,大眼盒)出射的入射光的非常大的入射场。

示出DOE(220、221)被示出平分相关波导(216、218),但这不是必须的情况。在一或多个实施例中,它们可更靠近或位于任一波导(216、218)的任一侧,以具有相同的功能。因此,如图8K所示,随着单个准直光束的射入,克隆的准直光束的整个场可被引向眼睛58。另外,利用诸如图8F 214和8I 220中所描绘的组合线性衍射图案/径向对称衍射图案的情况,呈现了具有Z轴聚焦能力的光束分布波导光学器件(用于诸如出射光瞳功能扩展之类的功能;使用诸如图8K的构造,出射光瞳可与光学元件本身一样大,这对于用户舒适度和人体工程学来说可以是非常显著的优点),其中,克隆光束的发散角和每个光束的波前曲率代表来自比光学无限远更近的点的光。

在一个实施例中,一或多个DOE可在它们主动衍射的“开”状态和它们不显著衍射的“关”状态之间切换。例如,可切换DOE可包括聚合物分散液晶层,其中,在主介质中的微滴构成衍射图案,并且微滴的折射率可以被切换为基本上匹配主体材料的折射率(在此情况下,该模式不会明显地衍射入射光)。或者,微滴可以被切换到与主介质的折射率不匹配的折射率(在此情况下,图案主动衍射入射光)。

此外,随着衍射项(诸如图8L-8N中的线性衍射节距项)的动态变化,可实现束扫描或平铺功能。如上所述,可能期望在每个DOE(220、221)中具有相对低的衍射光栅效率,因为这有助于光的分布。此外,因为当光穿过的DOE220衍射效率较低时,来自期望透射的波导的光(例如,在增强现实中来自世界144朝向眼睛58的光)受影响较小,可实现通过此构造更好地观看现实世界。

诸如图8K所示的构造优选地通过以时间顺序方法对图像信息的射入来驱动,其中,帧顺序驱动为最简单实现的。例如,在光学无限远的天空的图像可在时间1被射入,并且可利用保持光的准直的衍射光栅。然后,更近的树枝的图像可在时间2被射入,此时DOE可控地施加焦点变化,例如一个屈光度或1米远,以向眼睛/大脑提供分支光信息来自更靠近的焦点范围的感知。

这种范例可以以快速时间顺序方式重复,使得眼睛/大脑将输入感知为同一图像的所有部分。虽然这仅仅是两个焦平面示例,但是应理解,优选地,系统将被构造为具有更多的焦平面,以提供对象及其焦距之间的更平滑的过渡。这种构造通常假设DOE以相对低的速度(例如,与正在射入图像的显示器的帧速率同步――在几十到几百个周期/秒的范围内)切换。

相反的极端可为这样的构造:其中,DOE元件可以以几十到几百MHz或更大的频率偏移焦点,这有助于在像素被扫描到眼睛58中时,使用扫描光显示类型的方法逐个像素地切换DOE元件的聚焦状态。这是期望的,因为这意味着整个显示器帧率可以保持相当低;刚好低到足以确保“闪烁”不是问题(在大约60-120帧/秒的范围内)。

在这些范围之间,如果DOE可以以KHz速率切换,则可在逐行的基础上调整每条扫描行上的焦点,这可为用户提供在时间伪像方面的可见益处,例如,在相对于显示器的眼睛运动期间。例如,以此方式,场景中的不同焦平面可被交错,以最小化响应于头部运动的可见伪像(如本公开后面更详细地论述的)。逐行聚焦调制器可被可操作地耦合到行扫描显示器,诸如光栅光阀显示器,其中扫描线性像素阵列以形成图像;并且可被可操作地耦合到扫描光显示器,诸如光纤扫描显示器和镜扫描光显示器。

类似于图8A的堆叠构造,可使用动态DOE(而不是图8A的实施例的静态波导和透镜)来同时提供多平面聚焦。例如,利用三个同时的焦平面,可以向用户呈现主焦平面(例如,基于所测量的眼睛适应性调节),并且正边际和负边际(例如,一个焦平面更靠近,一个焦平面更远出)可被用于提供大的聚焦范围,在该聚焦范围中,用户可以在需要更新焦平面之前进行适应性调节。如果用户切换到更接近或更远的焦点(例如,通过调节测量来确定),则这种增加的聚焦范围可以提供时间上的优点。然后,可以使新的聚焦面成为中间焦点深度,其中,正和负边际再次准备好以在系统赶上时快速切换到任一个。

参考图8O,示出平面波导(244、246、248、250、252)的堆叠222,每个平面波导在末端具有反射器(254、256、258、260、262),并且被构造为使得在一端由显示器(224、226、228、230、232)射入的准直图像信息通过全内反射向下反射到反射器,在该点处,一些或所有光被朝向眼睛或其它目标反射出去。每个反射器可具有稍微不同的角度,使得它们都朝向公共目的地(例如瞳孔)反射出射光。除了图8O的实施例中的每个不同角度反射器具有其自己的波导以在投射光行进到目标反射器时被较少干扰之外,此构造有点类似于图5B的构造。透镜(234、236、238、240、242)可被插置在显示器和波导之间,以用于光束转向和/或聚焦。

图8P示出几何交错版本,其中,反射器(276、278、280、282、284)在波导(266、268、270、272、274)中以交错长度定位,使得出射光束可以相对容易地与作为解剖学瞳孔的对象对准。由于叠层(264)和眼睛之间的距离是已知的(诸如典型的舒适的几何关系是眼睛的角膜和眼镜镜片之间为28mm),反射器(276、278、280、282、284)和波导(266、268、270、272、274)的几何关系可被设置为用出射光填充眼睛瞳孔(通常约为8mm或更小)。

通过将光引导到直径大于眼睛瞳孔的眼盒,观看者可以自由地进行任何数量的眼睛移动,同时保持观看所显示的图像的能力。返回参考涉及关于视场扩展和反射器尺寸的图5A和5B的论述,通过图8P的构造呈现扩展的视场,并且其不涉及图5B的实施例的可切换反射元件的复杂性。

图8Q示出版本286,其中,许多反射器298在被定向为与整体曲线对准的聚集或离散的小平面中形成相对连续的弯曲反射表面。曲线可以是抛物线或椭圆曲线,并且被示为跨越多个波导(288、290、292、294、296)横切以最小化任何串扰问题,尽管其也可以与单片波导构造一起使用。

在一种实施方案中,高帧速率和较低持续时间显示器可与较低帧速率和较高持续时间显示器以及可变聚焦元件组合以构成相对较高频率的帧顺序体积显示器。在一个实施例中,高帧速率显示器具有较低的位深度,以及较低帧速率的显示器具有较高的位深度,并且被组合以构成有效的高帧速率和高位深度的显示器,其非常适合于以帧顺序方式呈现图像切片。利用此方法,期望表示的三维体积在功能上被划分为一系列二维切片。这些二维切片中的每个按顺序被投射到眼睛框,并且与该呈现同步地,改变可变聚焦元件的焦点。

在一个实施例中,为了提供足够的帧速率以支持此配置,可集成两种显示元件:以每秒60帧操作的全色、高分辨率液晶显示器(“LCD”;在另一个实施例也可使用背光照明的铁电面板显示器;在进一步的另一实施例中,可使用扫描光纤显示器),以及更高频率DLP系统的方面。代替以常规方式(例如,利用全尺寸荧光灯或LED阵列)照明LCD面板的背面,常规照明配置可被去除以容纳DLP投影仪,以将掩模图案投影在LCD背面上。在一个实施例中,掩模图案可为二进制的,例如,DLP被照亮或不被照亮。在下面描述的另一实施例中,DLP可被用于投影灰度掩模图像。

应理解,DLP投影系统可以以非常高的帧速率操作。在一个实施例中,对于每秒60帧的6个深度平面,可以以360帧/秒对着LCD显示器的背面操作DLP投影系统。然后DLP投影仪可被用于与设置在LCD面板的观看侧和用户的眼睛之间的高频可变聚焦元件(诸如可变形膜式反射镜)同步地选择性照亮LCD面板的部分,可变聚焦元件(VFE)被配置为以360帧/秒逐帧地改变全局显示焦点。

在一个实施例中,VFE被定位成与出射光瞳光学共轭,以便允许调焦而不同时影响图像放大或“缩放”。在另一实施例中,VFE不与出射光瞳共轭,使得图像放大率改变伴随焦点调节。在此类实施例中,软件可被用于通过预缩放或扭曲待呈现的图像来补偿光学放大率变化和任何失真。

在操作上,有用的是考虑将三维场景被呈现给用户的示例,其中,背景中的天空为光学无限远的观看距离,并且耦合到树的树枝从树干延伸,使得树枝的尖端比连接树干的树枝的近端部分更靠近用户。树可处于比光学无限远更近的位置处,并且树枝可比树干更接近。

在一个实施例中,对于给定的全局帧,系统可被配置为在LCD上呈现天空前面的树枝的全色、全对焦图像。然后,在在全局帧内的子帧1处,处于二进制掩蔽配置(例如,照明或不存在照明)的DLP投影仪可被用于仅照亮代表多云天空的LCD的部分,而功能性黑色遮蔽(例如,不能照亮)表示树枝和在与天空相同的焦距处不被感知的其它元素的LCD的部分,并且可利用VFE(诸如可变形膜式反射镜)来定位在光学无限远的焦平面,使得眼睛在子帧1处看到的子图像是无限远的云。

然后在子帧2,VFE可被切换以聚焦在离用户的眼睛大约1米远的点(例如,1米远的树枝位置)。可以切换来自DLP的照明图案,使得系统仅照亮表示树枝的LCD的部分,而同时对表示天空和不能在与树枝相同的焦距处被感知的其它元素的LCD的部分进行功能黑遮蔽(例如,不能照亮)。

因此,眼睛获得在光学无限远处的云的快速闪现,随后获得在1米处的树的快速闪现,并且该序列被眼睛/大脑集成以形成三维感知。树枝可相对于观看者对角地定位,使得其延伸通过一定范围的观看距离,例如,其可在大约2米观看距离处与树干接合,而树枝的尖端在1米远的更近位置。

在此情况下,显示系统可将树枝的3-D体积分成多个切片,而不是1米处的单个切片。例如,一个焦点切片可被用于表示天空(在该切片的呈现期间使用DLP来掩蔽树的所有区域),而树枝被划分成5个焦点切片(对于待呈现的树枝的每个部分,使用DLP来掩蔽天空和树的除一个部分之外的所有部分)。优选地,深度切片被定位为具有等于或小于眼睛的焦深的间隔,使得观看者将不可能注意到切片之间的过渡,并且代之以感知树枝通过聚焦范围的平滑且连续流。

在另一实施例中,不是在二进制(仅有照明或暗场)模式中使用DLP,而是可将其用于将灰度(例如,256个色调的灰度级)掩模投射到LCD面板的背面上,以增强三维知觉。灰度色调可被用于向眼睛/大脑传递某物存在于相邻深度或焦平面之间的感知。

返回参考上述场景,如果最接近用户的树枝的前边缘要被投射在焦平面1上,则在子帧1处,LCD上的该部分可用来自VFE在焦平面1的DLP系统的全强度白色照亮。

然后在子帧2处,当在焦平面2处的VFE正好在被点亮的部分之后时,将不存在照明。这些是与上述二进制DLP掩蔽配置类似的步骤。然而,如果存在将在焦平面1和焦平面1之间的位置处(例如中途)被感知的树枝的一部分,则可利用灰度掩蔽。DLP可以在子帧1和子帧2期间,但是在每个子帧的半照明(诸如,在256个灰度级的128级)处将照明掩模投射到该部分。

这提供了对焦深层的混合的感知,其中,所感知的焦距与子帧和子帧2之间的照度比成比例。例如,对于应该位于焦平面1和焦平面2之间的路程的3/4的树枝的一部分,可以使用约25%强度的灰度掩模来在子帧1处照亮LCD的该部分,并且可以使用约75%的灰度掩模在子帧2处照亮LCD的相同部分。

在一个实施例中,低帧速率显示和高帧速率显示的位深度可以被组合以用于图像调制,以产生高动态范围显示。高动态范围驱动可以与上述焦平面寻址功能协同进行,以构成高动态范围的多焦点3D显示器。

在另一更有效的实施例中,只有显示器(例如LCD)输出的特定部分可以被投影仪(例如,DLP、DMD等)掩模照明,并且可在到用户眼睛的途中被可变地聚焦。例如,显示器的中间部分可为掩模照明的,而显示器的外围为用户提供均匀的适应提示(例如,外围可以由DLP DMD均匀照明,而中心部分被主动掩蔽并且在至眼睛的途中可变聚焦)。

在上述实施例中,约360Hz的刷新率允许6个深度平面,每个大约60帧/秒。在另一实施例中,甚至更高的刷新率可通过增加DLP的操作频率来实现。标准DLP配置使用MEMS器件和微镜阵列,其在将光朝向显示器或用户反射的模式与将光反射远离显示器或用户(诸如进入光阱中)的模式之间切换,因此DLP是固有的二进制。DLP通常使用脉冲宽度调制方案产生灰度图像,其中,对于可变占空比,将反射镜在可变的时间量内保持在“开启”状态,以便产生更亮的像素或中间亮度的像素。因此,为了以中等帧速率产生灰度图像,DLP以高得多的二进制速率运行。

在上述配置中,此设置很好地用于产生灰度掩蔽。然而,如果DLP驱动方案被适配成使得其以二进制图案闪烁子图像,则可显著增加帧速率――每秒数千帧地增加,这允许以60帧/秒刷新数百到数千的深度平面,这可被用于消除如上所述的深度平面间灰度内插。德州仪器DLP系统的典型脉宽调制方案具有8位命令信号(第一位为反射镜的第一长脉冲;第二位为第一位的长度的一半的脉冲;第三位也为一半长的脉冲;等等)――使得该配置可以产生28(2到8次幂)个不同的照明水平。在一个实施例中,来自DLP的背光可具有与DMD的不同脉冲同步改变的强度,以均衡所产生的子图像的亮度。这可为使用现有的DMD驱动电子器件来产生显著更高的帧速率的实用方法。

在另一实施例中,可利用对DMD驱动电子器件和软件的直接控制变化来使反射镜总是具有相等的导通时间,而不是常规的可变导通时间配置,这将有利于更高的帧速率。在另一实施例中,DMD驱动电子器件可被配置为以高于高位深度图像的帧速率但低于二进制帧速率的帧速率呈现低位深度图像,使得能够在焦平面之间进行一些灰度级混合,同时适度地增加聚焦面的数量。

在另一实施例中,当限于有限数量的深度平面(诸如,上述示例中的6个)时,可能需要在功能上将这6个深度平面移动到在呈现给用户的场景中最大程度有用。例如,如果用户站在房间中并且虚拟怪物将被放置到他的增强现实视图中,虚拟怪物在Z轴上远离用户的眼睛大约2英尺深,则围绕怪物当前位置的中心聚集所有6个深度平面可能是更有用的(并且在他相对于用户移动时动态地移动它们)。这可向用户提供更丰富的所有六个深度平面在怪物的直接区域中的调节提示(例如,在怪物中心的前面3个,在怪物中心的后面3个)。深度平面的此分配是内容相关的。

例如,在上面的场景中,同一个怪物可在同一房间呈现,而且还要呈现给用户的是一个虚拟窗口框元素,然后是远离虚拟窗口框到光学无限远的虚拟视图,有用的是,至少一个深度平面花费在光学无限远上,一个花费在容纳虚拟窗口框的墙壁深度上,然后剩余的四个深度平面可能花费在房间中的怪物上。如果内容致使虚拟窗口消失,则两个深度平面可被动态地重新分配给怪物周围的区域。因此,焦平面资源的基于内容的动态分配可向给定计算和呈现资源的用户提供最丰富的体验。

在另一实施例中,多芯光纤或单芯光纤阵列中的相位延迟可被用于产生可变聚焦光波前。参考图9A,多芯光纤(300)可包括多个单独光纤(302)的聚集。图9B示出多芯组件的近距离视图,其从每个芯以球面波前(304)的形式发射光。如果纤芯例如从共享的激光源发射相干光,则这些小球面波前最终相长地和相消地相互干涉,并且如果它们从多芯光纤同相发射,则它们将在聚集状态下形成近似平面的波前(306),如图所示。

然而,如果在纤芯之间感应出相位延迟(使用常规的相位调制器,诸如使用铌酸锂的相位调制器,以使一些芯相对于其他芯的路径变慢),则可在聚集状态中产生弯曲或球面波前,以在眼睛/大脑处呈现来自比光学无限远更近的点的对象。这可为可被用于在不使用VFE的情况下呈现多个焦平面的另一种方法,如在上面论述的先前实施例中的情况。换句话说,此相控多芯配置或相控阵列可被用于从光源产生多个光学聚焦级。

在涉及使用光纤的另一实施例中,多模光纤或光导棒或管的已知傅里叶变换方面可被用于控制从此类光纤输出的波前。光纤通常有两种类型:单模和多模。多模光纤通常具有较大的纤芯直径,并且允许光沿着多个角度路径传播,而不是单模光纤的沿单角度路径传播。已知的是,如果图像被射入到多模光纤的一端,则被编码到该图像中的角度差在其通过多模光纤传播时将在一定程度上被保持。在一些配置中,来自光纤的输出将与输入到光纤中的图像的傅里叶变换显著相似。

因此,在一个实施例中,可输入波前(诸如表示比光学无限远更靠近用户的焦平面的发散球面波前)的傅里叶逆变换,使得在穿过光学地赋予傅里叶变换的光纤之后,输出是期望形状或聚焦的波前。此输出端可被扫描以用作扫描光纤显示,或者可被用作例如用于扫描反射镜以形成图像的光源。

因此,此配置可被用作再一个聚焦调制子系统。其它种类的光图案和波前可被射入到多模光纤中,使得在输出端上发射特定的空间图案。这可被用于提供等效的小波图案(在光学中,光学系统可根据泽尼克(Zernicke)系数进行分析;图像可以被类似地表征并分解成更小的主分量,或者相对更简单的图像分量的加权组合)。因此,如果使用输入侧上的主分量将光扫描到眼睛中,则可在多模光纤的输出端处恢复更高分辨率的图像。

在另一实施例中,全息图的傅立叶变换可被射入到多模光纤的输入端,以输出可被用于三维聚焦调制和/或分辨率增强的波前。某些单光纤纤芯、多纤芯光纤或同心纤芯+包层配置也可被用于前述的傅里叶逆变换配置。

在另一实施例中,不是以高帧速率物理地操控接近用户眼睛的波前,而不考虑用户的特定的适应状态或眼睛注视,系统可被配置为监测用户的适应,在对应于眼睛的适应状态的时间呈现单个波前,而不是呈现一组多个不同的光波前。

可以直接地(诸如通过红外自动折射仪或偏心光折射)或间接地(诸如通过测量用户的两只眼睛的会聚程度)来测量适应(如上所述,聚散度和适应在神经学上强烈地相关联,因此适应的估算可以基于聚散几何关系)。因此,对于所确定的例如距用户1米的适应,则可使用上述可变焦距配置中的任何一个来配置距眼睛1米焦距处的波前呈现。如果检测到在2米处聚焦的适应变化,则可针对2米焦距重新配置眼睛处的波前呈现,等等。

因此,在结合适应跟踪的一个实施例中,VFE可被放置在输出组合器(例如,波导或分束器)和用户的眼睛之间的光路中,使得焦点可与眼睛的适应变化一起被改变(例如,优选以相同的速率)。可使用软件效果来对不应被对焦的对象产生可变量模糊(例如,高斯),以模拟在视网膜处预期的屈光模糊,就好像对象在该观察距离一样。这增强了眼睛/大脑的三维感知。

简单的实施例为焦点水平随动于观看者的适应水平的单个平面。然而,如果甚至使用少量的多个平面,则可以放宽对适应跟踪系统的性能要求。参考图10,在另一实施例中,可利用约3个波导(318、320、322)的堆叠328来同时产生波前的三个焦平面。在一个实施例中,弱透镜(324、326)可具有静态焦距,并且可变焦透镜316可随动于眼睛的适应跟踪,使得三个波导之一(例如中间波导320)输出被认为是对焦波前,而其它两个波导(322、318)输出正边际波前和负边际波前(例如,比检测到的焦距稍微更远、比检测到的焦距稍微更近)。这可改善三维感知并且还为脑/眼睛适应控制系统提供足够的差异以感测一些模糊作为负反馈的,这继而增强了现实的感知,并且允许根据需要在焦点水平的物理调整之前进行一系列适应。

还示出可变焦补偿透镜314,以确保在增强现实配置中从真实世界144进入的光不被堆叠组件328和输出透镜316重新聚焦或放大。如上所述,透镜(316、314)中的可变焦距可以利用折射、衍射或反射技术来实现。

在另一实施例中,堆叠中的每个波导可包含它们自己的用于改变焦点的能力(诸如通过具有所包含的电子可切换DOE),使得VFE不需要像图10的配置的堆叠328中那样被集中。

在另一实施例中,VFE可在堆叠的波导之间交错(例如,不是如图10的实施例中的固定焦点弱透镜),以消除对固定焦距弱透镜加全堆叠重聚焦可变焦距元件的组合的需要。此类堆叠配置可被用在如本文所述的适应跟踪变体中,并且也可用在帧顺序多焦点显示方法中。

在光以小出射光瞳(例如1/2mm直径或更小)进入瞳孔的配置中,人具有针孔透镜配置的等同物,其中,光束总是被眼睛/大脑解译为焦点对准――例如,使用0.5mm直径光束扫描图像至眼睛的扫描光显示器。此配置被称为麦克斯韦视图配置,并且在一个实施例中,适应跟踪输入可被用于使用软件来诱导图像信息的模糊,该图像信息将要被感知为位于通过适应跟踪确定的焦平面之后或之前的焦平面上。换句话说,如果以呈现麦克斯韦视图的显示器开始,则理论上一切都可以聚焦。为了提供丰富和自然的三维感知,屈光模糊可用软件诱导模拟,并且可被随动于适应跟踪状态。

在一个实施例中,扫描光纤显示器非常适合于此配置,因为它可被配置为仅输出麦克斯韦形式的小直径光束。在另一实施例中,诸如通过一或多个扫描光纤显示器,可产生小出射光瞳的阵列以增加系统的功能眼盒(并且还用于减少可能驻留在眼睛的玻璃体或角膜中的光阻挡颗粒的影响)。或者,这可通过诸如参考图8K所述的DOE配置来实现,其中,在所呈现的出射光瞳的阵列中具有确保在任何给定时间只有一个将击中用户的解剖瞳孔的间距(例如,如果平均解剖瞳孔直径为4mm,则一种配置可包括以约4mm的间隔隔开的1/2mm出射光瞳)。

此类出射光瞳也可响应于眼睛位置而切换,使得只有眼睛总是一次接收一个且仅接收一个活动的小出射光瞳;从而允许更密集的出射光瞳阵列。此用户将具有大的焦深,可以向其添加基于软件的模糊技术以增强所感知的深度感知。

如上所述,光学无限远处的对象产生基本上平面的波前。更近的诸如离眼睛1m远的对象产生弯曲的波前(具有约1m的凸曲率半径)。应理解,眼睛的光学系统需要具有足够的光焦度以弯曲入射光线,使得光线被聚焦在视网膜上(凸起的波前变成凹面,然后下降到在视网膜的焦点上)。这些是眼睛的基本功能。

在上述许多实施例中,被引导向眼睛的光已被视为一个连续波前的一部分,其一些子集将击中特定眼睛的瞳孔。在另一方法中,被引导向眼睛的光可被有效地离散或分解成多个子束或独立光线,每个子束具有小于约0.5mm的直径和唯一传播路径,作为可通过子束或光线的聚合来功能性地产生的更大聚合波前的一部分。例如,可通过汇聚多个离散的相邻准直束来近似弯曲波前,其中,每个准直束以适当角度接近眼睛以表示原点。原点可匹配期望的汇聚波前的曲率半径的中心。

当子束具有约0.5mm或更小的直径时,这种配置类似于针孔透镜配置。换句话说,每个单独的子束总是相对于视网膜聚焦,而与眼睛的适应状态无关――然而每个子束的轨迹将受适应状态影响。例如,如果表示离散的准直汇聚波前的子束平行地接近眼睛,则被正确地适应到无限远的眼睛将偏转子束以在视网膜上的相同共享点上会聚并且将聚焦。如果眼睛适应到例如1m,则光束将会聚到视网膜前面的斑点,交叉路径,并落在视网膜上的多个相邻或部分重叠的斑点上――从而出现模糊。

如果子束以具有距观察者1米远的共享原点的发散配置接近眼睛,则1m的适应将光束转向到视网膜上的单个点并且将会聚焦。如果观察者适应无限远,子束将会聚到视网膜后面的斑点,并在视网膜上产生多个相邻或部分重叠的斑点,从而产生模糊的图像。更一般地说,眼睛的适应决定了视网膜上的斑点的重叠程度,并且当所有斑点都指向视网膜上的相同斑点时,给定像素是“聚焦的”,而当斑点彼此偏移时,给定像素是“离焦的”。所有0.5mm直径或更小的子束总是在焦点,并且子束可被汇聚以被眼睛/大脑感知为相干波前的这种概念可被用于产生舒适的三维虚拟或增强现实感知的配置。

换句话说,一组多个窄光束可被用于模拟较大直径的可变焦点光束。如果子束直径保持最大约0.5mm,则可保持相对静态的聚焦水平。为了在需要时产生离焦的感知,可选择子束角轨迹以产生非常类似于较大的离焦束的效果(此离焦处理可不与用于较大光束的高斯模糊处理相同,但是将产生可以与高斯模糊相似的方式解释的多模点扩展函数)。

在优选实施例中,子束不被机械偏转以形成这种聚合聚焦效应,而是眼睛接收许多子束的超集,其包括多个入射角和多个子束与瞳孔相交的位置;为了表示从特定观看距离的给定像素,来自包括适当的入射角和与瞳孔的交叉点(好像它们是从空间中的相同共享原点发射的)的超集的子束的子集被匹配的颜色和强度开启,以表示该聚合波前,而超集中与共享原点不一致的子束不以该颜色和强度开启(但是其中一些可用一些其它颜色和强度水平开启以表示例如不同的像素)。

参考图11A,在离散波前显示配置中,多个入射子束(332)中的每个相对于眼睛58穿过小出射光瞳(330)。参考图11B,可以以匹配的颜色和强度水平来驱动子束组(332)的子集(334),以被感知为好像它们是相同的较大尺寸光线的一部分(粗体子组(334)可被视为“聚集束”)。在此情况下,子束的子集彼此平行,以表示来自光学无限远的准直聚集束(例如来自远处山的光)。眼睛适应无限远,因此子束的子集被眼睛的角膜和晶状体偏转,以基本上落在视网膜的相同位置上,并且被感知为包括单个聚焦像素。

图11C示出表示如果从上方以冠状平面视图观察眼睛58,从用户眼睛58的视场的右侧进入的汇聚准直束(336)的子束的另一子集。再次地,眼睛被示为适应无限远,因此子束落在视网膜的相同斑点上,并且像素被感知为在焦点上。相反,如果选择作为发散的扇形光线到达眼睛的子束的不同子集,则这些子束将不会落在视网膜的相同位置(并且被感知为聚焦),直到眼睛移动适应到与该扇形光线的几何原点相匹配的近点。

关于子束与眼睛的解剖学瞳孔的交叉点的图案(例如,出射光瞳的图案),交叉点可被组织为诸如横截面高效的六边形网格(例如,如图12A所示)或正方形网格或其它二维阵列的构造中。此外,可以产生出射光瞳的三维阵列以及出射光瞳的时变阵列。

离散聚合波前可使用若干配置来产生,诸如被放置与观察光学器件的出射光瞳光学共轭的微显示器或微投影仪阵列、被耦合到直接视场基板(例如眼镜镜片)的微显示器或微投影仪阵列,使得它们将光直接投射到眼睛,而没有附加的中间观察光学器件、连续的空间光调制阵列技术或诸如关于图8K所述的那些的波导技术。

参考图12A,在一个实施例中,可通过捆绑一组小投影仪或显示单元(例如扫描光纤显示器)来产生光场。图12A描绘了六边形网格投影束338,其可例如产生7mm直径的六边形阵列,其中,每个光纤显示器输出子图像(340)。如果此阵列具有被放置在其前面的光学系统(诸如透镜),使得该阵列与眼睛的入射光瞳光学共轭,则将在眼睛的瞳孔处产生该阵列的图像,如图12B所示,其基本上提供与图11A的实施例相同的光学布置。

该配置的每个小出射光瞳由束338中的专用小显示器(诸如扫描光纤显示器)产生。在光学上,好像整个六边形阵列338正好位于解剖瞳孔45中。此类实施例可被用于将不同的子图像驱动到眼睛的较大解剖入射瞳孔45内的不同小出射光瞳,上述子图像包括具有多个入射角和与眼睛瞳孔相交的点的子束的超集。每个单独的投影仪或显示器可用略微不同的图像驱动,使得可产生拉出以不同的光强度和颜色驱动的不同组的光线的子图像。

在一个变体中,可产生如图12B的实施例中那样的严格图像共轭,其中,图12B的实施例存在阵列338与瞳孔45的直接一对一映射。在另一变体中,可在阵列中的显示器和光学系统(图12B中的透镜(342))之间改变间隔,使得代替接收阵列到眼睛瞳孔的共轭映射,眼睛瞳孔可从在一些其它距离的阵列捕获光线。利用此配置,仍然可以获得光束的角度多样性,通过该角度多样性,可以产生离散的汇聚波前表示,但是关于如何以及在哪个屈光度和强度驱动哪个光线的数学可能变得更复杂(尽管,在另一方面,从观察光学器件角度来看,此配置可被认为更简单)。涉及光场图像捕获的数学可被用于这些计算。

参考图13A,该图描绘出微显示器或微投影仪阵列346可被耦合到诸如眼镜框的镜框(344)的另一光场产生实施例。该配置可被定位在眼睛58的前面。所描绘的配置为非共轭布置,其中,不存在被插入在阵列显示器346(例如,扫描光纤显示器)和眼睛58之间的大规模光学元件。可以想象一副眼镜,并且与这些眼镜耦合的为多个显示器,诸如被定位成与眼镜表面正交并且全部向内成角度使得它们指向用户的瞳孔的扫描光纤引擎。每个显示器可被配置为产生表示子束超集的不同元素的一组光线。

利用此配置,在解剖瞳孔45处,用户可接收如参考图11A所论述的实施例中所接收的类似结果,其中,用户瞳孔处的每个点都接收从不同的显示器贡献的具有多个入射角和交点的光线。图13B示出类似于图13A的非共轭构造,除了图13B的实施例具有反射表面(348)以便于将显示器阵列346远离眼睛58的视场移动,同时还允许通过反射表面(348)观看现实世界144。

因此,呈现了用于产生离散化的聚合波前显示所需的角度多样性的另一配置。为了优化此配置,可将显示器的尺寸减小到最大程度。可被用作显示器的扫描光纤显示器可具有在1mm范围内的基线直径,但是外壳和投影透镜硬件的减小可将此类显示器的直径减小到约0.5mm或更小,这对于用户来说是较少干扰的。在光纤扫描显示器阵列的情况下,另一缩小尺寸的几何细化可通过将准直透镜(其可以例如包括梯度折射率或“GRIN”透镜、常规曲面透镜或衍射透镜)直接耦合到扫描光纤自身的尖端来实现。例如,参考图13D,该图示出了融合到单模光纤的端部的GRIN透镜(354)。诸如压电致动器的致动器350可被耦合到光纤352,并且可被用于扫描光纤尖端。

在另一实施例中,光纤的端部可使用光纤的弯曲抛光处理来成形为半球形,以产生透镜效应。在另一实施例中,标准折射透镜可使用粘合剂来耦合到每个光纤的端部。在另一实施例中,透镜可由透射性聚合材料或玻璃,诸如环氧树脂制成。在另一实施例中,光纤的端部可被熔化以产生用于透镜效应的弯曲表面。

图13C-2示出诸如在图13D所示的显示器配置(例如,具有GRIN透镜的扫描光纤显示器,如图13C-1的近距离视图所示)可通过单个透明基板356耦合在一起的实施例,单个透明基板356优选具有与光纤352的包层紧密匹配的折射率,使得纤维本身对于穿过所描绘的组件观看外部世界来说基本上不可见。应理解,如果精确地进行包层的折射率匹配,则较大的包层/壳体变得透明,并且仅仅优选直径约3微米的小芯将阻碍视野。在一个实施例中,显示器的矩阵358可全部向内成角度,使得它们指向用户的解剖瞳孔(在另一实施例中,它们可以保持彼此平行,但是此配置效率较低)。

参考图13E,描绘了不是使用圆形纤维循环移动,而是将薄的系列的平面波导(358)构造为相对于较大的基板结构356悬臂的另一实施例。在一个变体中,基板356可被移动以产生平面波导相对于基板结构的循环运动(例如,以悬臂构件358的谐振频率)。在另一变体中,悬臂波导部分358可相对于基板用压电或其它致动器致动。图像照明信息可例如从被耦合到悬臂波导部分(358)中的基板结构的右侧(360)射入。在一个实施例中,基板356可以包括波导(例如具有如上所述的集成DOE配置),其被配置为以沿着其长度全内反射入射光360,然后将其重定向到悬臂波导部分358。当人注视着悬臂波导部分(358)并且通向后面的真实世界144时,平面波导被构造成使任何色散和/或聚焦随其平面形状因素的变化最小化。

在离散的聚合波前显示器的上下文中,使得针对眼睛的出射光瞳中的每个点产生一些角度多样性可能具有价值。换句话说,期望具有多个入射光束以表示所显示图像中的每个像素。参考图13F-1和13F-2,获得进一步的角度和空间多样性的一种方法是使用多芯光纤并在出口点放置透镜,诸如GRIN透镜。这可使得出射光束通过单个节点366偏转。然后可以以扫描光纤类型的布置(诸如通过压电致动器368)来回扫描该节点366。如果视网膜共轭物位于在GRIN透镜的端部处限定的平面处,则可产生在功能上等同于上述一般情况离散化的聚合波前配置的显示器。

参考图13G,不是通过使用透镜,而是通过在光学系统372的正确共轭处扫描多芯系统的面以产生更高的角度和空间多样性的光束,可实现类似的效果。换句话说,不是具有多个单独扫描的光纤显示器(如上所述的图12A的成束示例中所示),而是可通过使用多芯来产生一些这种必要的角度和空间多样性,以产生可由波导中继的平面。参考图13H,多芯光纤362可被扫描(诸如通过压电致动器368)以产生具有多个入射角和多个交叉点的可通过波导370被中继到眼睛58的一组子束。因此,在一个实施例中,准直光场图像可被射入到波导中,并且没有任何附加的重聚焦元件,该光场显示可被直接平移到人眼。

图13I-13L描绘某些商业上可获得的多芯光纤362配置(来自诸如日本的三菱电缆工业株式会社的供应商),包括具有矩形横截面的一个变体363,以及具有平的出射面372和成角度的出射面374的变体。

参考图13M,可通过用线性显示器阵列378馈送的波导376(诸如扫描光纤显示器)来产生一些附加的角度多样性。

参考图14A-14F,该图描述了用于产生固定视点光场显示器的另一组配置。返回参考图11A,如果产生与从左边进入的所有小光束相交的二维平面,则每个子束将与该平面具有特定的交点。如果另一平面在左边不同的距离处产生,则所有子束将在不同位置与该平面相交。返回参考图14A,如果允许两个或更多个平面中的每一个上的各种位置选择性地传输或阻挡通过它的光辐射,则此多平面配置可被用于通过独立地调制各个子束来选择性地产生光场。

图14A的基本实施例示出两个空间光调制器,诸如液晶显示器面板(380、382)。在其它实施例中,空间光调制器可为MEMS百叶窗显示器或DLP DMD阵列。空间光调制器可被独立地控制以在高分辨率的基础上阻挡或透射不同的光线。例如,参考图14A,如果第二面板382阻挡或衰减在点“a”384处的光线的透射,则所有所描绘的光线将被阻挡。然而,如果只有第一面板380阻挡或衰减在点“b”386处的光线的透射,则只有下入射光线388将被阻挡/衰减,而其余的光线将向瞳孔45透射。

每个可控面板或平面可以被认为是“空间光调制器”或“fatte”。通过一系列SLM传递的每个透射光束的强度将是各SLM阵列中各像素的透明度的组合的函数。因此,没有任何类型的透镜元件,可使用多个堆叠的SLM来产生具有多个角度和交点(或“光场”)的一组子束。超过两个的附加数量的SLM提供控制哪些光束被选择性地衰减的更多机会。

如上所述,除了使用作为SLM的堆叠液晶显示器之外,来自DLP系统的DMD装置的平面可以被堆叠以用作SLM。在一或多个实施例中,由于它们更有效地传递光的能力(例如,通过在第一状态下的反射镜元件,至眼睛途中的下一元件的反射率可为非常有效;通过处于第二状态的反射镜元件,反射镜角度可被移动诸如12度的角度,以将光引导离开至眼睛的路径),因此,它们比液晶系统更优选作为SLM。

参考图14B,在一个DMD实施例中,两个DMD(390、390)可在潜望镜类型配置中与一对透镜(394、396)串联使用,以保持将真实世界144的光大量传送到用户的眼睛58。图14C的实施例提供了在光束被路由到眼睛58时,六个不同的DMD(402、404、406、408、410、412)平面机会来调解来自SLM功能,以及两个透镜(398、400)进行光束控制。

图14D示出具有多达四个用于SLM功能的DMD(422、424、426、428)和四个透镜(414、420、416、418)的更复杂的潜望镜型配置。该配置被设计成确保图像在其行进通过眼睛58时不会上下颠倒。图14E示出在显示器可通过“镜子厅”观看并且以基本上类似于图14A所示的模式操作的镜子厅类配置中,光可在中间没有任何透镜的两个不同的DMD器件(430、432)之间反射的实施例(上述设计中的透镜在用于合并来自真实世界的图像信息的此类配置中是有用的)。

图14F示出两个面对的DMD芯片(434、436)的非显示部分可用反射层覆盖以将光传播到DMD芯片的活动显示区域(438、440)和从DMD芯片的活动显示区域(438、440)传播的实施例。在其它实施例中,代替用于SLM功能的DMD,可以使用滑动MEMS百叶窗阵列(诸如可从诸如Qualcomm公司的分公司Pixtronics的厂商那里获得的)来传递或阻挡光。在另一实施例中,移开原来位置以呈现光透射孔的小百叶窗阵列可类似地聚合以用于SLM功能。

许多小子束(即,直径小于约0.5mm)的光场可被射入并通过波导或其它光学系统传播。例如,常规的“鸟池”(birdbath)型光学系统可适合于传输光场输入的光,或者如下所述的自由形式光学设计或任何数量的波导配置。

图15A-15C示出作为另一配置的楔形波导442与多个光源一起可用于产生光场的使用。参考图15A,光可以从两个不同的位置/显示器(444、446)被射入到楔形波导442中,并且将基于被注射到波导中的点,根据在不同角度448处的楔形波导的全内反射特性而出现。

参考图15B,如果创建显示器(例如扫描光纤显示器)的线性阵列450,如图所示被投射到波导的端部,则光束452的大的角度多样性将在一个维度上离开波导,如图15C所示。实际上,如果添加被射入到波导端部的另一线性显示器阵列,但是以稍微不同的角度,则可产生与图15C所示的但是在正交轴扇形展开的出射图案类似地出射的光束的角度多样性。这些光束一起可被用于产生在波导的每个位置离开的二维扇形光线。因此,呈现了用于使用一或多个扫描光纤显示器阵列(或者另选地,使用将满足空间要求的其它显示器,诸如小型化DLP投影配置)来产生角度多样性以形成光场显示器的另一种配置。

另选地,作为这里所示的楔形波导的输入,可使用SLM器件的堆叠。在此实施例中,不是如上所述的SLM输出的直接视图,来自SLM配置的光场输出可被用作对诸如图15C所示的配置的输入。应理解,尽管常规波导最适合于利用小直径准直光束的光场成功地中继准直光,但是由于光束大小/准直,在被射入到波导,例如楔形波导侧中时,可利用常规波导技术来进一步操控此光场系统的输出。

在另一相关实施例中,不是使用多个分离的显示器来投影,而是可使用多芯光纤来生成光场并将其射入到波导中。此外,时变光场可被用作输入,使得不是产生来自光场的小光束的静态分布,而是也可引入在方法上改变该组光束的路径的动态元素。这可以通过使用诸如具有嵌入式DOE的波导(例如诸如,上文参考图8B-8N所述的波导,或如参考图7B所述的液晶层)的产生两个光学路径的组件来实现。

一个路径为较小的全内反射路径,其中,液晶层被置于第一电压状态,以具有与另一基板材料失配的折射率,其引起仅沿另一基板材料的波导的全内反射。另一路径为较大的全内反射光路,其中,液晶层处于第二电压状态以具有与另一基板材料匹配的折射率,使得光通过包括液晶部分和另一基板部分的复合波导全内反射。

类似地,楔形波导可被构造成具有双模全内反射范例。例如,在一个变体中,楔形元件可被构造成使得当液晶部分被激活时,不仅间距改变,而且光束被反射的角度也改变。

扫描光显示器的一个实施例可被简单地表征为在扫描光纤的端部具有透镜的扫描光纤显示器。许多透镜类型是合适的,例如GRIN透镜,其可被用于准直光或将光聚焦到小于光纤模场直径的光斑,从而提供产生与光点大小成反比的数值孔径(或“NA”)增加和规避光学不变量的优点。

较小的光斑大小通常有助于从显示器角度来看更高的分辨率机会,这通常是优选的。在一个实施例中,GRIN透镜相对于光纤可足够长从而它可包括振动元件(例如,而不是通常的使用扫描光纤显示器的远端光纤尖端振动)。

在另一实施例中,可在扫描光纤显示器的出口端使用衍射透镜(例如,被图案化到光纤上)。在另一实施例中,曲面反射镜可定位在光纤的端部上以反射配置操作。已知准直和聚焦光束的基本上任何配置可被用在扫描光纤的端部以产生合适的扫描光显示器。

具有耦合到或包括扫描光纤的端部的透镜的两个显著效用(例如,与可使用非耦合透镜以在光退出光纤之后用于引导光的配置相比)为,(a)退出的光可被准直以避免使用其它外部光学器件这样做的需要,以及(b)可增加NA或者光从单模光纤纤芯的端部出射的锥角,从而减小光纤的相关光斑大小并增加显示器的可用分辨率。

如上所述,诸如GRIN透镜的透镜可被熔合或以其它方式耦合到光纤的端部,或者使用诸如抛光的技术从光纤端部的一部分形成。在一个实施例中,NA为约0.13或0.14的典型光纤可具有约3微米的光斑大小(也被称为给定数值孔径(NA)的光纤的“模场直径”)。考虑到工业标准显示器分辨率范例(例如,典型的微显示器技术,诸如LCD,或有机发光二极管或“OLED”,具有的光斑大小约为5微米),这提供了相对高分辨率的显示器的可能性。因此,上述扫描光显示器可具有为常规显示器可用最小像素间距的3/5的最小像素间距。此外,在光纤的端部使用透镜,前述配置可产生在1-2微米范围内的光斑大小。

在另一实施例中,不是使用扫描圆柱形光纤,而是可将波导的悬臂部分(诸如使用诸如掩模和蚀刻的微细加工工艺而不是抽出微纤维技术所产生的波导)放置成扫描振荡运动,并且可在出口端配有透镜。

在另一实施例中,可使用覆盖光纤的出口端的漫射器(例如,被配置为散射光并产生更大的NA的漫射器)来产生待扫描的光纤的增加的数值孔径。在一个变体中,漫射器可通过蚀刻光纤的端部以产生散射光的小点的地形来产生。在另一变体中,可使用珠或喷砂技术或直接砂磨/刮擦技术来产生散射地形。在另一变体中,可产生类似于衍射元件的工程化漫射器,以保持具有期望NA的清洁光斑大小。

参考图16A,该图示出光纤阵列454被耦合到耦合器456,耦合器456被配置为将它们保持平行在一起,使得它们的端部可以被研磨和抛光以具有与输入光纤的纵向轴线成临界角(458;例如,大多数玻璃为42度)的输出边缘,使得离开成角度面的光将如同它已经穿过棱镜一样离开,并且将弯曲并变得几乎平行于抛光面的表面。离开束中的光纤460的光束将变得叠加,但由于不同路径长度在纵向上异相(例如,参考图16B,用于不同芯的从成角度的出射面到聚焦透镜的路径长度的差异将是可见的)。

在从成角度面出来之前在束中的X轴类型的分离将成为Z轴分离。该事实有助于从此配置产生多焦点光源。在另一实施例中,不是使用成束/耦合的多个单模光纤,而是可对多芯光纤(诸如可从日本的三菱电缆工业株式会社获得的那些)进行角度抛光。

在一个实施例中,如果45度角被抛光到光纤中,然后被反射元件(例如镜面涂层)覆盖,则出射光可从抛光表面反射并从光纤侧面出射(在一个实施例中,在光纤的侧面中已产生平坦抛光的出射窗口的位置处),使得当光纤被扫描时,其在功能上在XY扫描的等价物中而不是在XY扫描中被扫描,其中,距离在扫描的过程期间变化。此配置也可被有利地用于改变显示器的焦点。

多芯光纤可被构造成在显示分辨率增强(例如,较高分辨率)中起作用。例如,在一个实施例中,如果单独的像素数据沿着多芯光纤中的19个芯的紧束发送,并且该簇以稀疏螺旋图案扫描,其中螺旋的间距近似等于多芯的直径,则扫描将有效地产生约为进行类似扫描单芯光纤的分辨率的19倍的显示分辨率。实际上,如图16C的具有7个簇464的配置中那样,将光纤布置成相对于彼此更稀疏地设置可能是更实际的。应理解,七个簇用于说明性目的,因为它是有效的平铺/十六进制图案,并且可利用其它图案或数字(例如,19个簇)。该配置可伸缩(向上或向下)3个光纤,每个光纤被容纳在导管462内。

利用如图16C所示的稀疏配置,与芯全部紧密地封装在一起并被扫描的配置相反,多芯的扫描通过其自身的局部区域来扫描每个芯。如果芯彼此过度靠近并且芯的NA不够大,则该芯可通过扫描重叠,非常紧密封装的芯可能导致彼此模糊,从而不会产生可辨别的用于显示的光斑。因此,为了分辨率增加,优选具有稀疏平铺而不是高度密集平铺,尽管可使用两种方法。

在多个芯(例如携带红色、绿色和蓝色光的三件套或三芯)被有意地密集封装在一起,使得每个三件套形成包括红、绿和蓝光特征的重叠光斑三件套的一个实施例中,密集封装的扫描芯可以在显示器上产生模糊的概念可被用作优点。利用此配置,能够具有RGB显示器,而不必将红色、绿色和蓝色组合成单模芯,这是有利的,这是因为用于将多个(诸如三个)小波的光组合为单芯的常规机构遭受光能的明显损失。

参考图16C,在一个实施例中,3个光纤纤芯的每个紧密簇包含中继红光的一个纤芯、中继绿光的一个纤芯以及中继蓝光的一个纤芯,其中,3个光纤纤芯足够靠近,使得它们的位置差异不能由后续中继光学器件分辨,从而形成有效叠加的RGB像素;因此,7个簇的稀疏平铺产生分辨率增强,而簇内的3个纤芯的紧密封装促进无缝色彩混合,而无需使用浮华的RGB光纤组合器(例如,使用波分复用或倏逝波耦合技术的那些RGB光纤组合器)。

参考图16D,在另一更简单的变体中,可仅具有被容纳在导管468中的一个簇464,其例如用于红色/绿色/蓝色(并且在另一实施例中,另一纤芯可被添加用于红外以用于诸如眼睛跟踪)。在另一实施例中,附加芯可被放置在紧密簇中以携带附加波长的光,以构成用于增加色域的多原色显示器。

参考图16E,在另一实施例中,可利用在导管466内的单芯稀疏阵列470(例如,在一个变体中,红色、绿色和蓝色沿着它们中的每一个组合在一起)。此配置是可行的,虽然对于分辨率增加有些不太有效,但是对于红/绿/蓝组合不是最佳的。

多芯光纤也可用于产生光场显示器。实际上,不是使多芯彼此足够分开,使得多芯不在显示器面板处扫描彼此的局部区域,如在上文创建扫描光显示器的语境中所述的,通过光场显示器,在密集封装的多个光纤上四处扫描可能是可取的。这是因为所产生的每个光束代表光场的特定部分。如果光纤具有小的NA,则从成束的光纤尖端出射的光可以相对较窄。

光场配置可以利用这一点并利用在解剖瞳孔处从阵列接收多个略微不同的光束的布置。因此,存在扫描多芯在功能上等同于单个扫描光纤模块的阵列的光学配置,并因此可通过扫描多芯而不是扫描一组单模光纤来产生光场。

在一个实施例中,多芯相控阵列方法可被用于产生大的出射光瞳可变波前配置以便于三维感知。上文描述了具有相位调制器的单个激光器配置。在多芯实施例中,相位延迟可被引入多芯光纤的不同通道中,使得单个激光器的光被射入到多芯配置的所有芯中,使得存在互相干。

在一个实施例中,多芯光纤可与透镜(诸如GRIN透镜)组合。此透镜可为例如折射透镜、衍射透镜或用作透镜的抛光边缘。透镜可为单个光学表面,或者可包括堆叠的多个光学表面。实际上,在具有延伸多芯的直径的单个透镜之外,例如,在来自多芯的芯的光的出射点处具有更小的小透镜阵列可能是可取的。图16F示出多芯光纤470向诸如GRIN透镜的透镜472发射多个光束的实施例。透镜将光束收集到透镜前面的空间中的焦点474。在许多常规配置中,离开多芯光纤的光束可为发散的。例如,GRIN或其它透镜被构造成用于将它们引导到单个点并且对它们进行准直,使得准直结果可被光场显示器扫描。

参考图16G,较小透镜478可被放置在多芯476配置的每个芯的前面,并且这些透镜可被用于准直光线。另外,共享透镜480可被构造成将准直光束聚焦到针对所有三个光斑被对准的衍射限制光斑482。通过如图所示将三个准直窄光束与窄NA组合在一起,可以有效地将所有三个准直窄光束组合成更大的发射角,在例如头戴式光学显示系统中,这转化为更小的光斑大小。

参考图16H,一个实施例的特征包括具有小透镜478阵列的多芯光纤476,其将光馈送到小棱镜阵列484,小棱镜阵列484将由各个芯生成的光束偏转到公共点。另选地,可相对于多芯使小透镜阵列移位,使得光被偏转并聚焦到单个点。此配置可被用于增加NA。

参考图16I,该图示出两步配置,其具有从多芯光纤476捕获光的小透镜478阵列,随后是将光束聚焦到单个点488的共享透镜486。此配置可被用于增加数值孔径。如上所述,较大的NA对应于较小的像素大小和较高的可能的显示分辨率。

参考图16J,诸如上述那些可以用耦合器456保持在一起的斜角光纤阵列,可以用诸如DLP系统的DMD模块的反射装置494扫描。利用耦合到阵列中的多个单光纤454或改为多芯,所叠加的光可以被引导通过一或多个聚焦透镜(490、492)以产生多焦点光束。利用阵列的叠加和成角度,不同光源位于距聚焦透镜不同距离处,这在光束从透镜492出射并且朝向用户的眼睛58的视网膜54引导时产生不同的聚焦水平。例如,最远的光路径/光束可被设置为代表光学无限远焦点位置的准直光束。更近的路径/光束可与更近焦点位置的发散球面波前相关联。

多焦点光束可被传递到扫描镜中,该扫描镜可被构造成产生多焦点光束的光栅扫描(或者例如李萨如曲线扫描图案或螺旋扫描图案),多焦点光束可穿过一系列聚焦透镜然后到眼睛的角膜和晶状体。从透镜出射的各种光束产生被叠加的不同焦距的不同像素或体素。

在一个实施例中,可在前端处将不同的数据写入每个光调制通道,从而产生用一或多个聚焦元件投影到眼睛的图像。通过改变晶状体的焦距(例如,通过适应),可使不同的进入像素进入和离开焦点,如图16K和16L所示,其中,晶状体处于不同的Z轴位置。

在另一实施例中,光纤阵列可由压电致动器致动/移动。在另一实施例中,当压电致动器被激活时,相对薄的带状阵列可沿垂直于阵列光纤的布置的轴(例如,在薄带的方向上)以悬臂形式谐振。在一个变体中,可使用单独的压电致动器来在正交长轴上产生振动扫描。在另一实施例中,在光纤带谐振地振动时,单个镜轴扫描可被用于沿着长轴进行慢扫描。

参考图16M,扫描光纤显示器498的阵列496可被有利地成束/平铺以有效地提高分辨率。可以预期,通过此配置,束的每个扫描光纤被构造成写入图像平面500的不同部分,例如如图16N所示。现在参考图16N,图像平面的每个部分通过来自至少一个束的发射来处理。在其它实施例中,可利用在光束离开光纤时,允许光束轻微放大,使得在撞击显示器平面的六边形或其它栅格图案中存在一些重叠的光学配置。这可允许更好的填充因子,同时还在图像平面中保持足够小的光斑大小,同时在该图像平面中保持精细的放大率。

不是在每个被扫描的光纤外壳壳体的端部处利用各个透镜,在一个实施例中,可使用单片小透镜阵列,使得透镜可被布置为尽可能紧密地封装。这允许在图像平面中甚至更小的光斑大小,因为可在光学系统中使用较低的放大率。因此,光纤扫描显示器阵列可被用于增加显示器的分辨率,或者换句话说,它们可被用于增加显示器的视场,因为每个引擎被用于扫描视场的不同部分。

对于光场配置,在图像平面处的发射可更理想地重叠。在一个实施例中,可使用在空间中扫描的多个小直径光纤来产生光场显示器。例如,代替如上所述所有光纤处理图像平面的不同部分,该配置可允许更多重叠(例如,更多的光纤向内成角度等)。或者,在另一实施例中,可改变透镜的光焦度,使得小的光斑大小不与平铺的图像平面配置共轭。此配置可被用于产生光场显示器,以扫描在相同物理空间中被截获的多个较小直径光线。

返回参考图12B,该图论述了产生光场显示器的一种方式,其涉及使得左侧的元件的输出与窄光束准直,然后使投射阵列与右侧的眼睛光瞳共轭。

参考图16O,使用公共基板块502,单个致动器可被用来一致地致动多个光纤506,这类似于上面参考图13-C-1和图13-C-2所论述的配置。实际上可能难以使所有光纤保持相同的共振频率、以期望的彼此相位关系振动或者具有相对于基板块相同的悬臂尺寸。为了解决该挑战,光纤的尖端可机械耦合于格栅(lattice)或片504,诸如非常薄、刚性和重量轻的石墨烯片。利用此耦合,整个阵列可类似地振动并具有相同的相位关系。在另一实施例中,可使用碳纳米管矩阵来耦合光纤,或者可将一片非常薄的平面玻璃(诸如用于产生液晶显示面板的类型)耦合到光纤端部。此外,可使用激光或其它精密切割装置将所有相关联的光纤切割成相同的悬臂长度。

参考图17,在一个实施例中,具有与角膜直接接口并且被构造成便于眼睛聚焦在相当近(诸如在角膜和眼镜镜片之间的典型距离)的显示器上的接触透镜是可取的。在一个变体中,透镜可包括选择性滤光器,而不是将光学透镜作为接触透镜。图17描绘了曲线图508或“陷波滤波器”,由于其设计仅阻挡某些波长带,诸如450nm(峰值蓝色)、530nm(绿色)和650nm,并且通常通过或透射其它波长。在一个实施例中,可聚集多层介电涂层以提供陷波滤波功能。

此滤波配置可以与产生非常窄的红色、绿色和蓝色的带照明的扫描光纤显示器耦合,并且具有陷波滤波的接触透镜将阻挡来自显示器的所有光(被安装在通常由眼镜镜片占据的位置中的诸如小型显示器,例如OLED显示器)。

可在接触透镜过滤层/膜的中间产生窄针孔,使得小孔径(例如,小于约1.5mm直径)允许本来会被阻挡的波长通过。因此,产生针孔透镜配置,其以仅针对红色、绿色和蓝色的针孔方式起作用,以用于从小型显示器捕获图像,而通常来自真实世界的光(其通常是宽带照明)将相对畅通地穿过接触透镜。因此,可组装和操作大焦深虚拟显示器配置。在另一实施例中,从波导出射的准直图像在视网膜处是可见的,这是因为针孔大焦深配置。

产生可以随时间改变其焦深的显示器可能是有用的。例如,在一个实施例中,显示器可被构造成具有不同的显示模式,这些显示模式可由操作者选择(优选地在操作者的命令下在两者之间快速切换),诸如将非常大的焦深与小的出射光瞳直径组合的第一模式(例如,使得一切都在所有时间处于聚焦),以及特征包括更大的出射光瞳和更窄的焦深的第二模式。

在操作中,如果用户要玩具有在许多景深处被感知的对象的三维视频游戏,则操作者可选择第一模式。另选地,如果用户使用二维文字处理显示器配置来键入长的文章(例如,在相对长的时间段内),则切换到第二模式以具有方便的更大的出射光瞳和更清晰的图像是更可取的。

在另一实施例中,具有多焦深显示器配置是可取的,其中,一些子图像以大的焦深呈现,而其它子图像以小的焦深呈现。例如,一种配置可具有呈现有非常小的出射光瞳的红色波长和蓝色波长通道,使得它们总是在聚焦。然后,绿色通道可呈现为具有多个深度平面的大出射光瞳配置(例如,因为人的适应系统倾向于优先瞄准绿色波长以优化聚焦水平)。

因此,为了降低与包括太多元素以用红色、绿色和蓝色的全深度平面表示相关联的成本,绿色波长可被优先化并且用各种不同的波前水平表示。红色和蓝色可被降级为用更多的麦克斯韦方法表示(并且如上文参考麦克斯韦显示器所述,可使用软件来诱导高斯模糊水平)。此显示器将同时呈现多个焦深。

如上所述,存在具有较高密度的光传感器的视网膜的部分。例如,中央凹部分通常填充有每视觉度约120个锥体。过去已经产生了使用眼睛或注视跟踪作为输入的显示系统,并且通过仅基于人在当时注视的位置来产生真实的高分辨率呈现来节省计算资源。然而,较低分辨率呈现被呈现给视网膜的其余部分。在此配置中,高分辨率部分和低分辨率部分的位置可被动态地随动于所跟踪的注视位置,这可以被称为“中央凹显示”。

对此类配置的改进可包括具有可被动态随动于所跟踪的眼睛注视的图案间隔的扫描光纤显示器。例如,利用以螺旋图案操作的典型扫描光纤显示器,如图18所示(图18中的图像的最左部分510示出扫描多芯光纤514的螺旋运动图案;图18中的图像的最右部分512示出用于比较的扫描单光纤516的螺旋运动图案),恒定的图案间距提供了均匀的显示器分辨率。

在中央凹显示配置中,可利用非均匀的扫描间距,其中,更小/更紧密的间距被动态地随动到所检测到的注视位置(并因此更高的分辨率)。例如,如果检测到用户的注视朝向显示器屏幕的边缘移动,则螺旋可在此位置更密集地聚类,这将产生用于高分辨率部分的圆环式扫描图案,并且显示器的其余部分处于较低分辨率模式。在较低分辨率模式下在显示器的部分中可产生间隙的配置中,可有意地和动态地产生模糊以平滑扫描之间的转变以及从高分辨率到较低分辨率扫描的转变。

术语光场可被用于描述从对象行进到观察者的眼睛的光的体积3D表示。然而,光学透视显示器仅能将光反射到眼睛,而不是不存在光,并且来自真实世界的环境光将添加给表示虚拟对象的任何光。也就是说,如果呈现给眼睛的虚拟对象包含黑色或非常暗的部分,则来自真实世界的环境光可穿过该暗部分并且模糊了该部分旨在是暗的。

然而,可取的是能够在明亮的真实背景下呈现暗的虚拟对象,并且该暗的虚拟对象看起来占据在期望的观看距离处的体积;例如,产生该暗虚拟对象的“暗场”表示是有用的,其中,光的缺失被感知为位于空间中的特定点。至于遮挡元件和至用户眼睛的信息呈现,使得他或她可以感知虚拟对象的暗场方面,即使在良好照明的实际环境中,前述空间光调制器或“SLM”配置的某些方面是恰当的。

如上所述,对于诸如眼睛的光感测系统,用于选择性地感知暗场的一种方法是选择性地衰减来自显示器的此类部分的光。换句话说,暗场不能被具体地投射――是缺乏照明可被感知为暗场。以下论述将呈现用于选择性衰减照明的各种配置。

返回参考SLM配置的论述,选择性地衰减暗场感知的一种方法是阻挡来自一个角度的所有光,同时允许来自其它角度的光被透射。如上所述,这可利用包括诸如液晶(由于其在透射状态时其相对低的透明度而可能不是最佳的)的元件、DLP系统的DMD元件(当处于此模式时,其具有相对高的透射率/反射率)以及被构造成可控地百叶窗式关闭或传递光辐射的MEMS阵列或百叶窗的多个SLM平面来实现。

关于合适的液晶显示器(“LCD”)配置,胆甾型LCD阵列可被用于受控的遮挡/阻挡阵列。与偏振状态作为电压的函数而改变的常规LCD范例相反,利用胆甾型LCD配置,颜料被结合到液晶分子,然后分子响应于所施加的电压而物理倾斜。此配置可被设计成当在透射模式中时比常规LCD实现更大的透明度,并且可不需要偏振膜的堆叠。

在另一实施例中,可利用多个可控中断图案层,以使用波纹效应可控地阻挡所选择的光呈现。例如,在一种配置中,可在足够近的距离处将两个衰减图案阵列(每个衰减图案阵列可包括例如印制或涂绘在诸如玻璃基板的透明平面材料上的细间距正弦波)呈现给用户的眼睛,使得在观看者单独观看两个衰减图案阵列中的任一个时,该视图基本上为透明的,但是如果观看者观看按顺序排列的两个图案,则观看者将看到空间拍频波纹衰减图案,即使当两个衰减图案相对靠近用户的眼睛按顺序放置。

拍频取决于两个衰减平面上的图案的间距,因此在一个实施例中,可使用两个顺序图案来产生用于选择性地阻挡用于暗场感知的某些光透射的衰减图案,其中,每个图案对于用户都将是透明的,但是它们串联在一起以产生被选择为根据AR系统中期望的暗场感知来衰减的空间拍频波纹衰减图案。

在另一实施例中,可使用多视图显示类型的遮蔽器来产生用于暗场效应的受控遮挡范例。例如,一种配置可包括除了小孔或针孔之外完全遮挡的一个针孔层,以及串联的选择性衰减层,其可包括LCD、DLP系统或其它选择性衰减层配置,例如如上所述。在一种情况下,利用被放置在距离角膜的典型眼镜镜片的距离处(距离约30mm)的针孔阵列,并且利用位于针孔阵列的与眼睛相对一侧的选择性衰减面板,可产生在空间中的尖锐机械边缘的感知。

实质上,如果配置将允许某些角度的光通过,并且其它角度的光被阻挡或遮挡,则可产生非常清晰的图案的感知,例如尖锐的边缘投影。在另一相关实施例中,针孔阵列层可用第二动态衰减层代替以提供稍微类似的配置,但具有比静态针孔阵列层(静态针孔层可以被模拟,但不是必须)更多的控制。

在另一相关实施例中,针孔可用圆柱形透镜代替。可实现与针孔阵列层配置中相同的遮挡图案,但是对于圆柱形透镜,阵列不限于非常小的针孔几何形状。为了防止在观看现实世界时由于透镜而引起的眼睛的扭曲显示,可在与最接近眼睛的侧面相对的孔径或透镜阵列的侧面上添加第二透镜阵列,以补偿和提供基本上采用零屈光度望远镜配置的透视照明。

在另一实施例中,不是物理地阻挡光以遮挡和产生暗场感知,光可被弯曲或重定向。或者,如果利用液晶层,则可改变光的偏振。例如,在一个变体中,每个液晶层可用作偏振旋转器,使得如果图案化的偏振材料被结合在面板的一个面上,则可选择性地操控来自真实世界的各个光线的偏振,使得它们捕获图案化偏振器的一部分。存在本领域中已知的具有棋盘图案的偏振器,其中,“棋盘盒”的一半具有垂直偏振,而另一半具有水平偏振。此外,如果使用诸如偏振可被选择性地操控的液晶的材料,则光可通过该材料被选择性地衰减。

如上所述,选择性反射器可提供比LCD更大的透射效率。在一个实施例中,如果放置透镜系统,使得从真实世界进入的光被聚焦在图像平面上,并且如果DMD(例如,DLP技术)被放置在该图像平面处,以在处于“开”状态时将光反射朝向将光传递到眼睛的另一组透镜,并且那些透镜在其焦距处也具有DMD,则可产生针对眼睛聚焦的衰减图案。换句话说,DMD可在零放大望远镜配置(例如图19A所示)中的选择性反射器平面中使用,以可控地遮挡和促进产生暗场感知。

如图19A所示,透镜(518)正在从真实世界144获取光并将其向下聚焦到图像平面520。如果DMD(或其它空间衰减装置)522被放置在透镜的焦距(例如,在图像平面520处),则透镜518利用来自光学无限远的光并将其聚焦到图像平面520上。然后,空间衰减器522可被用于选择性地阻止要衰减的内容。

图19A示出透射模式中的衰减器DMD,其中,它们穿过被示出为穿过该器件的光束。然后将图像放置在第二透镜524的焦距处。优选地,两个透镜(518、524)具有相同的焦度,使得来自真实世界144的光不被放大。此配置可被用于呈现世界的未放大视图,同时还允许某些像素的选择性阻塞/衰减。

在另一实施例中,如图19B和19C所示,可添加附加的DMD,使得光在传送到眼睛之前从四个DMD(526、528、530、532)中的每一个反射。图19B示出了具有两个透镜的实施例,两个透镜优选地具有彼此以2F的关系放置(第一透镜的焦距与第二透镜的焦距共轭)的相同的焦度(焦距“F”)以具有零屈光度望远镜效应;图19C示出没有透镜的实施例。在图19B和19C的所示实施例中,出于简单说明的目的,四个反射面板(526、528、530、532)的定向角度被示为约45度,但是可能需要特定的相对取向(例如,在一或多个实施例中,典型的DMD以大约12度的角度反射)。

在另一实施例中,面板也可为铁电的,或者可为任何其它种类的反射或选择性衰减器面板或阵列。在类似于图19B和19C中所描绘的实施例的一个实施例中,三个反射器阵列中的一个可为简单的反射镜,使得其它3个为选择性衰减器,因此仍然提供三个独立的平面以可控地遮挡入射照明的部分,以促进暗场感知。通过具有串联的多个动态反射衰减器,可产生相对于真实世界的不同光学距离的掩模。

另选地,返回参考图19C,可产生一或多个DMD被放置在没有任何透镜的反射式潜望镜配置中的配置。此配置可在光场算法中驱动,以选择性地衰减某些光线,而其它光线通过。

在另一实施例中,可在与通常不透明的基板相反的透明基板上产生可控移动器件的DMD或类似的矩阵,以用于诸如虚拟现实的透射配置。

在另一实施例中,两个LCD面板可被用作光场遮挡器。在一个变体中,因为两个LCD面板具有如上所述的衰减能力,因此两个LCD面板可被认为是衰减器。另选地,它们可被认为是具有共享的偏振器叠层的偏振旋转器。合适的LCD可包括诸如蓝相液晶、胆甾液晶、铁电液晶和/或扭曲向列液晶的组分。

一个实施例可包括方向选择性遮挡元件的阵列,诸如特征包括一组百叶窗的MEMS装置,百叶窗可以改变旋转,使得来自特定角度的大部分光通过,但是以宽面被呈现给来自不同角度的光的方式。这有点类似于百叶窗可与典型的人类规模窗口一起使用的方式。MEMS/百叶窗配置可被放置在光学透明基板上,而百叶窗基本上是不透明的。

理想地,此配置将包括足够精细的百叶窗间距,以在逐个像素的基础上选择性地遮挡光。在另一实施例中,可组合两层或更多层的百叶窗或百叶窗叠层以提供进一步的控制。在另一实施例中,百叶窗可为被构造成在可控可变的基础上改变光的偏振状态的偏振器,而不是选择性地阻挡光。

如上所述,用于选择性遮挡的另一实施例可包括MEMS装置中的滑动面板阵列,使得滑动面板可被可控地开启(例如,通过以平面方式从第一位置滑动到第二位置;或通过旋转从第一取向转到第二取向;或例如,组合的旋转重新定向和位移)以使光透射通过小镜架或孔,并且可控地闭合以遮挡镜架或孔并防止透射。阵列可被构造成开启或遮挡各种镜架或孔,使得待衰减的光线最大程度地衰减,并且待透射的光线仅被最小程度地衰减。

在固定数量的滑动面板可占据遮挡第一孔并开启第二孔的第一位置或遮挡第二孔并开启第一孔的第二位置的实施例中,可总是存在相同量的总透射光(因为使用此配置,50%的孔被遮挡,而另外50%的孔被开启),但是百叶窗或门的局部位置变化可使用各种滑动面板的动态定位产生用于暗场感知的目标波纹或其它效应。在一个实施例中,滑动面板可包括滑动偏振器。如果滑动面板与其它偏振元件以堆叠配置放置,则面板可为静态的或动态的,并且可被用于选择性地衰减。

参考图19D,该图示出诸如通过DMD类型的反射器阵列(534)提供选择性反射的机会的另一配置,使得两个波导(536、538)以及一对聚焦元件(540、542)和反射器(534;诸如DMD)的堆叠组可被用于通过入口反射器(544)捕获入射光的一部分。反射光可沿着第一波导(536)的长度全内反射到聚焦元件(540)中,以使光聚焦在诸如DMD阵列的反射器(534)上。DMD可选择性地衰减和反射回一部分光通过聚焦透镜(542;被构造成便于将光注回到第二波导中的透镜),并且进入第二波导(538)中,以便全内反射到出射反射器(546),该出射反射器被构造成将光从波导朝向眼睛58出射。

此配置可具有相对薄的形状因子,并且可被设计为允许来自真实世界144的光被选择性地衰减。由于波导使用准直光最干净地工作,所以此配置可很好地适用于焦距在光学无限远的范围内的虚拟现实配置。对于更近的焦距,光场显示器可被用作由上述选择性衰减/暗场配置所产生的轮廓顶部的层,以向用户的眼睛提供光来自另一焦距的其它提示。在另一实施例中,遮挡掩模可能失焦,甚至不希望如此。在另一实施例中,可使用掩蔽层顶部上的光场,使得用户不检测暗场可能处于错误的焦距。

参考图19E,示出的实施例特征在于具有两个波导(552、554),每个波导具有两个成角度的反射器(558、544和556、546),出于说明性目的以大约45度示出。应理解,在实际配置中,角度可根据反射表面、波导的反射/折射特性等而不同。成角度反射器将从真实世界进入的光的一部分引导到第一波导的每一侧(或者如果顶层不是单片的,则沿着两个单独的波导向下引导),使得其撞击每一端处的反射器(548、550),诸如可被用于选择性衰减的DMD。反射光可被反射回到第二波导(或者如果底层不是单片的话则被射入到两个单独的波导中),并且返回朝向两个成角度的反射器(再次地,它们不必是如图所示的45度),以朝向眼睛射出58。

聚焦透镜也可被放置在每个端部处的反射器和波导之间。在另一个实施例中,每端的反射器(548、550)可包括标准反射镜(诸如,铝化反射镜)。此外,反射器可为波长选择反射器,诸如二向色反射镜或膜干涉滤光器。此外,反射器可为被构造成反射入射光的衍射元件。

图19F示出使用棱锥型配置的四个反射表面来引导光通过两个波导(560、562)的配置,其中,来自真实世界的入射光可被分割并反射到四个差分轴。棱锥形反射器(564)可具有多于四个面,并且可驻留在基板棱镜内,如图19E的配置的反射器那样。图19F的配置为图19E的配置的扩展。

参考图19G,可利用单个波导(566)通过一或多个反射表面(574、576、578、580、582)捕获来自世界144的光,将其中继到选择性衰减器(568;诸如DMD阵列),并将其重新耦合回同一波导,使得其传播572并遇到一或多个其它反射表面(584、586、588、590、592),这导致其在朝向用户的眼睛58的路径上至少部分地离开(594)波导。优选地,波导包括选择性反射器,使得一组(574、576、578、580、582)可被接通以捕获入射光并将其引导到选择性衰减器,而分开的另一组(584、586、588、590、592)可被接通以朝向眼睛58出射从选择性衰减器返回的光。

为了简单起见,选择性衰减器被示为基本上垂直于波导取向;在其它实施例中,可使用各种光学部件,诸如折射或反射光学器件,以相对于波导的不同且更紧凑的取向来使选择性衰减器平面化。

参考图19H,该图示出参考图19D所述的配置的变体。该配置在某种程度上类似于上面参照图5B所论述的,其中,反射器的可切换阵列可被嵌入在一对波导(602、604)的每一个内。参考图19H,控制器可被配置为依次开启和闭合反射器(598、600),使得多个反射器在帧顺序的基础上操作。然后,DMD或其它选择性衰减器(594)也可与被开启和闭合的不同反射镜同步地按顺序驱动。

参考图19I,在侧视图或截面图中示出了与上述类似(例如,参考图15A-15C)的一对楔形波导,以说明每个楔形波导(610、612)的两个长表面不是共面的。可在楔形波导的一或多个表面上使用“转向膜”(606、608;诸如可从3M公司以商品名“TRAF”获得,其实质上包括微棱镜阵列),以使得光线将被全内反射捕获的角度使入射光线转向,或者将离开波导的向外光线重定向到眼睛或其它目标。入射光线被沿第一楔形引导并朝向选择性衰减器614,诸如DMD、LCD(诸如铁电LCD)或用作掩模的LCD叠层。

在选择性衰减器(614)之后,反射光被耦合回第二楔形波导,然后第二楔形波导通过沿着楔形的全内反射来中继光。楔形波导的特性有意地使得光的每次反射引起角度变化。角度已经变化到足以逃脱全内反射的临界角的点成为楔形波导的出射点。通常,出口将处于倾斜角。因此,另一层转向膜可被用于将出射光“转向”诸如眼睛58的目标对象。

参考图19J,几个弓形小透镜阵列(616、620、622)相对于眼睛定位并且被构造成使得空间衰减器阵列618被定位在焦点/图像平面处,使得其可以与眼睛58对焦。第一阵列616和第二阵列620被构造成使得在聚合中,从真实世界传递到眼睛的光基本上通过零屈光度望远镜。图19J的实施例示出可被用于改进的光学补偿的小透镜的第三阵列622,但是一般情况不需要此第三层。如上所述,使用具有观察光学器件的直径的望远镜头可能产生不期望的大形状因子(有点类似于在眼睛前面具有一束小双眼望远镜集合)。

优化整体几何形状的一种方式是通过将它们分成更小的小透镜来减小透镜的直径,如图19J所示(例如,透镜阵列而不是单个大透镜)。小透镜阵列(616、620、622)被示为围绕眼睛58径向或弧形地包围,以确保进入瞳孔的光束通过适当的小透镜对准(否则系统可能遭受光学问题,诸如色散、混叠和/或缺乏焦点)。因此,所有小透镜被取向为“内束”(toed in)并且指向眼睛58的瞳孔,并且该系统便于避免光线在到瞳孔的路线上通过非预期的透镜组传播的情况。

参考图19K-19N,可使用各种软件方法来帮助在虚拟或增强现实置换场景中呈现暗场。参考图19K,该图描绘了增强现实的典型挑战性场景632,其具有纹理化地毯624和非均匀背景建筑特征626,并且两者都是浅色的。所描绘的黑盒628指示显示器的区域,其中,一或多个增强现实特征被呈现给用户以获得三维感知,并且在黑盒中呈现机器人生物630,例如,其为用户参与的增强现实游戏的一部分。在所描述的示例中,机器人角色630是深色的,这使得在三维感知中具有挑战性的呈现,特别是对于该示例场景所选择的背景。

如上面简要论述的,呈现暗场增强现实对象的主要挑战之一在于系统通常不能添加或绘制“黑暗”――通常显示器被构造成添加光。因此,参考图19L,如果没有任何专门的软件处理来增强暗场感知,在增强现实视图中呈现机器人角色会产生这样的场面,其中机器人角色在呈现中将基本上是全黑的部分是不可见的,并且将具有一些照明的机器人角色的部分(诸如机器人角色的轻便抛绳枪的浅色颜料的套子)仅略微可见(634)。这些部分可能看起来几乎像对本来正常背景图像的轻灰度破坏。

参考图19M,使用基于软件的全局衰减处理(类似于数字地戴一副太阳镜)提供了对机器人角色的增强可见性,因为近黑色机器人角色的亮度相对于空间的其余部分有效地增加,该其余部分现在看起来更黑暗640。图19M还示出了数字添加的光晕636,其可被添加以增强现在更多可见的机器人角色形状638并使其与背景区分。通过光晕处理,通过与白光晕或在机器人角色周围呈现的“光环”形成对比,甚至将被呈现为平黑的机器人角色的部分变得可见。

优选地,光晕可以以在三维空间中在机器人角色的焦距之后的感知焦距呈现给用户。在单个面板遮挡技术(诸如上文所述的那些技术)被用于呈现暗场的配置中,光晕可呈现为具有强度梯度以匹配可伴随遮挡的暗晕,从而最小化暗场效应的可见性。此外,光晕可呈现为对所呈现的光晕照明背后的背景的模糊,以进一步区分效果。通过至少部分地匹配相对浅色的背景的颜色和/或亮度,可产生更微妙的光环或光晕效应。

参考图19N,机器人角色的一些或所有黑色色调可被改变为暗的、冷的蓝色,以提供相对于背景的进一步区分效果以及机器人642的相对良好的可视化。

楔形波导已在上面诸如参考图15A-15D和图19I进行了描述。楔形波导的关键方面在于,每当光线从非共面表面之一反射时,产生角度的变化,这最终致使当光线接近表面之一的角度大于临界角时,以全内反射出射。转向膜可被用于重新定向出射光,使得出射光束以更多或更少垂直于出射表面的轨迹离开,这取决于发挥作用的几何和人体工程学问题。

利用将图像信息射入到楔形波导中的显示器系列或阵列,例如如图15C所示,楔形波导可被构造成产生从楔形出射的角偏离光线的精细间距阵列。有点类似地,上面已经论述了光场显示器或产生可变波前的波导,两者都可产生多个子束或光束以表示空间中的单个像素,使得无论眼睛位于何处,眼睛都被多个不同的小光束或光束击中,上述小光束或光束对于在显示面板前面的特定眼睛位置是唯一的。

如上面在光场显示器的语境中进一步论述的,可在给定光瞳内产生多个观看区,并且每个观看区可被用于不同的焦距,其中,聚合产生与形成可变波前的波导的感知类似的感知,或类似于所观察的对象的实际光学物理学现实是真实的感知。因此,可利用具有多个显示器的楔形波导来产生光场。在类似于图15C的实施例的具有射入图像信息的显示器的线性阵列的实施例中,为每个像素产生出射扇形光线。该概念可在多个线性阵列被堆叠以将图像信息全部射入到楔形波导中的实施例中扩展(在一个变体中,一个阵列可相对于楔形波导面以一个角度射入,而第二阵列可以以相对于楔形波导面的第二角度射入),在此情况下,出射光束在两个轴线上从楔形物扇出。

因此,此配置可被用于产生在多个不同角度出射的多个光束,并且因为在此配置下,每个光束使用单独的显示器来驱动,每个光束可被单独地驱动。在另一实施例中,一或多个阵列或显示器可被构造成通过楔形波导的不同于图15C所示的侧面或面将图像信息射入到楔形波导中,诸如通过使用衍射光学器件将所射入的图像信息弯曲到相对于楔形波导的全内反射构造中。

也可与此楔形波导实施例一起使用各种反射器或反射表面,以输出耦合并管理来自楔形波导的光。在一个实施例中,可使用至楔形波导的入口孔或通过不同于图15C所示的不同面射入图像信息,以促进不同显示器和阵列的交错(几何的和/或时间上的),使得Z轴差量也可被开发为用于将三维信息射入到楔形波导中的装置。对于大于三维阵列的配置,各种显示器可被构造成在多个堆叠中的多个边缘处以交错的方式进入楔形波导,以获得更高的维度配置。

参考图20A,该图示出类似于图8H中所描绘的配置,其中,波导646具有夹在中间的衍射光学元件(648;或“D0E”,如上所述)(或者如上所述,衍射光学元件可驻留在所描绘的波导的前面或背面上)。光线可从投影仪或显示器644进入波导646。一旦在波导646中,每次光线与DOE648相交时,光线的一部分从波导646射出。

如上所述,DOE可被设计成使得跨波导646的长度的出射照度在某种程度上是均匀的。例如,第一此DOE交叉点可被构造成射出约10%的光。然后,第二DOE交叉点可被构造成射出剩余光的约10%,使得81%被传递,等等。在另一实施例中,DOE可被设计成包括沿其长度可变的衍射效率,诸如线性下降的衍射效率,以跨波导长度映射出更均匀的出射照度。

为了进一步分布到达端部的剩余光(并且在一个实施例中,为了允许选择从视野到世界透明度的视角将是有利的相对低的衍射效率的DOE),在一个或两个端部可包括反射元件(650)。此外,参考图20B的实施例,可通过包括跨如图所示的波导长度的细长反射器652(包括例如波长选择性的薄膜二向色涂层)来实现附加分布和保存;优选地,此反射器将阻挡意外地向上反射的光(返回到真实世界144,以使其不被观看者利用的方式退出)。在一些实施例中,此细长反射器可有助于用户的“重影”效果感知。

在一个实施例中,可通过具有双波导(646、654)循环反射配置(例诸如图20C中所示的配置)来消除该重影效应,该循环反射配置被设计为保持光移动直到它已经优选以跨波导组件的长度基本上相等分布的方式朝向眼睛58射出。参考图20C,光可用投影仪或显示器644射入,并且当其行进跨过第一波导654的DOE 656时,其向眼睛58射出优选基本上均匀的光图案。保留在第一波导中的光由第一反射器组件660反射到第二波导646中。在一个实施例中,第二波导646可以被构造成不具有DOE,使得其仅使用第二反射器组件将剩余的光投射或再循环回到第一波导。

在另一实施例中(如图20C所示),第二波导646也可具有被构造成均匀地射出行进光的一部分以提供用于三维感知的第二焦平面的DOE648。与图20A和20B的配置不同,图20C的配置被设计为用于光沿波导的一个方向行进,这避免了与使光通过具有DOE的波导向后传播有关的前述重影问题。参考图20D,不是在用于再循环光的波导的端部处包括反射镜或箱式反射器组件660,而是可使用较小回射器662的阵列或回射材料。

参考图20E,该图示出的实施例为,利用图20C的实施例的一些光再循环配置,以在光已经通过显示器或投影仪644射入之后,通过具有夹层DOE 648的波导646向下“蛇行”,使得光在到达底部之前来回地多次穿过波导646,在该点处,其可以被再循环回到顶部水平以用于进一步再循环。此配置不仅再循环光,并有助于使用相对较低衍射效率的DOE元件以用于朝向眼睛58射出光,而且还分布光,以提供类似于参考图8K所描述的大的出射光瞳配置。

参考图20F,该图示出类似于图5A的说明性配置,其中,入射光沿着常规棱镜或分束器基板104没有全内反射地(例如,没有将棱镜视为波导)射入到反射器102,因为输入投影106(扫描的或无扫描的)均被保持在棱镜的边界内。这意味着此棱镜的几何形状成为显著的约束。在另一实施例中,可使用波导代替图20F的简单棱镜,这有助于使用全内反射以提供更多的几何灵活性。

上述的其它配置被构造成受益于包含用于进行类似操控和光的波导。例如,返回参考图7A,该图示出的一般概念在于在也被设计为便于观看来自真实世界的光的配置中,被射入到波导中的准直图像可在被传送到眼睛之前被重新聚焦。代替图7A所示的折射透镜,衍射光学元件可被用作可变焦点元件。

返回参考图7B,该图示出在具有彼此堆叠的多个层的情况下的另一波导配置,其中,在更小的路径(通过波导全内反射)和更大的路径(通过包括原始波导和液晶隔离区的混合波导的全内反射,其中液晶被切换到折射率在主波导和辅助波导之间基本上匹配的模式)之间进行可控制的访问切换。这允许控制器能够在逐帧的基础上调整所采用的路径。高速开关电活性材料(诸如铌酸锂)利用此配置以大速率(例如,以GHz的量级)促进路径变化,这允许在逐像素的基础上改变光的路径。

返回参考图8A,该图示出与弱透镜配对的波导堆叠以展示透镜和波导元件可为静态的多焦点配置。每对波导和透镜可在功能上被具有嵌入式DOE元件的波导(其可以是静态的,更接近类似于图8A的配置,或动态的)来代替,诸如参考图8I所描述的。

参考图20G,如果使用透明棱镜或块104(例如,不是波导)来将反射镜或反射器102保持在潜望镜类型的配置中以接收来自其他部件(例如透镜662和投影仪或显示器644)的光,视场受反射器102的大小限制。

应理解,反射器越大,视场越宽。因此,为了适应具有此配置的更大的视场,可能需要更厚的基板来保持更大的反射器。否则,可利用聚合的多个反射器的功能来增加功能视场,如图8O、图8P和图8Q所示。参考图20H,可利用平面波导666的堆叠664,每个平面波导666由显示器或投影仪(644;或在另一实施例中,单个显示器的复用)馈送并且具有出射反射器668,以朝向较大的单反射器的功能聚合。出射反射器在一些情况下可以处于相同的角度,或者在其它情况下可处于不相同的角度,这取决于眼睛58相对于组件的定位。

图20I示出相关配置,其中,每个平面波导(670、672、674、676、678)中的反射器(680、682、684、686、688)已经彼此偏移。每个波导接收来自投影仪或显示器644的光,该投影仪或显示器644可通过透镜690发送,以最终通过每个平面波导(670、672、674、676、678)中的反射器(680、682、684、686、688)将出射光传输到眼睛58的瞳孔45。如果可产生期望在场景中看到的所有角度的总范围(例如,优选地在关键视场中没有盲点),则可实现有用的视场。

如上所述,眼睛58至少部分地基于光线进入眼睛的角度来起作用。这可以有利地模拟。光线不需要穿过瞳孔处的空间中的完全相同的点――而是光线仅需要穿过瞳孔并且被视网膜感测到。图20K示出变体692,其中光学组件的阴影部分可被用作补偿透镜,以使来自真实世界144的光功能性地通过组件,就像它已经通过零屈光度望远镜一样的。

参考图20J,上述光线中的每个也可为通过全内反射被反射通过相关波导(670、672)的相对宽光束。反射器(680、682)小面大小将确定出射光束的宽度。

参考图20L,该图示出反射器的进一步离散化,其中,多个小直角反射器可通过波导或其堆叠696在聚合体中形成大致抛物线形反射表面694。从显示器(例如,644;或单个多路复用显示器),诸如通过透镜690进入的光全部被引导朝向眼睛58的瞳孔45处的相同的共享焦点。

返回参考图13M,显示器的线性阵列378将光射入到共享波导376中。在另一实施例中,单个显示器可被多路复用到一系列入口透镜以提供与图13M的实施例类似的功能,其中,入口透镜产生穿过波导的平行光线路径。

在依赖全内反射进行光传播的常规波导方法中,视场受到限制,因为仅有一定角度范围的光线通过波导传播(其它光可能逸出)。在一个实施例中,如果将红/绿/蓝(或“RGB”)激光线反射器放置在类似于薄膜干涉滤光器的平面表面的一端或两端,则可在功能上增加光传播的角度范围,其中,薄膜干涉滤光器仅对于某些波长而言是高反射的,而对于其它波长是弱反射的。可提供窗(没有涂层)以允许光在预定位置射出。此外,可选择涂层以具有方向选择性(有点类似于仅对于某些入射角具有高反射性的反射元件)。此涂层可与波导的较大平面/侧面最相关。

返回参考图13E,该图论述了扫描光纤显示器的变体,其可被认为是扫描薄波导配置,使得多个非常薄的平面波导358可振荡或振动,使得如果各种射入光束通过全内反射射入,则该配置在功能上将提供从振动元件358的边缘逸出的光束的线性阵列。所描绘的配置在主介质或基板356中具有约五个向外伸出的透明的平面波导部分358,但是其优选具有不同的折射率,使得光将以全内反射保持在每个基板约束的较小波导内,并最终馈送至(在所描绘的实施例中,在每个路径中存在90度转向,在该点处可使用平面、弯曲或其它反射器将光向外传输)向外伸出的平面波导部分358。

向外伸出的平面波导部分358可单独振动,或者随着基板356的振荡运动一起振动。此扫描运动可提供水平扫描,并且对于垂直扫描,可利用组件的输入360方面(例如,诸如在垂直轴上扫描的一或多个扫描光纤显示器)。因此,呈现了扫描光纤显示器的变化。

返回参考图13H,波导370可被用于产生光场。通过利用从感知角度来说可能与光学无限相关联的准直光束最佳工作的波导,所有保持在焦点中的光束可能引起感知不适(例如,眼睛将不会在屈光模糊中产生作为适应的函数的可辨别的差异;换句话说,诸如如0.5mm或更小的窄直径准直子束可打开眼睛的适应/聚散系统的环路,从而引起不适)。

在一个实施例中,可以馈入具有多个出射锥形子束的单个光束,但是如果进入光束的引入向量改变(例如,相对于波导横向移动投影仪/显示器的光束射入位置),则可控制当光束指向眼睛时从波导射出的光束的位置。因此,可使用波导通过产生一束窄直径准直光束来产生光场,并且此配置不依赖于与眼睛处的期望感知相关联的光波前的真实变化。

如果一组角度及横向不同的小光束被射入到波导中(例如,通过使用多芯光纤并且分别驱动每个芯;另一种配置可利用来自不同角度的多个光纤扫描器;另一种配置可利用在其顶部具有小透镜阵列的高分辨率面板显示器),多个出射子光束可在不同的出射角度和出射位置处产生。由于波导可扰乱光场,所以优选地预先确定解码。

参考图20M和20N,该图示出波导646组件696,其包括在垂直或水平轴上堆叠的波导部件。波导组件696不是具有一个单片平面波导,而是将多个较小波导646堆叠成彼此直接相邻,使得引入到一个波导中的光除了(例如,沿着Z轴传播,在+X,-X全内反射)通过此波导通过全内反射向下传播之外,也在垂直轴(+y,-Y)上全内反射,使得它不会溢出到其它区域。

换句话说,如果在Z轴传播期间全内反射是从左到右和返回,则此配置将被设置为也完全内反射击中顶部或底部的任何光。每个层可被单独驱动而不受来自其它层的干扰。每个波导可具有被嵌入并构造成沿着波导的长度以预定的焦距配置(如图20M所示的范围从0.5米到光学无限远)射出具有预定分布的光的DOE 648。

在另一变体中,可产生具有嵌入式DOE的非常密集的波导堆叠,使得其横跨眼睛的解剖瞳孔的大小(例如,使得可能需要复合波导的多个层698来穿过出射光瞳,如图20N所示)。利用此配置,可馈送用于一个波长的准直图像,然后馈送位于下一毫米的部分,从而产生代表来自例如15米远的焦距的对象的发散波前,等等。这里的概念在于出射光瞳来自多个不同的波导,作为DOE和通过波导和跨越DOE的全内反射的结果。因此,此配置不是产生一个统一的出射光瞳,而是形成多个条纹,这些条纹在聚合时有助于用眼睛/大脑感知不同的焦深。

此概念可被扩展到包括具有可切换/可控的嵌入式DOE(例如,可切换到不同焦距)的波导的配置,诸如关于图8B-8N所描述的那些,其允许在跨每个波导的轴中更高效地捕捉光。多个显示器可被耦合到每个层中,并且具有DOE的每个波导将沿着其自身长度发射光线。在另一实施例中,不是依赖于全内反射,而是可以使用激光线反射器来增加角范围。在复合波导的层之间,可使用完全反射的金属化涂层,诸如铝,以确保全反射,或另选可使用二向色型或窄带反射器。

参考图20O,整个复合波导组件696可朝向眼睛58凹入地弯曲,使得每个单独的波导朝向瞳孔。换句话说,该配置可以被设计成更高效地将光引导向瞳孔可能存在的位置。此配置也可用于增加视场。

如上面关于图8L、8M和8N所论述的,可变衍射配置允许在一个轴上扫描,这在某种程度类似于扫描光显示器。图21A示出具有嵌入式(例如,夹在其中)的带有线性光栅项的DOE 700的波导698,线性光栅项可被改变以改变从波导出射光702的出射角,如图所示。可使用高频开关DOE材料,诸如铌酸锂。在一个实施例中,此扫描配置可被用作用于在一个轴上扫描光束的唯一机构;在另一实施例中,扫描配置可与其它扫描轴组合,并且可用于产生更大的视场。例如,如果正常视场为40度,并且通过改变线性衍射间距可以转向越过另一个40度,则系统的有效可用视场为80度。

参考图21B,在常规配置中,波导(708)可垂直于面板显示器704,诸如LCD或OLED面板放置,使得光束可从波导708通过透镜706射入,并进入面板704,在扫描配置中提供用于电视或其它目的的可视显示。因此,与参考图21A所述的配置相反,波导可在此配置中被用作扫描图像源,其中,单个光束可通过扫描光纤或其它元件来操控以扫过不同的角位置,并且此外,可使用高频衍射光学元件扫描另一方向。

在另一实施例中,单轴扫描光纤显示器(例如,当扫描光纤具有相对高的频率时,扫描快速行扫描)可被用于将快速行扫描射入到波导中,然后相对慢的DOE切换(例如,100Hz的范围)可被用于扫描另一轴中的行以形成图像。

在另一实施例中,具有固定间距的光栅的DOE可与具有动态折射率的相邻电活性材料层(诸如液晶)组合,使得光可以以不同的角度被重定向到光栅中。这是上面参考图7B所述的基本多路径配置的应用,其中,包括电活性材料例如液晶或铌酸锂的电活性层可改变其折射率,使得其改变光线从波导射出的角度。可将线性衍射光栅添加到图7B的配置(在一个实施例中,被夹在包括较大下波导的玻璃或其它材料内),使得衍射光栅可保持固定间距,但是使得光在它撞击光栅之前被偏置。

图21C示出特征包括两个楔形波导元件(710、712)的另一实施例,其中,它们中的一或多个可为电活性的,使得相关的折射率可被改变。这些元件可被构造成使得当楔具有匹配的折射率时,光全内反射通过该对(其在聚合时类似于具有两个楔匹配的平面波导来工作),而楔形界面没有效果。如果折射率中的一个被改变以产生失配,则在楔形界面714处引起束偏转,并且从该表面引起全内反射回到相关联的楔中。然后,具有线性光栅的可控DOE 716可沿着楔的长边缘之一耦合,以允许光以期望的出射角射出并到达眼睛。

在另一实施例中,诸如布拉格光栅的DOE可被构造成诸如通过光栅的机械拉伸(例如,如果光栅驻留在弹性材料上或包括弹性材料)、在两个不同平面上的两个光栅之间(光栅可为相同或不同的间距)的波纹拍频图案(moire beat pattern)、光栅的Z轴运动(例如,更靠近眼睛或更远离眼睛)来相对时间改变间距,其在功能上类似于拉伸光栅或者电活性光栅可被接通或关断的效果,诸如使用聚合物分散液晶方法产生的,其中,液晶微滴可被可控地激活以改变折射率从而变成活动光栅。这与关闭电压并允许切换回与主介质的折射率匹配的折射率形成对比。

在另一实施例中,时变光栅可被用于通过产生平铺显示配置来用于视场扩展。此外,可利用时变光栅来解决色差(在相同焦点处聚焦所有颜色/波长的失败)。衍射光栅的一个特性在于它们将作为光束入射角和波长的函数来偏转光束(例如,DOE将不同的波长偏转不同的角度:有点类似于简单棱镜将光束分离为其波长分量的方式)。

除视场扩展之外,可使用时变光栅控制来补偿色差。因此,例如,在如上所述的具有嵌入式DOE类型配置的波导中,DOE可被构造成将红色波长驱动到与绿色和蓝色略微不同的位置,以解决不期望的色差。通过具有开启和闭合的元件的堆叠(例如,使红色、绿色和蓝色类似地衍射出射),DOE可随时间变化。

在另一实施例中,时变光栅可被用于出射光瞳扩展。例如,参考图21D,具有嵌入式DOE 720的波导718可以相对于目标瞳孔定位,使得在基线模式中出射的光束实际上没有进入目标瞳孔45――使得相关像素被用户错过,这是可能的。可利用时变配置来通过横向移动出射图案(以虚线/点划线示出)来填充出射出口图案中的间隙,以有效地扫描5个出射光束中的每一个,以更好地确保它们中的一个击中眼睛的瞳孔。换句话说,显示系统的功能出射光瞳被扩展。

在另一实施例中,时变光栅可与用于一轴、两轴或三轴光扫描的波导一起使用。以类似于参考图21A所述的方式,可使用在垂直轴上扫描光束的光栅中的项,以及在水平轴上扫描的光栅。此外,如果结合了光栅的径向元件,如上面关于图8B-8N所论述的,则可在Z轴上(例如,朝向/远离眼睛)进行光束扫描,所有这些都可为时间-顺序扫描。

尽管本文中关于DOE的专门处理和使用的论述通常与波导结合,但是DOE的这些应用中的许多应用是有用的,无论DOE是否被嵌入波导中。例如,波导的输出可使用DOE单独操控。或者,可在光束被射入波导之前通过DOE来操控光束。此外,一或多个DOE,例如时变DOE可被用作用于自由形式光学配置的输入,如下面所论述的。

如上面参考图8B-8N所论述的,DOE的元件可具有圆对称项,其可与线性项相加以产生受控出射图案(例如,如上所述,输出耦合光的相同DOE也可聚焦它)。在另一实施例中,DOE衍射光栅的圆形项可被改变,使得表示相关像素的光束的焦点被调制。另外,一种配置可具有第二/单独的圆形DOE,从而避免在DOE中具有线性项的需要。

参考图21E,可具有输出准直光的没有嵌入式DOE元件的波导722,以及具有可在多个配置之间切换的圆对称DOE的第二波导――在一个实施例中,通过具有可被开启/闭合的此类DOE元件的堆叠724(图21F示出另一种配置,其中,DOE元件的功能堆叠728可包括聚合物分散的液晶元件726的堆叠,如上所述,其中,在没有施加电压的情况下,主介质折射率匹配液晶分散分子的折射率;在另一实施例中,可分散铌酸锂分子以具有更快的响应时间;通过施加电压,诸如通过在主介质的任一侧上的透明氧化铟锡层,分散的分子改变折射率,并且在功能上在主介质内形成衍射图案)。

在另一实施例中,圆形DOE可被层叠在波导的前面以用于聚焦调制。参考图21G,波导722输出准直光,除非另有修改,否则其将被感知为与光学无限远的焦深相关联。来自波导的准直光可被输入到衍射光学元件730中,衍射光学元件730可被用于动态聚焦调制(例如,可开启和断开不同的圆形DOE图案以向出射光赋予各种不同的聚焦)。在相关实施例中,静态DOE可被用于将从波导出射的准直光聚焦到可能对特定用户应用有用的单个焦深。

在另一实施例中,多个堆叠的圆形DOE可被用于附加屈光度和许多聚焦水平――来自相对少量的可切换DOE层。换句话说,可相对于彼此以各种组合开启三个不同的DOE层;可添加所开启的DOE的光屈光度。在需要高达4屈光度的范围的一个实施例中,例如,第一DOE可被构造成提供期望的总屈光度范围的一半(在该示例中,为焦点变化的2屈光度);第二DOE可被构造成引起焦点的1屈光度变化;则第三DOE可被构造成引起焦点的1/2屈光度变化。这三个DOE可被混合并匹配以提供1/2、1、1.5、2、2.5、3和3.5屈光度的焦点变化。因此,将不需要超大数量的DOE以获得相对宽范围的控制。

在一个实施例中,可切换DOE元件的矩阵可被用于扫描、视场扩展和/或出射光瞳扩展。通常在DOE的上述论述中,已假定典型的DOE为全开或全关。在一个变体中,DOE 732可被细分为多个功能子部分(诸如在图21H中标记为元件734的子部分),每个功能子部分优选地可被唯一控制为开或关(例如,参考图21H,每个子部分可通过其自身的返回到中央控制器的一组氧化铟锡或其它控制引线材料、电压施加引线736来操作)。给定对DOE范例的这种级别的控制,有利于附加的配置。

参考图21I,用户的眼睛位于波导的前面,从顶部向下观察,该图示出具有嵌入式DOE 740的波导738。给定像素可被表示为进入波导并且全内反射,直到可以被衍射图案射出以作为一组光束从波导射出的光束。根据衍射配置,光束可平行/准直(为了方便起见,如图211所示)射出,或者如果表示比光学无穷远更近的焦距,则在发散的扇形配置中。

所描绘的一组平行出射光束可表示例如当通过波导观察时用户在真实世界中看到的最左边的像素,并且到最右端的光将是不同组的平行出射光束。实际上,通过如上所述的DOE子部分的模块化控制,可能花费更多的计算资源或时间来产生和操控可能主动寻址用户的瞳孔的光束的小子集(例如,因为其它光束从未到达用户的眼睛并且被有效地浪费)。因此,参考图21J,该图示出波导738配置,其中,只有被认为可能寻址用户的瞳孔45的DOE 744的两个子部分(740、742)被激活。优选地,一个子部分可被构造成在另一子部分在不同方向上引导光时,在一个方向上同时引导光。

图21K示出DOE 732的两个独立控制的子部分(734、746)的正交视图。参考图21L的俯视图,此独立控制可被用于扫描或聚焦光。在图21K中所描绘的配置中,三个独立控制的DOE/波导子部分(750、752、754)的组件748可被用于扫描、增加视场和/或增加出射光瞳区域。此类功能可从具有此类独立可控的DOE子部分的单个波导或这些波导的垂直叠层产生,以用于附加的复杂性。

在一个实施例中,如果圆形DOE可被可控地径向对称地拉伸,则衍射节距可被调制,并且DOE可被用作具有模拟类型控制的可调谐透镜。在另一实施例中,单个拉伸轴(例如,以调整线性DOE项的角度)可被用于DOE控制。此外,在另一实施例中,类似于鼓头的膜可在Z轴(例如,朝向/远离眼睛)的振荡运动中振动,从而提供Z轴控制和随时间的聚焦变化。

参考图21M,该图示出几个DOE 756的堆叠,其接收来自波导722的准直光并基于激活DOE的累加屈光度将其重新聚焦。DOE的线性和/或径向项可随时间被调制,诸如在帧顺序的基础上,以对来自波导并离开,优选地朝向用户的眼睛的光产生各种处理(诸如平铺显示配置或扩展视场)。在DOE或多个DOE被嵌入在波导内的配置中,需要低衍射效率以使从现实世界传递的光的透明度最大化。在没有嵌入DOE或多个DOE的配置中,如上所述,可能需要高的衍射效率。在一个实施例中,线性和径向DOE项可在波导外部组合,在此情况下,将期望高的衍射效率。

参考图21N,该图示出分段或抛物面反射器,诸如上面在图8Q中论述的那些。不同于通过组合多个较小的反射器来执行分段反射器,在一个实施例中,相同的功能可由具有DOE的单个波导产生,该DOE对于其每个部分具有不同的相位分布(phase profile),使得其可由子部分控制。换句话说,虽然整个分段反射器在功能上可以一起开启或闭合,但是DOE通常可被构造成将光引导向空间中的相同区域(例如,用户的瞳孔)。

参考图22A-22Z,被称为“自由形式光学元件”的光学配置可被用于某些上述挑战。术语“自由形式”通常用于指任意弯曲表面,其可用于球形、抛物线或柱面透镜不满足诸如几何约束的设计复杂性的情况。例如,参考图22A,当用户通过反射镜(并且有时还有透镜760)观看时,显示器762配置的常见挑战之一在于视场受由系统的最终透镜760对着的区域限制。

参考图22B,更简单来说,如果有可包括一些透镜元件的显示器762,则存在直接的几何关系,使得视场不能大于显示器(762)所对着的角度。参考图22C,如果来自真实世界的光也要通过光学系统传递,则这种挑战加剧,因为在此情况下,往往存在通向透镜760的反射器764。通过插入反射器,从眼睛到达透镜的总路径长度增加,这收紧了角度并减小了视场。

考虑到这一点,如果要增加视场,则也可增加透镜的大小。然而,这可能意味着从人体工程学的角度朝向用户的前额推动物理镜头。此外,反射器可能不能捕获来自较大透镜的所有光。因此,存在由人头部几何形状施加的实际限制,并且使用常规透视显示器和透镜获得大于40度的视场通常是挑战。

对于自由形式透镜,不是具有如上所述的标准平面反射器,而是具有组合的反射器和具有屈光力的透镜(例如,弯曲反射器766),这意味着弯曲透镜几何形状确定视场。参考图22D,在没有如上面参考图22C所述的常规范例的迂回路径长度的情况下,对于给定的一组光学要求,自由形式布置可以实现显著更大的视场。

参考图22E,典型的自由形式的光学器件具有三个活动表面。参考图22E,在一个典型的自由形式光学部件770配置中,光可从图像平面(诸如平板显示器768)朝向自由形式光学部件被引导到第一活动表面772中。第一活动表面772可为主要透射的自由形式表面,其折射透射光并且赋予焦点变化(诸如添加的散光,因为来自第三表面的最终反射可添加匹配/相反的散光,并且这些散光被合意地被消除)。入射光可从第一表面被引导到第二表面(774),其中,它可以以足够浅的角度入射,以使得光在全内反射下朝向第三表面776反射。

第三表面可包括半镀银的任意弯曲的表面,其被构造成通过第二表面朝向眼睛反射光,如图22E所示。因此,在所描绘的典型自由形式配置中,光通过第一表面进入、从第二表面反射、从第三表面反射,并被引导出第二表面。由于第二表面的优化以在第一遍时具有必要的反射性质,以及当光朝向眼睛射出时在第二遍时的折射特性,所以比简单球形或抛物面具有更高阶形状的各种曲面形成为自由形式光学元件。

参考图22F,可以将补偿透镜780添加到自由形式光学元件770,使得光学组件的总厚度在增强现实配置中对于从真实世界144进入的光来说厚度是基本均匀的,并且优选地不放大。

参考图22G,自由形式光学元件770可与波导778组合,波导778被构造成促进在某些约束内所捕获的光的全内反射。例如,如图22G所示,光可从像平面(诸如平板显示器)被引导到自由形式/波导组件中,并且在波导内被完全内反射,直到其撞击弯曲的自由形式表面并且朝向用户的眼睛。因此,光在全内反射中反射数次,直到它接近自由形式楔形部分。

此组件的主要目的之一是延长光学组件,同时尽可能保持均匀的厚度(以便于通过全内反射传输,并且还通过组件观察世界而无需进一步补偿)以用于更大的视场。图22H描绘了类似于图22G的配置,除了图22H的配置还具有补偿透镜部分以进一步延伸厚度均匀性并且有助于通过组件观看世界而无需进一步补偿。

参考图22I,在另一实施例中,自由形式光学元件782被示为在左下角具有小平坦表面或第四面784,其被构造成便于在与通常用于自由形式光学元件不同的位置处射入图像信息。输入装置786可包括例如扫描光纤显示器,其可被设计为具有非常小的输出几何形状。第四面可自身包括各种几何形状并且其自身具有折射能力,例如通过使用平面或自由形式表面几何形状。

参考图22J,在实施过程中,此配置也可具有沿着第一表面的反射涂层788的特征,使得其将光引导回到第二表面,然后第二表面将光反射到第三表面,第三表面将光引导穿过第二表面并引向眼睛58。添加用于射入图像信息的第四小表面有助于更紧凑的配置。在使用经典自由形式输入配置和扫描光纤显示器790的实施例中,可能需要一些透镜(792、794),以便使用来自扫描光纤显示器的输出适当地形成图像平面796。这些硬件部件可能增加可能不期望的额外体积。

参考图22K,该图示出的实施例中,来自扫描光纤显示器790的光通过输入光学元件组件(792、794)到达图像平面796,然后被引导穿过自由形式光学元件770的第一表面到达全内反射第二表面进行反射,然后来自第三表面的另一全内反射致使光穿过第二表面离开并且被引向眼睛58。

可产生全部全内反射自由形式波导,使得不存在反射涂层(例如,使得全内反射依赖于光的传播,直到满足与表面的临界入射角,在该点处,光以与上述楔形光学器件类似的方式出射)。换句话说,不是具有两个平坦表面,而是可具有包括来自一组圆锥曲线(诸如抛物面、球体、椭圆等)的一或多个子表面的表面。

此配置的角足够浅以用于在光学器件内全内反射。该方法可被认为是在常规自由形式光学元件和楔形波导之间的混合。具有此配置的一个动机是避免使用反射涂层,这可帮助产生反射,但是也已知防止从真实世界144透射的相对大部分(例如50%)的光的透射。此外,此类涂层也可阻挡从输入装置进入自由形式光学元件的等量的光。因此,存在开发不具有反射涂层的设计的理由。

如上所述,常规自由形式光学元件的表面之一可包括半镀银反射表面。通常,此反射表面将具有“中性密度”,意味着其通常将类似地反射所有波长。在另一实施例中,诸如扫描光纤显示器被用作输入的实施例,常规反射器范例可用对波长敏感的窄带反射器(诸如薄膜激光线反射器)代替。因此,在一个实施例中,配置可反射特定的红/绿/蓝波长范围并且对其它波长保持被动。这通常将增加光学器件的透明度,并且因此对于增强现实配置是优选的,其中,来自真实世界144的图像信息跨光学器件的传输也是被珍视的。

参考图22L,描绘了多个自由形式光学元件(770)可在Z轴(例如,沿着与眼睛的光轴基本上对准的轴)上堆叠的实施例。在一个变体中,三个所描绘的自由形式光学元件中的每个可具有波长选择性涂层(例如,一个对于蓝色具有高度选择性、下一个对于绿色具有高度选择性、下一个对于红色具有高度选择性),使得图像可以被射入到每个自由形式光学元件中以使蓝色从一个表面反射、绿色从另一表面发射以及红色从第三表面发射。此配置可被用于例如解决色差问题,以产生光场和/或增加功能出射光瞳大小。

参考图22M,该图示出的实施例中,单个自由形式光学元件798具有多个反射表面(800、802、804),每个反射表面可为波长或偏振选择性的,使得它们的反射特性可被单独控制。

参考图22N,在一个实施例中,多个微显示器,诸如扫描光显示器786可被射入到单个自由形式光学元件中以平铺图像(从而提供增加的视场)、增加功能光瞳大小或者解决诸如色差的挑战(例如,通过每个显示器反射一个波长)。由于显示器相对于自由形式光学元件的不同定位,所描绘的显示器中的每个将射入将采取不同路径通过自由形式光学元件的光,从而提供更大的功能出射光瞳输出。

在一个实施例中,扫描光纤显示器的包或束可被用作输入,以克服将扫描光纤显示器可操作地耦合到自由形式光学元件的一个挑战。扫描光纤显示器配置的一个此类挑战在于单个光纤的输出以特定数值孔径或“NA”发射。NA为来自光纤的光的投射角;最终该角度确定穿过各种光学器件的光束的直径,并且最终确定出射功能出射光瞳大小。

因此,为了使自由形式光学元件配置的出射光瞳大小最大化,可使用优化的折射关系(例如在芯和包层之间)增加光纤的NA,或者可将透镜(例如,折射透镜,诸如梯度折射率透镜或“GRIN”透镜)放置在光纤的端部或者如上所述将透镜构建到光纤的端部中。另一种方法可为产生馈送到自由形式光学元件中的光纤阵列,在此情况下,束中的所有NA保持小,从而在出射光瞳处产生小的出射光瞳的阵列,以在汇聚时形成大出射光瞳的功能等价物。

另选地,在另一实施例中,可利用扫描光纤显示器或其它显示器的更稀疏的阵列(例如,不紧密地成束为包),以在功能上增加通过自由形式光学元件的虚像的视场。参考图22O,在另一实施例中,多个显示器或显示器786可通过自由形式光学元件770的顶部射入,以及其他多个显示器786通过下角射入。显示器阵列可为两维或三维阵列。参考图22P,在另一相关实施例中,图像信息也可从自由形式光学元件770的侧面806射入。

在多个较小的出射光瞳将被聚集成功能上较大的出射光瞳的实施例中,可选择使每个扫描光纤是单色的,使得在给定的一束或多个投影仪或显示器内,具有单独红色光纤的子组、单独蓝色光纤的子组和单独绿色光纤的子组。此配置有助于使光进入光纤的输出耦合更有效率。例如,该方法不需要将红色、绿色和蓝色叠加到相同频带中。

参考图22Q-22V,其描绘了各种自由形式光学元件平铺配置。参考图22Q,该图描绘的实施例中,两个自由形式的光学器件并排铺设,并且在每一侧上的诸如扫描光显示器的微显示器786被构造成从每侧射入图像信息,使得一个自由形式的光楔表示视场的每一半。

参考图22R,该图示出可包括补偿透镜808以便于通过光学元件组件观看真实世界。图22S示出的配置中,自由形式光楔并排铺设以增加功能视场同时保持此光学组件的厚度相对均匀。

参考图22T,在配置中,星形组件包括多个自由形式的光楔(也示出具有用于输入图像信息的多个显示器),其可提供更大的视场扩展,同时还保持相对薄的整体光学元件组件厚度。

利用平铺的自由形式光学元件组件,光学元件可被聚集以产生更大的视场。上述的平铺配置已经解决了这种意图。例如,在诸如图22R所描绘的两个自由形式波导瞄准眼睛的配置中,存在几种增加视场的方式。一种选择是“内束”自由形式波导,使得它们的输出共享或被叠加在光瞳的空间中。例如,用户可通过左自由形式波导看到视场的左半部分,并且通过右自由形式波导看到视场的右半部分。

利用此配置,用平铺的自由形式波导增加了视场,但是出射光瞳的大小没有增加。另选地,自由形式波导可被取向为使得它们不会太多地内束,使得它们在眼睛的解剖瞳孔处产生为并排的出射光瞳。在一个示例中,解剖光瞳可为8mm宽,并且并排出射光瞳中的每一个可为8mm,使得功能出射光瞳扩大约两倍。因此,此配置提供了扩大的出射光瞳。然而,如果眼睛在由该出射光瞳限定的“眼眶”中移动,该眼睛可能丢失部分视场(例如,由于此配置的并排性质,而丢失左或右入射光的一部分)。

在使用此方法以用于平铺自由形式光学元件(特别是在相对于用户眼睛的Z轴中)的一个实施例中,红色波长可通过一个自由形式光学元件驱动,绿色波长可通过另一个自由形式光学元件驱动,而蓝色波长可通过另一个自由形式光学元件驱动,由此,可解决红/绿/蓝色差。多个自由形式光学元件可以堆叠的方式提供给此配置,其中,每个自由形式光学元件被构造成处理特定波长。

参考图22U,该图示出了在Z轴上堆叠的两个相对取向的自由形式光学元件(例如,它们相对于彼此上下颠倒)。利用此配置,可不需要补偿透镜以便于通过组件准确地观察世界。换句话说,不是具有诸如图22F或图22R的实施例中的补偿透镜,可使用附加的自由形式光学元件,这可进一步有助于将光路由到眼睛。图22V示出了另一种类似的配置,其中,两个自由形式的光学元件的组件被呈现为垂直堆叠。

为确保一个表面不干涉自由形式光学元件中的另一表面,可使用波长或偏振选择反射器表面。例如,参考图22V,可射入呈650nm、530nm和450nm形式的红色、绿色和蓝色波长,以及620nm、550nm和470nm形式的红色、绿色和蓝色波长。不同的选择性反射器可被用于每个自由形式光学元件中,使得它们不彼此干扰。在偏振滤波被用于类似目的的配置中,针对在特定轴上偏振的光的反射/透射选择性可被改变(例如,图像可在它们被发送到每个自由形式波导之前被预偏振,以与反射器选择性一起工作)。

参考图22W和22X,该图示出了多个自由形式波导可被串联在一起使用的配置。参考图22W,光可从真实世界进入并且按顺序被引导通过第一自由形式光学元件770、通过可选透镜812,可选透镜812可被构造成将光从DLP系统中继到反射器810,诸如DMD,其可被构造成将已经在逐个像素基础上被滤波的光(例如,遮挡掩模可被用于阻挡现实世界的某些元素,诸如用于如上所述的暗场感知;可使用合适的空间光调制器,其可包括如上所述的DMD、LCD、铁电LCOS、MEMS百叶窗阵列等)反射到将光中继到用户的眼睛28的另一自由形式光学元件770。此配置可比使用用于空间光调制的常规透镜的配置更紧凑。

参考图22X,在保持总体厚度最小化非常重要的情况下,可利用一个表面具有高反射性的配置,使得高反射性表面可将光直接反射到另一个紧凑定位的自由形式光学元件。在一个实施例中,选择性衰减器814可被插入在两个自由形式光学元件770之间。

参考图22Y,该图示出了自由形式光学元件770可包括接触透镜系统的一个方面的实施例。该图示出了类似于参考图22F所述的小型化的自由形式光学元件,其利用小型化的补偿器透镜部分780接合用户眼睛58的角膜。可使用系绳扫描光纤显示器将信号射入到小型化的自由形式组件中,所述系绳扫描光纤显示器可例如被耦合在自由形式光学元件和用户的泪管区之间,或者在自由形式光学元件和另一个头戴式显示器配置之间。

一个或多个用户与AR系统之间的交互

用户系统与云的交互

已经描述了上述各种光学实施例,以下讨论将集中在一个或多个AR系统之间的交互以及AR系统与物理世界之间的交互。如在图23和24中所示,光场生成子系统(例如分别为2300和2302)优选地可操作以产生光场。例如,光学装置2360或子系统可以生成或投射光以模拟将由从真实三维对象或场景反射的光产生的四维(4D)光场。例如,诸如波导反射器阵列投影仪(WRAP)装置2310或多深度平面三维(3D)显示系统的光学装置可以在相应的径向焦距处生成或投影多个虚拟深度平面以模拟4D光场。

以WRAP装置2310或多深度平面3D显示系统的形式的光学装置2360可以例如直接或间接地将图像投影到用户的每只眼睛中。当虚拟深度平面的数量和径向放置与作为径向距离的函数的人类视觉系统的深度分辨率相当时,一组离散的投影深度平面模拟由真实的连续的三维对象或场景产生的心理生理效应。在一个或多个实施例中,系统2300可以包括可以为每个AR用户定制的框架2370。系统2300的附加部件可以包括将AR系统的各个电气和电子子部件彼此连接的电子器件2330(如将在下面进一步详细讨论)。

系统2300可以进一步包括微显示器2320,其将与一个或多个虚拟图像相关联的光投射到波导棱镜2310中。如在图23中所示,从微显示器2320产生的光在波导2310内行进,并且一些光到达用户的眼睛2390。在一个或多个实施例中,系统2300可以进一步包括一个或多个补偿透镜2380,以改变与虚拟图像相关联的光。图24示出与图23相同的部件,但是示出来自微显示器2320的光如何行进通过波导2310以到达用户的眼睛2390。

应当理解,光学装置2360可以包括多个线性波导,每个线性波导具有嵌入、位于或形成在线性波导中每一个线性波导内的相应系列的解构曲面球形反射器或反射镜。该系列的解构曲面球形反射器或反射镜被设计成在特定径向距离处重聚焦无限远聚焦光。凸球面镜可以用于产生输出球面波,以表示看起来位于凸球面镜后面的限定距离处的虚拟点源。

通过在线性或矩形波导中连接其形状(例如,围绕两个轴线的曲率半径)和取向在一起的一系列微反射器,可以在特定的x、y、z坐标处投影与由虚拟点源产生的球面波前对应的3D图像。2D波导或层中的每一个相对于其它波导提供独立的光路,并且将波前成形并且聚焦入射光以投射与相应径向距离对应的虚拟深度平面。

采用足够数量的2D波导,观察投影的虚拟深度平面的用户体验到3D效果。在2013年6月11日提交的美国专利申请序列号13/915,530中描述了这种装置。其它实施例可以包括光学系统的其它组合,并且应当理解,关于图23和24描述的实施例仅用于说明目的。

AR系统的音频子系统可以采取各种形式。例如,音频子系统可以采用简单的双扬声器2声道立体声系统或更复杂的多扬声器系统(5.1、7.1、12.1声道)的形式。在一些实施方式中,音频子系统可操作以产生三维声场。

AR系统可以包括一个或多个分立部件。例如,AR系统可以包括头部佩戴或安装的部件,诸如图23和图24所示的实施例中所示的部件。头部佩戴或安装的部件通常包括视觉系统(例如,诸如图23和24中所示的视觉系统)。头部佩戴部件还可以包括音频换能器(例如,扬声器、麦克风)。

音频换能器可以与视觉系统集成,例如每个音频集成换能器由具有可视部件的公共框架支撑。可替代地,音频换能器可与携载视觉部件的框架不同。例如,音频换能器可以是腰包的一部分,诸如在图4D中所示的那些。

如在图23和24中所示,AR系统可以包括与头部佩戴部件(例如,如在图23和24中所示的光学子系统)分离的不同的计算部件(例如,处理子系统)。处理子系统或计算部件可以例如采用腰包的形式,其在使用期间可以方便地耦接到裤子的腰带或腰带线。可替代地,计算部件可以例如采取个人数字助理或智能电话类型装置的形式。

计算部件可以包括一个或多个处理器,例如一个或多个微控制器、微处理器、图形处理单元、数字信号处理器、专用集成电路(ASIC)、可编程门阵列、可编程逻辑电路或实现逻辑或能够执行在软件或固件中编码的指令中体现的逻辑的其它电路。计算部件可以包括一个或多个非暂态计算机或处理器可读介质,例如易失性和/或非易失性存储器,例如只读存储器(ROM)、随机存取存储器(RAM)、静态RAM、动态RAM、快闪存储器、EEPROM等。

如上所述,计算部件可以通信地耦合到头部佩戴部件。例如,计算部件可以经由具有适当连接器的电缆经由一个或多个电线或光纤通信地系留(tether)到头部佩戴部件。计算部件和头部佩戴部件可以根据多种系留协议(例如协议)中的任一种来通信。

可替代地或另外,计算部件可以无线通信地耦合到头部佩戴部件。例如,计算部件和头部佩戴部件可以各自包括发射器、接收器或收发器(统称为无线电单元)和相关联的天线,以在它们之间建立无线通信。无线电单元和天线可以采取各种形式。例如,无线电单元可以能够短距离通信,并且可以利用通信协议,诸如或一些符合IEEE 802.11的协议(例如,IEEE 802.11n、IEEE 802.11a/c)。

如在图23和24中所示,身体或头部佩戴部件可以包括电子器件和微显示器,其可操作以向用户传送增强现实内容,例如增强现实视觉和/或音频内容。电子器件(例如,图23和24中的2320的一部分)可以包括各种电路,其包括电气或电子部件。各种电路通信地耦合到传送增强现实内容和/或感测、测量或收集关于周围物理环境和/或关于用户的信息的多个换能器。

图25示出根据一个所示实施例的用于增强现实装置的电子器件的示例架构2500。

AR装置可以包括一个或多个印刷电路板部件,例如左(2502)和右(2504)印刷电路板组件(PCBA)。如图所示,左PCBA 2502包括大多数有源电子器件,而右PCBA 604主要支持显示器或投影仪元件。

右PCBA 2504可以包括向图像生成部件提供图像信息和控制信号的多个投影仪驱动器结构。例如,右PCBA 2504可以携载第一或左投影仪驱动器结构2506和第二或右投影仪驱动器结构2508。第一或左投影仪驱动器结构2506将第一或左投影仪光纤2510和一组信号线(例如,压电驱动器线)结合。第二或右投影仪驱动器结构2508将第二或右投影仪光纤2512和一组信号线(例如,压电驱动器线)结合。第一或左投影仪驱动器结构2506通信地耦合到第一或左图像投影仪,而第二或右投影仪驱动器结构2508通信地耦合到第二或右图像投影仪。

在操作中,图像投影仪经由相应的光学部件,例如波导和/或补偿透镜(例如,如在图23和24中所示)向用户的左眼和右眼(例如,视网膜)呈现虚拟内容。

图像投影仪可以例如包括左和右投影仪组件。投影仪组件可以使用各种不同的图像形成或产生技术,例如光纤扫描投影仪、液晶显示器(LCD)、LCOS显示器、数字光处理(DLP)显示器。在利用光纤扫描投影仪的情况下,可以沿着光纤传送图像,以经由光纤的尖端从其投射。尖端可以取向成馈送到波导中(图23和24)。光纤的尖端可以投影图像,其可以被支持以弯曲或振荡。多个压电致动器可以控制尖端的振荡(例如,频率、振幅)。投影仪驱动器结构向相应的光纤提供图像,并提供控制信号来控制压电致动器,以将图像投影到用户的眼睛。

继续讨论右PCBA 2504,按钮板连接器2514可以向携载各种用户可访问的按钮、按键、开关或其它输入装置的按钮板2516提供通信和物理耦合。右PCBA 2504可以包括右耳机或扬声器连接器2518,以将音频信号通信地耦合到头部佩戴部件的右耳机2520或扬声器。右PCBA 2504还可以包括右麦克风连接器2522,以通信地耦合来自头部佩戴部件的麦克风的音频信号。右PCBA 2504可以进一步包括右遮挡驱动器连接器2524,以将遮挡信息通信地耦合到头部佩戴部件的右遮挡显示器2526。右PCBA 2504还可以包括板对板连接器,以经由其板对板连接器2534提供与左PCBA 2502的通信。

右PCBA 2504可以通信地耦合到身体或头部佩戴的一个或多个右外向或世界观相机2528,以及可选地照亮以向其他人指示何时正在捕获图像的右相机视觉指示器(例如,LED)。右PCBA 2504可以通信地耦合到一个或多个右眼相机2532,其由头部佩戴部件携载、定位并取向以捕获右眼的图像,以允许跟踪、检测或监视右眼的取向和/或运动。右PCBA 2504可以可选地通信地耦合到一个或多个右眼照明源2530(例如,LED),如在此所解释的,用照明图案(例如,时间的、空间的)照亮右眼,以促进跟踪、检测或监视右眼的取向和/或运动。

左PCBA 2502可以包括控制子系统,其可包括一个或多个控制器(例如,微控制器、微处理器、数字信号处理器、图形处理单元、中央处理单元、专用集成电路(ASIC)、现场可编程门阵列(FPGA)2540和/或可编程逻辑单元(PLU))。控制系统可以包括存储可执行逻辑或指令和/或数据或信息的一个或多个非暂态计算机或处理器可读介质。非暂态计算机或处理器可读介质可以采取多种形式,例如易失性和非易失性的形式,例如只读存储器(ROM)、随机存取存储器(RAM、DRAM、SD-RAM)、快闪存储器等。非暂态计算机或处理器可读介质可以形成为例如微处理器、FPGA或ASIC的一个或多个寄存器。

左PCBA 2502可以包括左耳机或扬声器连接器2536,以将音频信号通信地耦合到头部佩戴部件的左耳机或扬声器2538。左PCBA 2502可以包括通信地耦合到驱动耳机或扬声器的音频信号放大器(例如,立体声放大器)2542。左PCBA 2502还可以包括左麦克风连接器2544,以通信地耦合来自头部佩戴部件的麦克风的音频信号。左PCBA 2502可进一步包括左遮挡驱动器连接器2546,以将遮挡信息通信地耦合到头部佩戴部件的左遮挡显示器2548。

左PCBA 2502还可包括检测、测量、捕获或以其它方式感测关于周围环境和/或关于用户的信息的一个或多个传感器或换能器。例如,加速度换能器2550(例如,三轴加速度计)可以检测三轴中的加速度,从而检测运动。陀螺仪传感器2552可以检测取向和/或磁或罗盘首向或取向。可以类似地利用其它传感器或换能器。

左PCBA 2502可以通信地耦合到身体或头部佩戴的一个或多个左外向或世界观相机2554,以及可选地照亮以向其他人指示何时正在捕获图像的左相机视觉指示器(例如,LED)2556。左PCBA可以通信地耦合到一个或多个左眼相机2558,其由头部佩戴部件携载,定位并取向以捕获左眼的图像,以允许跟踪、检测或监视左眼的取向和/或运动。左PCBA 2502可以可选地通信地耦合到一个或多个左眼照明源(例如,LED)2556,如在此所解释的,用照明图案(例如,时间的、空间的)照亮左眼,以促进跟踪、检测或监视左眼的取向和/或运动。

PCBA 2502和2504经由一个或多个端口、连接器和/或路径与不同的计算部件(例如,腰包)通信地耦合。例如,左PCBA 2502可以包括一个或多个通信端口或连接器以提供与腰包的通信(例如,双向通信)。一个或多个通信端口或连接器还可以从腰包向左PCBA 2502提供电力。左PCBA 2502可以包括电耦合到通信端口或连接器并且可操作以调节(例如,升高电压、降低电压、平滑电流、减小瞬变)的电源调节电路2580(例如,DC/DC电源转换器、输入滤波器)。

通信端口或连接器可以例如采取数据和电源连接器或收发器2582(例如,端口、端口)的形式。右PCBA 2504可以包括从腰包接收电力的端口或连接器。图像生成元件可以从便携式电源(例如,化学电池单元、一次或二次电池单元、超级电容器单元、燃料电池)接收可以例如位于腰包中的电力。

如图所示,左PCBA 2502包括大多数有源电子器件,而右PCBA 2504主要支持显示器或投影仪以及相关联的压电驱动信号。横跨AR系统的身体或头部佩戴部件的前部、后部或顶部利用电和/或光纤连接。

PCBA 2502和2504二者通信地(例如,电气地、光学地)耦合到腰包。左PCBA 2502包括电源子系统和高速通信子系统。右PCBA 2504处理光纤显示压电驱动信号。在所示实施例中,只有右PCBA 2504需要光学连接到腰包。在其它实施例中,右PCBA和左PCBA二者可以连接到腰包。

尽管被示为利用两个PCBA 2502和2504,但是身体或头部佩戴部件的电子器件可以利用其它架构。例如,一些实施方式可以使用更少或更多数量的PCBA。还例如,各种部件或子系统可以与图25中所示不同地布置。例如,在一些替代实施例中,如在一个PCBA上驻留的图25中所示的部件中的一些部件可以位于另一个PCBA上,而不失一般性。

如在图4A-4D中所示,每个用户可以使用他/她相应的AR系统(在下面的讨论中一般称为个人AR系统)。在一些实施方式中,个人AR系统可以彼此通信。例如,两个或更多个位置相近的AR系统可以彼此通信。如在此进一步描述的,在一个或多个实施例中,通信可以在执行握手协议之后发生。AR系统可以经由一个或多个无线电单元无线地通信。如上所述,这种无线电单元可以能够短距离直接通信,或者可以能够更长距离的直接通信(例如,没有中继器、扩展器等)。另外或可替代地,可以经由一个或多个中间装置(例如,无线接入点、中继器、扩展器)来实现间接更长距离的通信。

AR系统的头部佩戴部件可以具有一个或多个“面向外”朝向的相机。在一个或多个实施例中,头部佩戴部件可以具有一个或多个“面向内”朝向的相机。如在此所使用的,“面向外”意味着相机捕获周围环境而不是佩戴头戴部件的用户的图像。值得注意的是,面“向外”的相机可以具有包围向前、向左、向右或甚至在用户后面的区域的视场。这与面向内的相机(其捕获佩戴头部佩戴部件的个人的图像,例如面向用户的面部以捕获用户的面部表情或眼睛运动的相机)形成对比。

在许多实施方式中,用户佩戴的个人(或个人)AR系统可以包括一个或多个传感器、换能器或其它部件。传感器、换能器或其它部件可以分类为两个一般类别,(i)检测佩戴传感器的用户的方面(例如,在此称为面向内的传感器)的那些,以及(ii)检测用户所处的周围环境(例如,在此称为面向外的传感器)中的条件。这些传感器可以采取各种各样的形式。例如,传感器可以包括一个或多个图像传感器,例如数字静态或运动图像相机。还例如,传感器可以包括一个或多个音频传感器或麦克风。其它传感器可以检测位置、运动、温度、心率、出汗等。

如上所述,在一个或多个实施例中,传感器可以是面向内的。例如,由用户佩戴的图像传感器可以定位和/或取向以检测用户的眼睛移动、用户的面部表情或用户的肢体(手臂、腿、手部)。例如,用户佩戴的音频传感器或麦克风可以定位和/或取向以检测用户发出的话语。这种音频传感器或麦克风可以是定向的,并且可以在使用期间位于用户的嘴部附近。

如上所述,传感器可以是面向外的。例如,由用户佩戴的图像传感器可以定位和/或取向成可视地检测用户所处的周围环境和/或用户与之交互的对象。在一个或多个实施例中,基于图像的传感器可以指相机(例如,视场相机、IR相机、眼睛跟踪相机等)。还例如,由用户佩戴的音频传感器或麦克风可以定位和/或取向成检测周围环境中的声音,无论来自像其他人的自然源,还是无生命对象(诸如音频扬声器)生成的。面向外的传感器可以检测周围环境的其它特性。例如,面向外的传感器可以包括检测周围环境中的温度的温度传感器或热电偶。

面向外的传感器可以检测周围环境中的湿度、空气质量和/或空气流量。面向外的传感器可以包括检测周围环境中的环境光条件的光检测器(例如,光电二极管)。在一个或多个实施例中,光探针还可以用作个人AR系统的一部分。面向外的传感器可以包括检测周围环境中的对象(包括其他人)的存在和/或不存在和/或周围环境中的运动的一个或多个传感器。

基于物理空间/房间的传感器系统

如在图26的系统架构2600中所示,在一些实施方式中,AR系统可以包括基于物理空间或房间的传感器系统。如在图26中所示,AR系统2602不仅从用户的个人AR系统(例如,头戴式增强现实显示系统等)获取,如在图23和24中所示,而且也可以使用基于房间的传感器系统2604来收集关于房间和物理空间的信息。基于空间或房间的传感器系统2604从物理环境(例如诸如房间(例如,办公室、客厅、媒体室、厨房或其它物理空间)的空间)检测和/或收集信息。基于空间或房间的传感器系统2604通常包括一个或多个图像传感器2606,例如一个或多个相机(例如,数字静态相机、数字运动图像或视频相机)。

在一个或多个实施例中,可以使用除了构成由用户佩戴的个人AR系统的一部分的图像传感器之外的图像传感器。基于空间或房间的传感器系统还可以包括一个或多个音频传感器或换能器2608,例如全向或定向麦克风。音频传感器或换能器可检测来自动画对象(例如,周围环境中的一个或多个用户或其他人)的声音。音频传感器或换能器可检测来自无生命对象(例如脚步、电视、立体声系统、无线电或其它电器)的声音。

基于空间或房间的传感器系统2604还可以包括周围环境中的其它环境传感器2610、温度2612、湿度2614、空气质量2616、空气流量或速度、环境光感测、存在不存在、运动等。所有这些输入反馈到AR系统2602,如在图26中所示。应当理解,图26中仅示出了一些基于房间的传感器,并且一些实施例可以包括更少或更多的传感器子系统,并且图26的实施例不应被视为限制。

基于空间或房间的传感器系统2604可以相对于基于空间或房间的坐标系检测和/或收集信息。例如,视觉或光学信息和/或音频信息可以相对于不同于用户的参考系的参考系内的这种信息的位置或源来引用。例如,可以在基于空间或房间的传感器系统或其部件的参考系内识别这种信息的源的位置。基于空间或房间的传感器系统或部件的参考系可以是相对固定的,并且可以与物理空间本身的参考系相同。可替代地,一个或多个变换(例如,平移和/或旋转矩阵)可以在数学上将基于空间或房间的传感器系统或部件的参考系与物理空间的参考系相关。

图27示出根据一个所示实施例的采用一个或多个集线器、中央或分布式服务器计算机系统以及通过一个或多个有线或无线网络通信地耦合的一个或多个个人AR系统的通信架构。在一个或多个实施例中,云服务器可以指通过网络(例如,有线网络、无线网络、蓝牙、蜂窝网络等)由一个或多个个人AR系统访问的服务器。在所示实施例中,个人AR系统通过网络2704与云服务器或服务器计算机系统2780通信。在一个或多个实施例中,云服务器可以指在不同位置处托管的托管服务器或处理系统,并且由多个用户按需通过互联网或一些类型的网络访问。在一个或多个实施例中,云服务器可以是包括云的多个连接的服务器的集合。

服务器计算机系统2780可以例如形成集群。例如,服务器计算机系统的集群可以位于各种地理上分散的位置处。这可以促进通信,缩短传输路径和/或提供冗余。

个人AR系统2708的特定实例可以通过云网络2704通信地耦合到服务器计算机系统2780。服务器计算机系统2780可以维护关于特定用户自己的物理和/或虚拟世界的信息。服务器计算机系统2780可以允许给定用户与其他用户共享关于特定用户自己的物理和/或虚拟世界的信息。另外或可替代地,服务器计算机系统2780可允许其他用户与给定或特定用户共享关于他们自己的物理和/或虚拟世界的信息。如在此所述,服务器计算机系统2780可以允许物理世界的大部分的映射和/或表征。可以经由一个或多个用户的个人AR系统收集信息。物理世界的模型可以随着时间的推移以及通过大量用户的收集来发展。这可以允许给定用户输入物理世界的新部分或地点,但是仍受益于先前或当前处于特定地点的其他人收集的信息。虚拟世界的模型可以由相应用户经由用户随着时间的推移而创建。

个人AR系统2708可以通信地耦合到服务器计算机系统。例如,个人AR系统2708可以经由一个或多个无线电单元无线通信地耦合到服务器计算机系统2780。无线电单元可以采取如上所述的短距离无线电单元或者相对长距离无线电单元的形式,例如蜂窝芯片组和天线。个人AR系统2708通常将经由一些中间通信网络或部件间接地通信地耦合到服务器计算机系统2780。例如,个人AR系统2708通常将经由一个或多个电信提供商系统(例如一个或多个蜂窝通信提供商网络)通信地耦合到服务器计算机系统2780。

在许多实施方式中,AR系统可以包括附加部件。在一个或多个实施例中,AR装置可以例如包括一个或多个触觉装置或部件。触觉装置或部件可以可操作以向用户提供触觉感觉。例如,当触摸虚拟内容(例如,虚拟对象、虚拟工具、其它虚拟构造)时,触觉装置或部件可以提供压力和/或纹理的触觉感觉。触觉感觉可以复制虚拟对象表示的物理对象的感觉,或者可以复制虚拟内容表示的想象的对象或角色(例如,龙)的感觉。

在一些实施方式中,触觉装置或部件可以由用户佩戴。在此描述了用户可佩戴手套形式的触觉装置的示例。在一些实施方式中,触觉装置或部件可以由用户持有。在此描述了用户可佩戴手套形式的触觉装置的示例(例如,图34A)。下面进一步描述各种触觉图腾形式的触觉装置的其它示例。AR系统可以另外或可替代地利用其它类型的触觉装置或用户输入部件。

AR系统可以例如包括由用户操纵以允许与AR系统的输入或交互的一个或多个物理对象。这些物理对象在此被称为图腾,并且将在下面进一步详细描述。一些图腾可以采取无生命对象的形式,例如一块金属或塑料、墙壁、桌子的表面。可替代地,一些图腾可以采取有生命对象的形式,例如用户的手部。

如在此所述,图腾可以实际上不具有任何物理输入结构(例如,键、触发器、操纵杆、轨迹球、摇杆开关)。相反,图腾可以简单地提供物理表面,并且AR系统可以呈现用户界面以便对用户看起来在图腾的一个或多个表面上。例如,并且如在此进一步更详细讨论的,AR系统可以呈现计算机键盘和轨迹板的图像以显现驻留在图腾的一个或多个表面上。例如,AR系统可以使虚拟计算机键盘和虚拟轨迹板显现在用作图腾的薄的矩形铝板的表面上。矩形板本身不具有任何物理键或轨迹板或传感器。然而,AR系统可以检测用户操作或与矩形板的交互或触摸作为经由虚拟键盘和/或虚拟轨迹板做出的选择或输入。这些部件中的许多部件在下面进一步详细描述。

可传递世界模型

可传递世界模型(passable world model)允许用户有效地将用户世界的一部分(例如,周围环境、交互等)传递给另一用户。每个用户的相应个人AR系统在用户通过或居住环境时捕获信息,AR系统处理该环境以产生可传递世界模型。

个人AR系统可以在云处将可传递世界模型通信或传递到公共或共享的数据集合。个人AR系统可以直接地或经由云将可传递世界模型通信或传递给AR系统的其他用户。可传递世界模型提供了有效地通信或传递基本上包括用户的至少视场的信息的能力。当然,应当理解,可以另外发送其它输入(例如,感觉输入、图像输入、眼睛跟踪输入等)以在云处增强可传递世界模型。

图28示出根据一个所示实施例的可传递世界模型2800的部件。当用户2801走过环境时,用户的个人AR系统2810捕获信息(例如,图像、地点信息、位置和取向信息等)并通过带有姿态的标记图像来保存信息。在所示实施例中,可以拍摄对象2820(其类似于桌子)的图像,并且可以基于捕获的图像收集映射点2804。这形成了可传递世界模型的核心,如已经捕获了关于环境的信息的多个关键帧(例如,相机)2802所示。

如在图28中所示,可以存在捕获关于任何给定时间点的空间的信息的多个关键帧2802。例如,关键帧可以是从特定视点捕获信息的另一用户的AR系统。另一个关键帧可以是通过固定视点捕获图像和点2804的基于房间的相机/传感器系统。通过对来自多个视点的图像和点进行三角测量,可以确定3D空间中真实对象的位置和取向。

在一个或多个实施例中,可传递世界模型2808是光栅图像、点和描述符云以及多边形/几何定义(在此称为参数几何)的组合。所有该信息被上传到云并且从云检索,其一部分对应于用户可能已经走过的特定空间。如在图28中所示,可传递世界模型还包含许多对象识别器2812,其在云上或在用户的个人系统2810上工作以基于通过多个用户的各种关键帧捕获的点和姿态标记的图像来识别环境中的对象。基本上通过经由多个关键帧2802连续地捕获关于物理世界的信息,可传递世界总是在增长,并且可以被查询(连续地或根据需要),以便确定如何呈现与真实世界的现有物理对象相关的虚拟内容。通过从用户的环境收集信息,构建/增强可传递世界2806的一部分,并且可以同时或在将来将其传递给一个或多个AR用户。

在用户的相应个人AR系统和基于云的计算机(例如,服务器计算机)之间建立异步通信。换句话说,用户的个人AR系统不断地将关于用户的周围环境的信息更新到云,并且还从云接收关于可传递世界的信息。因此,具有异步系统,而不是每个AR用户必须捕获图像并基于捕获的图像识别对象,这允许系统更有效。已经存在的关于世界的那部分的信息自动地通信到个人AR系统,而新的信息更新到云。应当理解,可传递世界模型存在于云或其它形式的联网计算或对等系统上,并且还可以存在于用户的个人AR系统上。

在一个或多个实施例中,AR系统可以对局部部件(例如,诸如腰包的计算部件)和远程部件(例如,基于云的计算机2780)采用不同级别的分辨率。这是因为远程部件(例如,驻留在云服务器上的资源)通常比本地部件在计算上更强大。基于云的计算机可以挑选由许多不同的个人AR系统和/或一个或多个基于空间或房间的传感器系统收集的数据,并利用该信息来添加到可传递世界模型。基于云的计算机可以仅将最优(例如,最有用的)信息聚集到持久世界模型中。换句话说,可以及时地布置冗余信息和/或低于最优的质量信息,以便不恶化系统的质量和/或性能。

图29示出与可传递世界模型交互的示例方法2900。在2902处,用户的个人AR系统可以检测用户在世界内的地点和取向。在一个或多个实施例中,可以通过系统的拓扑图导出地点,如下面将进一步详细描述的。在其它实施例中,可以通过GPS或任何其它定位工具来导出地点。应当理解,可传递世界可以由个人AR系统不断地访问。

在另一实施例(未示出)中,用户可以请求访问另一用户的空间,提示系统访问可传递世界的该部分以及与另一用户相对应的相关联参数信息。因此,对于可传递世界可能有许多触发器。然而,在最简单的水平上,应当理解,可传递世界不断地被多个用户系统更新并访问,从而不断地向云添加并从云中接收信息。

遵循上述示例,基于用户的已知地点,在2904处,系统可绘制表示用户周围的物理区域的半径,其传达用户的位置和预期方向二者。接下来,在2906处,系统可以基于用户的预期位置来检索可传递世界的片段。在一个或多个实施例中,可传递世界的片段可以包含来自通过先前关键帧获取的空间的几何图形和捕获的图像以及存储在云中的数据的信息。在2908处,AR系统将来自用户环境的信息上传到可传递世界模型中。在2910处,基于上传的信息,AR系统将与用户的位置相关联的可传递世界呈现给用户的个人AR系统。

该信息允许虚拟内容以一致的方式与用户的真实环境有意义地交互。例如,虚拟“怪物”可以呈现为源自现实世界的特定建筑物。或者,在另一示例中,用户可以留下与真实世界的物理坐标相关的虚拟对象,以使得朋友(也佩戴AR系统)在相同的物理坐标中找到虚拟对象。为了允许这种能力(以及更多),对于AR系统来说重要的是不断地访问可传递世界以检索并上传信息。应当理解,可传递世界包含真实空间的持久数字表示,其在与物理空间的真实坐标相关地呈现虚拟和/或数字内容中被极其关键地利用。应当理解,AR系统可以保持现实世界和/或虚拟世界的坐标。在一些实施例中,第三方可以保持现实世界的地图(例如,坐标),并且AR系统可以查阅地图以确定一个或多个参数,以便呈现与世界的真实对象相关的虚拟内容。

应当理解,可传递世界模型本身不向用户呈现显示的内容。相反,它是动态检索并更新云中真实世界的持久数字表示的高级概念。在一个或多个实施例中,导出的几何信息被加载到游戏引擎,该游戏引擎然后呈现与可传递世界相关联的内容。因此,不管用户是否在特定空间中,该特定空间在云中具有可由任何用户访问的数字表示。该可传递世界可以包含关于空间的物理几何关系和空间的图像的信息,关于占据空间的各种化身的信息,关于虚拟对象的信息以及其它杂项信息。

如在此进一步详细描述的,一个或多个对象识别器可以检查或“爬行”可传递世界模型,标记属于参数几何关系的点。参数几何关系、点和描述符可以封装到可传递世界模型中,以允许对应于物理世界或环境的一部分的信息的低延迟传递或通信。在一个或多个实施例中,AR系统可以实施两层结构,其中可传递世界模型允许在第一层中的快速姿态处理,但是在该框架内部是第二层(例如,FAST特征)。在一个或多个实施例中,第二层结构可以通过执行基于帧到帧的三维(3D)特征映射来增加分辨率。

图30示出通过对象识别器识别对象的示例方法3000。在3002处,当用户走进房间时,用户的个人AR系统从多个视点捕获关于用户的环境的信息(例如,图像、传感器信息、姿态标记的图像等)。在3004处,可以从一个或多个捕获的图像中提取一组3D点。例如,在用户走进房间的一部分时,用户的个人AR系统已经捕获了关于周围环境的大量的关键帧和姿态标记的图像(类似于图28中所示的实施例)。应当理解,在一个或多个实施例中,每个关键帧可以包括关于周围环境中的对象的深度和颜色的信息。

在一个或多个实施例中,对象识别器(本地或云中)可以使用图像分割技术来找到一个或多个对象。应当理解,不同的对象可以由它们自己的对象识别器识别,这些对象识别器已经由开发者编写并且被编程以识别该特定对象。为了说明的目的,以下示例将假定对象识别器识别门。对象识别器可以是自主和/或原子软件对象或“机器人”,其利用空间的姿态标记图像,包括从多个关键帧获取的关键帧和2D和3D特征点,并且使用该信息和空间的几何关系识别一个或多个对象(例如,门)。

应当理解,多个对象识别器可以在一组数据上同时运行,并且多个对象识别器可以彼此独立地运行。应当理解,对象识别器获取对象的2D图像(2D颜色信息等)、3D图像(深度信息),并且还获取3D稀疏点来在世界的几何坐标系中识别对象。

接下来,在3006处,对象识别器可以将2D分割的图像特征与稀疏3D点相关,以使用2D/3D数据融合来导出对象结构和关于对象的一个或多个属性。例如,对象识别器可以识别门相对于关键帧的特定几何形状。接下来,在3008处,对象识别器参数化对象的几何形状。例如,对象识别器可以将语义信息附加到对象的几何基元(例如,门具有铰链,门可以旋转90度等)。或者,对象识别器可以减小门的尺寸,以匹配周围环境中的其余对象等。

在3010处,AR系统可以将对象的参数几何结构同步到云。接下来,在3012处,对象识别器可以将几何和参数信息重新插入到可传递世界模型中。例如,对象识别器可以动态地估计门的角度,并将其插入世界。因此,可以理解,使用对象识别器允许系统节省计算能力,因为对象识别器不是持续要求实时捕获关于门的角度或门的运动的信息,而是使用存储的参数信息以估计门的运动或角度。这允许系统基于个人AR系统的计算能力而独立地运行,而不必依赖于云服务器中的信息。应当理解,该信息可以被更新到云,并且发送到其它AR系统,以使得虚拟内容可以相对于所识别的门适当地显示。

如上面简要讨论的,对象识别器是摄取稀疏点(例如,不一定是密集点云)、姿态标记的图像和几何形状,并且产生具有语义附加的参数几何形状的原子自主软件和/或硬件模块。语义可以采取分类描述符的形式,例如“墙壁”、“椅子”、“椅子”以及与分类描述符相关联的属性或特性。例如,诸如桌子的分类描述符可以具有相关联的描述,诸如“具有可以支持其它对象的平坦水平表面”。给定本体,对象识别器将图像、点和可选地其它几何形状转换成具有含义(例如,语义)的几何形状。

由于个人AR系统旨在在真实世界环境中操作,所以点表示稀疏的统计相关的自然特征。与为了机器视觉识别的目的而添加(例如,印刷,刻写或标记)到对象的人工特征相反,自然特征是对象固有的那些特征(例如,边缘、孔)。这些点不一定需要对人类可见。应当理解,点不限于点特征,例如线特征和高维特征。

在一个或多个实施例中,对象识别器可以被分类为两种类型:类型1-基本对象(例如,墙壁、杯子、椅子)和类型2-详细对象(例如,椅子,我的墙壁等)。在一些实施方式中,类型1识别器在整个云上运行,而类型2识别器针对先前发现的类型1数据运行(例如,搜索所有椅子以寻找椅子)。在一个或多个实施例中,对象识别器可以使用对象的固有属性来促进对象识别。或者,在其它实施例中,对象识别器可以使用对象之间的本体论关系以便于实施方式。例如,对象识别器可以使用窗口可以“在”墙壁中的事实以便于识别窗口实例。

在一个或多个实施例中,对象识别器可以与一个或多个应用程序捆绑、合作或逻辑上相关联。例如,“杯子发现器”对象识别器可以与一个、两个或更多个应用程序相关联,其中识别物理空间中的杯子的存在将是有用的。例如,咖啡公司可以创建其自己的“杯子发现器”应用程序,其允许识别由咖啡公司提供的杯子。这可以允许递送与咖啡公司相关的虚拟内容/广告等,并且可以直接和/或间接地鼓励对咖啡公司的参与或兴趣。

应用程序可以与定义的可识别的可视数据或模型逻辑连接或相关联。例如,响应于在图像中检测到任何椅子,AR系统调用或执行来自椅子的制造商和/或销售商Herman Miller公司的应用程序。类似地,响应于在图像中检测到标志或徽标,AR系统调用或执行应用程序。

在另一示例中,AR系统可以利用通用墙壁发现器对象识别器的实例。通用墙壁发现器对象识别器识别图像信息中的墙壁的实例,而不考虑关于墙壁的细节。因此,通用墙壁发现器对象识别器可以识别构成图像数据中的墙壁的竖直取向的表面。AR系统还可以利用与通用墙壁发现器分离且不同的特定发现器对象识别器的实例。

特定墙壁发现器对象识别器识别构成图像数据中的墙壁并且具有超出通用墙壁的那些的一个或多个特定特征的竖直取向的表面。例如,给定的特定墙壁可以具有在限定位置中的一个或多个窗口,在限定位置中的一个或多个门,可以具有限定的涂料颜色,可以具有从墙壁悬挂的艺术品等,其在视觉上将特定墙壁与其它墙壁区分。这种特征允许特定墙壁发现器对象识别器识别特定墙壁。例如,特定墙壁发现器对象识别器的一个实例可以识别用户办公室的墙壁。特定墙壁发现器对象识别器的其它实例可以识别用户的客厅或卧室的相应墙壁。

特定对象识别器可独立于通用对象识别器。例如,特定墙壁发现器对象识别器可以完全独立于通用墙壁发现器对象识别器运行,而不利用由通用墙壁发现器对象识别器产生的任何信息。可替代地,可以针对先前由更通用的对象识别器找到的对象嵌套运行特定(例如,更精细)的对象识别器。例如,通用和/或特定的门发现器对象识别器可以针对由通用和/或特定墙壁发现器对象识别器找到的墙壁来运行,因为门必须在墙壁中。同样,通用和/或特定的窗口查找器对象识别器可以针对由通用和/或特定墙壁发现器对象识别器找到的墙壁运行,因为窗口必须在墙壁“中”。

在一个或多个实施例中,对象识别器可以不仅识别对象的存在或在场,而且还可以识别与该对象相关联的其它特性。例如,通用或特定的门发现器对象识别器可以识别门的类型,无论门是铰链的还是滑动的,铰链或滑动件位于何处,无论门是否当前处于打开或关闭位置,和/或门是透明的还是不透明的等。

如上所述,每个对象识别器是原子的,即对象识别器是自动的、自主的、异步的,并且本质上是黑盒软件对象。这允许对象识别器是社区构建的。开发者可以被激励构建对象识别器。例如,可以建立用于对象识别器的在线市场或收集点。可允许对象识别器开发者张贴对象识别器以用于链接或与由其它对象识别器或应用程序开发者开发的应用程序相关联。

可以类似地提供各种其它激励。还例如,可以基于对象识别器在逻辑上与应用程序相关联的次数和/或基于对象识别器逻辑上相关联的应用程序的分发的总数,向对象识别器开发者或作者提供激励。作为另一示例,可以基于逻辑上与对象识别器相关联的应用程序使用对象识别器的次数,向对象识别器开发者或作者提供激励。在一个或多个实施例中,激励可以是货币激励。在其它实施例中,激励可以包括提供对付费墙之后的服务或媒体的访问,和/或提供用于获取服务、媒体或商品的信用。

例如,可以实例化任何数量的不同的通用和/或特定对象识别器。一些实施例可能需要非常大量的通用和特定对象识别器。这些通用和/或特定的对象识别器都可以针对相同的数据运行。如上所述,一些对象识别器可以被嵌套,以使得它们基本上彼此叠置。

在一个或多个实施例中,控制程序可以控制各种对象识别器的选择、使用或操作,例如仲裁其使用或操作。一些对象识别器可以放置在不同的区域中,以确保对象识别器不彼此重叠。如上所述,对象识别器可以在个人AR系统的腰包处本地运行,或者可以在一个或多个云服务器上运行。

对象识别器的环形缓冲区

图31示出根据一个所示实施例的对象识别器的环形缓冲器3100。AR系统可以在环形拓扑中组织对象识别器,例如以实现低磁盘读取利用。各种对象识别器可以坐在环上或沿着环,全部平行地运行。在一个或多个实施例中,可传递世界模型数据(例如,墙壁、天花板、地板)可以穿过环。随着数据滚动,每个对象识别器收集与对象识别器识别的对象相关的数据。一些对象识别器可能需要收集大量的数据,而其它对象识别器可能只需要收集少量的数据。相应的对象识别器收集它们需要的任何数据,并以上述相同的方式返回结果。

在所示实施例中,可传递世界数据3116穿过环。顺时针开始,通用墙壁对象识别器3102可以首先在可传递世界数据3116上运行。通用墙壁对象识别器3102可以识别墙壁3118的实例。接下来,特定墙壁对象识别器3104可以在可传递世界数据3116上运行。类似地,桌子对象识别器3106和通用椅子对象识别器3108可以在可传递世界数据3116上运行。

特定对象识别器也可以在数据上运行,诸如成功识别Aeron椅子3120的实例的特定的对象识别器3110。在一个或多个实施例中,更大或更通用的对象识别器可以首先通过数据,而更小并且更精细细节的识别器可以在更大的数据完成之后运行通过数据。经过环,杯对象识别器3112和叉对象识别器3114可以在可传递世界数据3116上运行。

在可传递世界中的化身

作为可传递世界模型的扩展,不仅识别对象,而且可以识别真实世界的其他用户/人,并且可以将其呈现为虚拟对象。例如,如上所述,第一用户的朋友可以呈现为第一用户的AR系统处的化身。

在一些实施方式中,为了呈现适当地模仿用户的化身,用户可以例如通过运动通过所需或规定的运动集合来训练AR系统。作为响应,AR系统可以例如通过使化身动画化来生成其中化身复制运动的化身序列。因此,AR系统捕获或接收用户的图像,并且基于用户在捕获的图像中的运动来生成化身的动画。可以例如通过佩戴一个或多个传感器来对用户进行仪器装备(instrument)。在一个或多个实施例中,AR系统基于他/她的个人AR系统的各种传感器捕获的数据知道用户头部、眼睛和/或手部的姿态在哪里。

在一个或多个实施例中,AR系统可以允许用户“设置”化身并基于预定的运动和/或模式来“训练”化身。用户可以例如简单地为了训练目的而执行一些动作。在一个或多个实施例中,AR系统可以对用户身体的其余部分执行反向运动学分析,并且可以基于反向运动学分析来创建动画。

在一个或多个实施例中,可传递世界还可以包含关于居住于空间的各种化身的信息。应当理解,在一个实施例中,每个用户可以呈现为化身。或者,从远程地点操作单个AR系统的用户可以创建化身并且也数字地占据特定空间。在任一情况下,由于可传递世界不是静态数据结构,而是不断接收信息,所以化身呈现和用户到空间的远程存在可以基于用户与用户的个人AR系统的交互。因此,可以基于用户与他/她的单独的增强现实装置的交互来呈现化身,而不是基于捕获的关键帧(如由相机捕获的)不断地更新化身的运动。有利地,这减少了对个人AR系统从云中检索数据的需要,而是允许系统在个人AR系统本身上执行在化身动画中涉及的大量计算任务。

更具体地,用户的个人AR系统包含关于用户在空间中的头部姿态和取向的信息,关于用户的手部运动等的信息,关于用户的眼睛和眼睛注视的信息,关于由用户使用的任何图腾的信息。因此,用户的个人AR系统已经保存了关于在被发送到可传递世界模型的特定空间内的用户的交互的许多信息。然后,该信息可以可靠地用于为用户创建化身,并帮助化身与该空间的其他化身或用户通信。应当理解,在一个或多个实施例中,可以不需要第三方相机来动画化化身。相反,化身可以基于用户的个人AR系统而动画化,并且然后发送到云以由AR系统的其他用户观看/交互。

在一个或多个实施例中,AR系统通过AR系统的传感器捕获与用户有关的一组数据。例如,加速度计、陀螺仪、深度传感器、IR传感器、基于图像的相机等可以确定用户相对于头戴式系统的运动。该运动可以通过处理器计算并且通过一个或多个算法翻译以在选择的化身中产生类似的运动。在一个或多个实施例中,化身可以由用户选择。或者,在其它实施例中,化身可以简单地由正在观看化身的另一用户选择。或者,化身可以简单地是用户自身的虚拟的、实时的、动态的图像。

基于所捕获的关于用户的数据集(例如,运动、情绪、运动方向、运动速度、物理属性、身体部位相对于头部的运动等),可以确定传感器(例如,个体AR系统的传感器)相对于用户的的姿态。该姿态(例如,位置和取向)允许系统确定从其捕获运动/数据集合的视点,以使得其可以被精确地平移/变换。基于该信息,AR系统可以确定与用户的运动(例如,通过向量)相关的一组参数,并用所计算的运动来动画化期望的化身。

任何类似的方法可以用于使化身动画化以模仿用户的运动。应当理解,用户的运动和化身的运动(例如,在正在另一用户的个人AR装置处显示的虚拟图像中)协调使得运动被捕获并且在尽可能少的时间内被传送到化身。理想地,在捕获的用户的运动与化身的动画之间的时间滞后应该是最小的。

例如,如果用户当前不在会议室,但是想要将化身插入到该空间中以参加会议室中的会议,则AR系统获取关于用户与他/她自己系统的交互的信息并且使用那些输入通过可传递世界模型将化身呈现到会议室中。可以呈现化身,以使得化身采取用户自己的图像的形式,以使得其看起来像用户自己正在参加会议。或者,基于用户的偏好,化身可以是用户选择的任何图像。例如,用户可以呈现他/她自己作为一只鸟在会议室的空间飞行。

同时,关于会议室的信息(例如,关键帧、点、姿态标记的图像、会议室中的人的化身信息、识别的对象等)可以作为虚拟内容呈现给目前不在会议室的用户。在物理空间中,系统可以捕获几何地配准的关键帧,然后可以从捕获的关键帧导出点。如前所述,基于这些点,系统可以计算姿态并且可以运行对象识别器,并且可以将参数几何结构重新插入到关键帧中,以使得关键帧的点还具有附加到它们的语义信息。因此,采用所有这些几何和语义信息,会议室现在可以与其他用户共享。例如,会议室场景可以呈现在用户的桌子上。因此,即使在会议室没有相机,使用通过先前的关键帧等收集的信息的可传递世界模型能够向其他用户发送关于会议室的信息并为在其它空间中的其他用户重建房间的几何形状。

拓扑图

可传递世界模型的不可缺少的组成部分是创建真实世界的非常微小区域的地图。例如,为了呈现与物理对象相关的虚拟内容,需要非常详细的定位。这种定位可能不能简单地通过GPS或传统的地点检测技术来实现。例如,AR系统不仅可以要求用户所在的物理地点的坐标,而且可以例如需要准确地知道用户位于建筑物的什么房间。基于该信息,AR系统可以检索该房间的数据(例如,房间中的真实对象的特定几何形状,房间的映射点,房间的几何信息等),以相对于所识别的房间的真实对象适当地显示虚拟内容。然而,同时,这种精确的粒度定位可以以成本有效的方式进行,以免不必要地消耗太多的资源。

为此,AR系统可以使用拓扑图用于定位目的,而不是GPS或者检索从提取的点和姿态标记的图像创建的详细几何地图(例如,几何点可能太具体,且因此最昂贵)。在一个或多个实施例中,拓扑图是真实世界中的物理空间的简化表示,其易于从云访问,并且仅呈现空间的指纹以及各种空间之间的关系。关于拓扑图的进一步细节将在下面进一步提供。

在一个或多个实施例中,AR系统可以在可传递世界模型上层叠拓扑图,例如以定位节点。拓扑图可以在可传递世界模型上层叠各种类型的信息,例如:点云,图像,空间中的对象,全球定位系统(GPS)数据,Wi-Fi数据,直方图(例如房间的颜色直方图),接收信号强度(RSS)数据等。这允许各种信息层(例如,更详细的信息层与更高级的层交互)放置在彼此的上下文中,以使得它可以容易获取。该信息可以被认为是指纹数据;换句话说,其被设计为足够特定以对于地点(例如,特定房间)是唯一的。

如上所述,为了创建可以在各个用户之间可靠地传递的完整的虚拟世界,AR系统捕获关于用户的周围环境的不同类型的信息(例如,映射点、特征、姿态标记的图像、场景等)。该信息被处理并存储在云中,以使得其可以根据需要被检索。如前所述,可传递世界模型是光栅图像、点和描述符云以及多边形/几何定义(在此称为参数几何)的组合。因此,应当理解,通过用户的个人AR系统捕获的信息的绝对量允许在创建虚拟世界时的高质量和准确性。

换句话说,由于各种AR系统(例如,用户特定的头戴式系统,基于房间的传感器系统等)不断地捕获对应于相应AR系统的直接环境的数据,可以以高度确定性知道在任何时间点关于真实世界的非常详细和准确的信息。虽然这些信息对于大量AR应用程序非常有用,但是为了定位目的,寻遍那么多的信息来找到与用户最相关的可传递世界是非常低效的并且花费宝贵的带宽。

为此,AR系统创建拓扑图,其本质上提供关于特定场景或特定地点的较小粒度的信息。在一个或多个实施例中,拓扑图可以通过全球定位系统(GPS)数据、Wi-Fi数据、直方图(例如房间的颜色直方图)、接收信号强度(RSS)数据等导出。例如,拓扑图可以由各种房间/区域/空间的直方图(例如,颜色直方图)创建,并且被缩小到拓扑图上的节点。例如,当用户走进房间或空间时,AR系统可以获取单个图像(或其它信息)并构建图像的颜色直方图。应当理解,在某种程度上,特定空间的直方图将随时间推移大体恒定(例如,墙壁的颜色、房间的对象的颜色等)。换句话说,每个房间或空间具有不同于任何其它房间或地方的不同的签名。该唯一直方图可以与其它空间/区域的其它直方图进行比较并且被识别。现在,AR系统知道用户在什么房间,可以容易地访问并下载剩余的粒度信息。

因此,尽管直方图将不包含关于已经被各种相机(关键帧)捕获的所有特征和点的特定信息,但是系统可以基于直方图立即检测用户在哪里,并且然后检索与该特定房间或地点相关联的所有更特定的几何信息。换句话说,不是寻遍包含该可传递世界模型的大量几何和参数信息,拓扑图允许快速且有效的方式来定位AR用户。基于该定位,AR系统检索与所识别的地点最相关的关键帧和点。例如,在系统已经确定用户在建筑物的会议室中之后,系统然后可以检索与会议室相关联的所有关键帧和点,而不是搜索存储在云中的所有几何信息。

现在参考图32,呈现拓扑图3200的示例实施例。如上所述,拓扑图3200可以是节点3202以及节点3202之间的连接3204(例如,由连接线表示)的集合。每个节点3202表示具有不同的签名或指纹(例如,GPS信息、颜色直方图或其它直方图、Wi-Fi数据、RSS数据等)的特定地点(例如,办公大楼的会议室),并且线可表示它们之间的连接性。应当理解,连接性可以与地理连接性无关,而是可以简单地是共享装置或共享用户。例如,第一用户可能已经从第一节点走到第二节点。该关系可以通过节点之间的连接来表示。随着AR用户的数量的增加,节点和节点之间的连接也将成比例地增加,从而提供关于各种地点的更精确的信息。

一旦AR系统识别出拓扑图的节点,则系统可以检索与该节点相关的一组几何信息,以确定如何/在何处显示与该空间的真实对象相关的虚拟内容。因此,在几何图上层叠拓扑图特别有助于定位并高效地仅从云中检索相关信息。

在一个或多个实施例中,AR系统可以在图形理论上下文中将相应相机捕获的相同场景的一部分的两个图像表示为第一和第二姿态标记的图像。应当理解,在本上下文中的相机可以指拍摄不同场景的图像的单个相机,或者它可以是两个不同的相机。在姿态标记的图像之间存在一些连接强度,其可以例如是在两个相机的视场中的点。在一个或多个实施例中,基于云的计算机可以构造诸如图形(例如,类似于图32的几何世界的拓扑表示)。图形中的节点和边的总数远小于图像中的点的总数。

在更高的抽象级别,由AR系统监视的其它信息可以一起散列。例如,基于云的计算机可以将一个或多个全球定位系统(GPS)地点信息、Wi-Fi地点信息(例如,信号强度)、物理空间的颜色直方图和/或关于用户周围的物理对象的信息散列在一起。数据点越多,计算机在统计上具有该空间的唯一标识符的可能性越大。在这种情况下,空间是统计定义的概念。

作为示例,办公室可以是被表示为例如大量的点和两打姿态标记的图像的空间。相同的空间可以在拓扑上表示为仅具有一定数量的节点(例如,5,25,100,1000等)的图,其可以容易地被散列。图形理论允许表示连通性,例如作为两个空间之间算术地最短路径。

因此,系统通过将几何形状转换为具有隐式拓扑的姿态标记的图像来从特定几何形状中抽象。系统通过添加其它信息片段(例如颜色直方图分布和Wi-Fi信号强度)来使抽象级别更高。这使得系统更容易识别用户的实际真实世界地点,而不必理解或处理与该地点相关联的所有几何形状。

图33示出构建拓扑图的示例方法3300。首先,在3302处,用户的个人AR系统可以从特定地点的第一视点捕获图像(例如,用户走进建筑物的房间,并且从该视点捕获图像)。在3304处,可以基于捕获的图像生成颜色直方图。如前所述,系统可以使用任何其它类型的识别信息(例如,Wi-Fi数据、RSS信息、GPS数据、窗口数量等),但是在该示例中使用颜色直方图用于说明的目的。

接下来,在3306处,系统通过将颜色直方图与存储在云中的颜色直方图的数据库进行比较来运行搜索以识别用户的地点。在3310处,做出确定颜色直方图是否与存储在云中的现有颜色直方图匹配的决定。如果颜色直方图不匹配颜色直方图数据库中的任何颜色直方图,则其可以被存储为拓扑图中的节点3314。如果颜色直方图与数据库的现有颜色直方图匹配,则将其存储为云中的节点3312。如果颜色直方图与数据库中的现有颜色直方图匹配,则识别该地点,并且将适当的几何信息提供给个人AR系统。

继续相同的示例,用户可以走进另一个房间或另一个地点,其中用户的个人AR系统拍摄另一个图片并且生成另一个地点的另一个颜色直方图。如果颜色直方图与先前颜色直方图或任何其它颜色直方图相同,则AR系统识别用户的地点。如果颜色直方图不同于存储的直方图,则在拓扑图上创建另一个节点。另外,由于第一节点和第二节点由相同用户(或相同的相机/相同的个体用户系统)拍摄,所以两个节点在拓扑图中连接。

在一个或多个实施例中,AR系统可以利用网状联网定位。个人AR系统具有关于位置的本地知识。这允许明确地构造拓扑图,其中连接通过距离加权,如上所述。这允许用户通过AR系统的最优网状网络算法。因此,AR系统可以基于其已知的绝对姿态来优化移动通信路由。除了机器视觉之外,AR系统还可以使用超宽带(UWB)通信基础设施用于通信和定位。

除了帮助定位之外,拓扑图还可以用于改善/修复几何图中的错误和/或丢失信息。在一个或多个实施例中,拓扑图可以用于在特定地点的几何图或几何配置中找到环闭合应力。如上所述,对于任何给定的地点或空间,由一个或多个AR系统(由一个用户的个人AR系统或多个用户的AR系统捕获的多个视场图像)拍摄的图像产生大量的特定空间的映射点。例如,单个房间可以对应于通过各种相机的多个视点(或移动到各种位置的一个相机)捕获的数千个映射点。

如上所述,AR系统利用映射点来识别对象(通过对象识别器),并且添加到可传递世界模型以便存储真实世界的各种对象的几何形状的更全面的图片。在一个或多个实施例中,从各种关键帧导出的映射点可以用于对捕获图像的相机的姿态和取向进行三角测量。换句话说,所收集的映射点可以用于估计捕获图像的关键帧(例如,相机)的姿态(例如,位置和取向)。

然而,应当理解,给定大量的映射点和关键帧,在基于映射点的关键帧位置的计算中肯定存在一些误差(例如,应力)。为了解决这些应力,AR系统可以执行束调节。束调节允许精细化或者优化映射点和关键帧以最小化几何图中的应力。

例如,如在图34中所示,呈现了示例几何图。如在图34中所示,几何图可以是都彼此连接的关键帧3402的集合。关键帧3402可以表示从其导出几何图的各种映射点的视点。在所示实施例中,几何图的每个节点表示关键帧(例如,相机),并且各个关键帧通过连接线3404彼此连接。

在所示实施例中,不同关键帧之间的连接的强度由连接线3404的粗细表示。例如,如在图34中所示,与节点3402a和节点3402f之间的连接线相比,节点3402a和3402b之间的连接线被描绘为较粗的连接线3404。节点3402a和节点3402d之间的连接线也描绘为比3402b和节点3402d之间的连接线更粗。在一个或多个实施例中,连接线的粗细表示在它们之间共享的特征或映射点的数量。例如,如果第一关键帧和第二关键帧靠近在一起,则它们可以共享大量的映射点(例如,节点3402a和节点3402b),并且因此可以用较粗的连接线来表示。当然,应当理解,可以类似地使用表示几何图的其它方式。

例如,在另一个实施例中,线的强度可以基于关键帧之间的地理接近度。因此,如在图34中所示,每个几何图表示大量的关键帧3402及其彼此的连接。现在,假设在几何图的特定点中识别出应力,可以执行束调节以通过将应力径向地从所识别的应力点3406径向推出而减轻应力。应力在从应力点传播的波3408(例如,n=1,n=2等)中被径向推出,如下面将进一步详细描述的。

以下描述示出执行波传播束调节的示例方法。应当理解,下面的所有示例仅仅涉及波传播束调节,并且在其它实施例中可以类似地使用其它类型的束调节。首先,识别特定的应力点。在图34的所示实施例中,考虑中心(节点3402a)是识别的应力点。例如,系统可以确定几何图的特定点处的应力特别高(例如,残余误差等)。可以基于两个原因中的一个原因来识别应力。第一,可以为几何图定义最大残余误差。如果在特定点处的残余误差大于预定义的最大残余误差,则可以启动束调节。第二,在环闭合应力的情况下,可以启动束调节,如下面将进一步描述的(当拓扑图指示映射点的失准时)。

当识别出应力时,AR系统均匀地分布误差,从应力点开始,并且径向地通过包围特定应力点的节点网络传播该应力。例如,在所示实施例中,束调节可以将误差分布在所识别的应力点周围的n=1(与所识别的应力点(节点3402a)的一个分离度)。在所示实施例中,节点3402b-3402g都是应力点(节点3402a)周围的n=1波的一部分。

在一些情况下,这可能是足够的。在其它实施例中,AR系统可以进一步传播应力,并且将应力推出到n=2(与识别的应力点(节点3402a)的两个分离度),或者n=3(与识别的应力点(节点3402a)的三个分离度),以使得应力被进一步径向推出,并进一步直到应力均匀分布。因此,执行束调节是减少几何图中的应力的重要方式。理想地,应力被推出到n=2或n=3以获得更好的结果。

在一个或多个实施例中,波可以以甚至更小的增量传播。例如,在波被围绕应力点推出到n=2之后,可以在n=3和n=2之间的区域中执行束调节,并且径向传播。通过控制波增量,该迭代波传播束调节过程可以对大量数据运行以减小系统上的应力。在可选实施例中,因为每个波是唯一的,所以已经被波触摸的节点(例如,调节的束)可以被着色,以使得波不在几何图的已调节部分上重新传播。在另一实施例中,节点可以被着色,以使得同时的波可以从几何图中的不同点传播/发起。

如前所述,在关键帧和映射点的几何图上将拓扑图分层对于找到环闭合应力可能是特别重要的。环闭合应力是指在应该对准但是未对准的不同时间捕获的映射点之间的差异。例如,如果用户围绕街区行走并返回到相同的位置,则从所收集的映射点外推的从第一关键帧的位置导出的映射点和从最后关键帧的位置导出的映射点理想地应该是相同的。然而,给定基于不同映射点的姿态(关键帧的位置)的计算中固有的应力,常常存在错误,并且系统不能识别用户已经回到相同位置,因为来自第一关键帧的估计关键点与从最后关键帧导出的映射点几何上不对准。这可以是环闭合应力的示例。

为此,拓扑图可以用于找到几何图中的环闭合应力。返回参考前面的示例,使用拓扑图连同几何图允许AR系统识别几何图中的环闭合应力,因为拓扑图可以指示用户已经回到起始点(基于例如颜色直方图)。例如,参考图35的分层地图3500,拓扑图(例如,3504a和3504b)的节点被层叠在几何图(例如,3502a-3502f)的节点的顶部。如在图16中所示,当放置在几何图的顶部时,拓扑图可以表明关键帧B(节点3502g)与关键帧A(节点3502a)相同。基于此,可以检测到环闭合应力,系统检测关键帧A和B应该在相同节点中更靠近在一起,并且系统然后可以执行束调节。因此,已经识别出环闭合应力,AR系统然后可以使用束调节技术(诸如上面讨论的束调节技术)对识别的应力点执行束调节。

应当理解,基于拓扑图和几何图的层叠执行束调节确保系统仅检索需要执行束调节的关键帧,而不是检索系统中的所有关键帧。例如,如果AR系统基于拓扑图识别存在环闭合应力,则系统可以简单地检索与拓扑图的特定一个节点或多个节点相关联的关键帧,并且仅对那些关键帧而不是几何图的所有关键帧执行束调节。再次地,这允许系统是高效的,并且不检索可能不必要地使系统负担的不必要的信息。

现在参考图36,描述了用于基于拓扑图来校正环闭合应力的示例方法3600。在3602处,系统可以基于层叠在几何图的顶部的拓扑图来识别环闭合应力。一旦已经识别环闭合应力,则在3604处,系统可以检索与拓扑图的节点相关联的关键帧集合,在该集合处发生了环闭合应力。在已经检索到拓扑图的该节点的关键帧之后,系统可以在3606处在几何图中的该点上启动束调节。在3608处,应力离开所识别的应力点传播并且在波中径向分布到n=1(然后n=2,n=3等),类似于图34中所示的技术。

在映射虚拟世界的过程中,重要的是知道真实世界中的所有特征和点以精确地描绘与真实世界相关的虚拟对象。为此,如上所述,从各种头部佩戴AR系统捕获的映射点通过添加传达关于真实世界的各种点和特征的信息的新图片而不断地添加到可传递世界模型中。基于点和特征,如上所述,还可以外推关键帧(例如,相机等)的姿态和位置。虽然这允许AR系统收集一组特征(2D点)和映射点(3D点),但是找到新的特征和映射点以呈现可传递世界的更精确版本可能也是重要的。

找到新的映射点和/或特征的一种方法可以是将一个图像的特征与另一个图像的特征进行比较。每个特征可以具有附加到它的标签或特征描述符(例如,颜色、标识符等)。将一个图片中的特征的标签与另一个图片进行比较可以是唯一地识别环境中的自然特征的一种方式。例如,如果存在两个关键帧,每个关键帧捕获大约500个特征,则将一个关键帧的特征与另一个关键帧进行比较可以帮助确定新的映射点。然而,尽管当仅存在两个关键帧时这可能是可行的解决方案,但是当存在多个关键帧时,其成为占据了很多处理能力的非常大的搜索问题,其中每个关键帧捕获数百万个点。换句话说,如果存在M个关键帧,每个关键帧具有N个不匹配的特征,则搜索新特征涉及MN2(O(MN2))的操作。不幸的是,这是一个非常大的搜索操作。

找到避免这种大的搜索操作的新点的一种方法是通过呈现而不是搜索。换句话说,假设M个关键帧的位置是已知的并且它们中的每一个具有N个点,AR系统可以从N个特征向M个关键帧投影线(或锥体),以对各个2D点的3D位置进行三角测量。现在参考图37,在该特定示例中,存在6个关键帧3702,并且从6个关键帧到从相应关键帧导出的点3704呈现(使用图形卡)线或光线。在一个或多个实施例中,可以基于所呈现的线的交点来确定新的3D映射点。换句话说,当两条呈现的线相交时,3D空间中的该特定映射点的像素坐标可以是2而不是1或0。因此,在特定点处的线的交点越高,存在与3D空间中的特定特征相对应的映射点的可能性越高。在一个或多个实施例中,如在图37中所示,该相交方法可以用于在3D空间中找到新的映射点。

应当理解,为了优化目的,不是从关键帧呈现线,而是可以从关键帧呈现三角锥以获得更准确的结果。三角锥被投影,以使得对N特征(例如,3704)的呈现线表示三角锥的平分线,并且锥体的侧边投影在第N个特征的任一侧。在一个或多个实施例中,到两个侧边缘的半角可以由相机的像素间距限定,该像素间距贯穿第N个特征的任一侧上的透镜映射函数。

锥体的内部可以是阴影的,以使得平分线是最亮的,并且第N个特征的任一侧上的边缘可以被设置为0。相机缓冲器可以是求和缓冲器,以使得亮点可以表示新特征的候选地点,但考虑到相机分辨率和镜头校准二者。换句话说,投影锥体而不是线可以帮助补偿这样的事实,即某些关键帧比可以在更近的距离处捕获特征的其它关键帧更远。在该方法中,从更远离的关键帧呈现的三角锥将比从更近的关键帧呈现的三角锥更大(并且具有大的半径)。可以应用求和缓冲器以便确定3D映射点(例如,地图的最亮点可以表示新的映射点)。

基本上,AR系统可以将来自M个在前关键帧中的N个不匹配特征的光线或锥体投影到M+1个关键帧的纹理中,其编码了关键帧标识符和特征标识符。AR系统可以从当前关键帧中的特征构建另一纹理,并且用第二纹理掩蔽第一纹理。所有颜色是搜索约束的候选配对。该方法有利地将对约束的O(MN2)搜索转换为O(MN)呈现,随后是小的O((显示处理

传感器阶段与从用于通过可佩戴装置创建或显示数据的一个或多个传感器获取的测量有关。这种传感器可以包括例如相机、IMU等。问题是,一些传感器可能具有彼此显著不同的测量速率,其中一些被认为相对“快”,另一些可以被认为相对“慢”。相机传感器可以例如在从30-60次测量/秒的范围内相对缓慢地操作。相比之下,IMU可以例如在500-2000次测量/秒的范围内相对快地操作。当尝试使用测量数据来生成显示信息时,这些不同的测量速率可能引入延迟和不一致。

此外,可以在一些上述识别的处理阶段期间引入定时延迟。例如,可以在计算阶段中引入定时延迟,在该计算阶段期间接收传感器数据并且运行该传感器数据上的计算。例如,用于归一化、计算、调节和/或缩放传感器数据的动作将可能在该处理阶段期间生成延迟Δtcompute。类似地,应用阶段也可能引入一定量的延迟。应用阶段是特定应用正在执行以对用户期望的功能的输入数据进行操作的阶段。例如,如果用户正在玩游戏,则游戏应用在应用阶段中运行。应用所需的处理将在该处理阶段期间引入延迟Δtapplication。显示处理阶段也可能将自己的延迟Δtdisplay引入到该过程中。例如,引入该延迟以执行呈现像素以在可佩戴目镜中显示所需的处理。显然,在处理的各个阶段期间引入了许多类型的延迟。

本发明的实施例使用预测滤波器来考虑和/或校正这些延迟和/或不一致对显示图像的影响。这通过预测性地确定这些问题的影响(例如,通过添加/计算时钟以及Δtcompute和Δtapplication和Δtdisplay的效果)来实现。预测滤波器还考虑传感器阶段处的传感器测量的相对速度。可用于进行该预测的一种可能的方法是在显示处理阶段中利用卡尔曼预测器。至少部分地基于该预测,可以对显示数据进行补偿改变以考虑和/或校正延迟和/或测量速度的负面影响。

作为说明性示例,考虑当需要在可佩戴装置中显示某组视觉数据。然而,用户还在该特定时间点运动,并且上面讨论的延迟可能导致用于该场景的对于该用户的呈现像素的明显滞后。在该情况下,本实施例使用预测滤波器来识别延迟的存在和效果,分析用户的运动以确定“他要去哪里”,并且然后执行所显示的数据的“移位”以考虑处理延迟。滤波器还可以例如使用卡尔曼平滑器用于“平滑”视觉假象和来自传感器测量的负面效果。

UI系统

以下讨论将集中于可以用于与AR系统通信的各种类型的用户界面部件。

AR系统可以使用各种类型的用户界面(UI)部件中的一个或多个。用户界面部件可以包括执行以下各项的部件:眼睛跟踪、手部跟踪、图腾跟踪、自然特征姿态确定、头部姿态确定以及预测性头部姿态确定。用户界面系统可以利用异步世界模型。如在此所讨论的,用户界面部件可以采用以视图为中心(例如,以头部为中心)的呈现,以身体为中心的呈现和/或以世界为中心的呈现。此外,用户界面部件可以采用各种类型的环境数据,例如邻近于墙壁/天花板/地板/3D-blob/等的GPS地点数据、Wi-Fi信号强度日期、蜂窝电话差分信号强度、已知特征、图像直方图分布、房间特征的散列等,世界中的地点(例如,家、办公室、汽车、街道),近似社交数据(例如,“朋友”),和/或语音识别。

如上所述,异步部分模型指的是在个人AR系统中构建本地副本并且使任何改变与云同步。例如,如果椅子在空间中移动,则椅子对象识别器可以识别椅子已经移动。然而,在将该信息发送到云中,并且然后将其下载到本地系统,以使得远程存在化身可以坐在椅子中,可能存在延迟。

应当理解,环境数据可以有助于可以如何使用用户界面。由于AR系统是情境感知的,它隐含地具有对用户或物理对象位于何处的语义理解。例如,可以使用GPS地点数据、Wi-Fi信号强度或网络标识、差分信号强度、已知特征、直方图分布等来对拓扑图做出统计推断。可以扩展增强现实实施方式中的用户界面的概念。例如,如果用户靠近墙壁并敲击墙壁,则敲击可以由用户界面解释为用户体验(UX)交互模式。作为另一示例,如果用户在装置上选择特定的Wi-Fi信号,则该选择可以由用户界面解释为交互模式。用户周围的世界成为用户的用户界面(UI)的一部分。

用户输入

参考图100,用户界面可以响应于各种输入中的一个或多个。AR系统的用户界面可以例如响应于手部输入10002,例如:手势、触摸、多点触摸和/或多手输入。AR系统的用户界面可以例如响应于眼睛输入10004,例如:眼睛向量和/或眼睛状况(例如,打开/关闭)。AR系统的用户界面可以例如响应图腾输入10006。图腾可以采取大量形式中的任一种,例如腰包。图腾输入可以是静态的,例如跟踪封闭的书/平板等。图腾输入可以是动态的,例如动态地改变,如翻动书中的页面等。图腾输入可以与图腾的通信相关,例如光线枪图腾。图腾输入可以与固有通信相关,例如经由USB的通信、数据通信等。图形输入可以经由模拟操纵杆、点击轮等生成。

AR系统的用户界面可以例如响应于头部姿态,例如头部位置和/或取向。AR系统的用户界面可以例如响应于语音,例如语音命令和参数。AR系统的用户界面可以例如响应于环境声音。例如,AR系统可以包括一个或多个环境麦克风以拾取声音,例如胸部轻拍等。

AR系统的用户界面可以例如响应于环境情况。例如,用户界面可以响应于发生在墙壁附近或靠近墙壁的运动,或者高于限定阈值的运动(例如,以相对高的速度的运动)。

具有一致的用户界面隐喻以向开发者建议并构建到AR系统的操作系统(OS)中并且其可以允许用于各种应用和/或游戏的重新蒙皮(reskinning)可能是有用的。一种方法可以采用用户可致动杆或按钮图标,尽管该方法缺少触觉反馈。杆可以具有相应的支点,尽管这种方法对于用户可能是困难的。另一种方法是基于有意使事物远离的“力场”隐喻(例如边界上的火花等)。

在一个或多个实施例中,可以以虚拟用户界面的形式向用户呈现虚拟图像。虚拟用户界面可以是浮动虚拟屏幕,如在图100中所示。由于系统知道虚拟用户界面在何处(例如,深度、距离、感知地点等),因此系统可以容易地计算虚拟界面的坐标,并且允许用户与虚拟屏幕交互,并且基于交互发生的坐标以及用户的手部、眼睛等的已知坐标从虚拟用户界面接收输入。

因此,换句话说,系统映射各种“键”或虚拟用户界面的特征的坐标,并且还映射用户的手部、眼睛(或任何其它类型的输入)的坐标/知道其位置,以及使它们相关,以接收用户输入。

例如,如果在以头部为中心的参考系中向用户呈现虚拟用户界面,则系统总是知道虚拟用户界面的各种“键”或特征相对于以世界为中心的参考系的距离/位置。然后,系统执行一些数学转换/变换以找到两个参考系之间的关系。接下来,用户可以通过挤压虚拟图标来“选择”用户界面的按钮。由于系统知道触摸的位置(例如,基于触觉传感器、基于图像的传感器、深度传感器等),系统基于手部挤压的位置和用户界面按钮的已知位置确定选择了什么按钮。

因此,不断知道虚拟对象相对于真实对象的位置以及相对于各种参考系(例如,以世界为中心,以头部为中心,以手部为中心,以臀部为中心等)的位置允许系统了解各种用户输入。基于输入,系统可以使用映射表来将输入与特定动作或命令相关,并执行动作。

换句话说,用户与虚拟用户界面的交互总是被跟踪(例如,眼睛交互、手势交互、手部交互、头部交互等)。这些交互(或这些交互的特征),包括但不限于交互的位置、交互的力、交互的方向、交互的频率、交互的数量、交互的性质等,用于允许用户响应于所显示的虚拟用户界面向用户界面提供用户输入。

眼睛跟踪

在一个或多个实施例中,AR系统可以跟踪物理空间或环境(例如,物理房间)中的一个或多个用户的眼睛姿态(例如,取向、方向)和/或眼睛运动。AR系统可以利用由定位和取向成检测用户眼睛的姿态和/或运动的一个或多个传感器或换能器(例如,相机)收集的信息(例如,捕获的图像或图像数据)。例如,个人AR系统的头部佩戴部件可以包括一个或多个面向内的相机和/或光源以跟踪用户的眼睛。

如上所述,AR系统可以跟踪用户的眼睛姿态(例如,取向、方向)和眼睛运动,并构建“热图”。热图可以是跟踪并记录针对一个或多个虚拟或真实对象的眼睛姿态实例的时间、频率和数量的世界的地图。例如,热图可以提供关于什么虚拟和/或真实对象产生眼睛注视或注视的最多数量/时间/频率的信息。这可以进一步允许系统理解用户对特定虚拟或真实对象的兴趣。

有利地,在一个或多个实施例中,在一些实施例中,热图可以用于广告或营销目的,并确定广告活动的有效性。AR系统可以生成或确定表示用户正在关注的空间中的区域的热图。在一个或多个实施例中,AR系统可以例如采用基于眼睛跟踪和/或热图优化的位置和/或光学特性(例如,颜色、光度、亮度)来呈现虚拟内容(例如,虚拟对象、虚拟工具和其它虚拟构造,例如应用、特征、字符、文本、数字和其他符号)。

注视跟踪

应当理解,关于注视跟踪概述的概念可以应用于下面进一步描述的任何用户场景和实施例。在一个或多个实施例中,下面描述的各种用户界面还可以被激活/发起回到检测到的注视。在此所描述的原理可以应用于本公开的任何其它部分,并且不应被解读为限制。

在一些实施例中,AR系统可以跟踪眼睛注视。存在注视跟踪的三个主要部件:眼睛跟踪模块(瞳孔检测和角膜中心的检测)、头部跟踪模块,以及使眼睛跟踪模块与头部跟踪模块相关的相关模块。相关模块使世界坐标(例如,真实世界中的对象的位置)和眼睛坐标(例如,眼睛相对于眼睛跟踪相机的运动等)之间的信息相关。

眼睛跟踪模块被配置为确定角膜的中心和瞳孔的中心。参考图117,示出了眼睛11702的示意图。如在图117中所示,线11704示为穿过角膜的中心、瞳孔的中心和眼球的中心。该线11704可以被称为光轴。

图117还示出穿过角膜的另一注视线11706。该线可以被称为视轴。如在图17中所示,视轴是相对于光轴的倾斜线。应当理解,视轴11706穿过的小凹(fovea)1708的区域被认为是感光器的非常密集的区域,并且因此对于眼睛观察外部世界是至关重要的。视轴11706通常与光轴有1-5°的偏差(不一定是竖直偏差)。

在常规注视跟踪技术中,主要假设之一是头部不移动。这使得更容易相对于光轴确定视轴以用于注视跟踪目的。然而,在AR系统的上下文中,预期用户将不断地移动他/她的头部;因此常规的注视跟踪机制可能不可行。

为此,AR系统被配置为相对于系统归一化角膜的位置。应当理解,角膜的位置在注视跟踪中非常重要,因为光轴和视轴二者穿过角膜,如前面的图117中所示。

现在参考图118,AR系统包括附接到可佩戴AR系统11806的世界相机系统(例如,放置在用户头部上以捕获一组环境的相机;相机随着用户头部的移动而移动)。此外,如在图118中所示,AR系统11806可以进一步包括跟踪眼睛11802的运动的一个或多个眼睛跟踪相机11808。由于两个相机(例如眼睛跟踪相机11808和世界相机11804)正在移动,该系统可以考虑头部运动和眼睛运动二者。可以跟踪头部运动(例如,基于FOV相机11804计算的)和眼睛运动(例如,基于眼睛跟踪相机11808计算的),以便归一化角膜的位置。

应当理解,眼睛跟踪相机11808测量从相机到角膜中心的距离。因此,为了补偿可佩戴AR系统11806如何相对于眼睛移动的任何变化,到角膜中心的距离被归一化。例如,对于眼镜运动,可能存在相机远离角膜的轻微旋转和/或平移。然而,系统通过使到角膜中心的距离归一化来补偿该运动。

应当理解,由于眼睛跟踪相机和头部相机(世界相机)都是刚体(例如,AR系统的框架),所以眼睛跟踪相机的任何归一化或校正也需要类似地在世界相机上执行。例如,相同的旋转和平移向量可以类似地应用于世界相机系统。因此,该步骤识别眼睛跟踪和头部跟踪系统之间的关系(例如,旋转向量、平移向量等)。

一旦已经识别旋转和/或平移向量,就在远离用户的各种深度处执行校准步骤。例如,可以存在距离用户固定距离的已知点。世界相机11804可以测量空间中的固定的点与用户之间的距离。如上所述,基于与眼睛跟踪相机11808相关联的计算,角膜中心的位置也是已知的。

另外,如上所述,眼睛跟踪相机11808和世界相机之间的关系也是已知的(例如,任何平移或旋转向量)。因此,可以理解,一旦已经识别目标的位置(例如,空间中的固定已知点)和角膜的位置,可以容易地识别注视线(从角膜到目标)。该信息可以用于映射和/或呈现,以便相对于物理世界的一个或多个真实对象精确地描绘空间中的虚拟对象。

更具体地,为了确定世界相机11804和眼睛跟踪相机11806之间的关系,可以向眼睛相机和世界相机两者呈现至少两个固定图像,并且可以使用图像中的差异以校准两个相机。例如,如果知道相对于眼睛跟踪系统11808的角膜的中心,则可以通过利用眼睛相机和世界相机之间的已知关系,确定相对于世界坐标系11804的角膜的中心。

在一个或多个实施例中,在校准过程期间(例如,在用户首次接收AR装置时的设置过程期间等),第一固定图像由眼睛相机11806并且然后由世界相机11804捕获。为了说明的目的,由眼睛相机执行的第一图像捕获可以被认为是“E”,并且由世界相机执行的第一图像捕获可以被认为是“W”。然后,第二固定图像由眼睛相机11806捕获,并且然后由世界相机11804捕获。第二固定图像可以在与第一固定图像稍微不同的位置。

眼睛相机的第二图像捕获可以被称为E',并且世界相机的第二图像捕获可以被称为W'。由于Z=WXE和Z=W'XE',所以X可以容易地使用上述两个方程计算。因此,该信息可以用于可靠地映射点以自然地校准相机相对于世界的位置。通过建立该映射信息,可以容易地确定注视线11706,其可以进而用于向用户策略性地提供虚拟内容。

注视跟踪硬件

现在参考图119,为了使用眼睛跟踪模块检测角膜的中心,AR系统利用具有两个闪烁(例如,LED灯)的一个相机或各自具有一个闪烁的两个相机。在所示实施例中,仅示出相对于眼睛11802和眼睛跟踪相机11806的一个闪烁11902。应当理解,角膜的表面是高度反射的,因此,如果存在跟踪眼睛(例如,眼睛跟踪相机)的相机,则可能存在形成在相机的图像平面上的闪烁。

由于LED光11902的3D位置是已知的,并且从相机的图像平面到闪烁11910的线是已知的,所以创建包括闪烁和图像平面的3D平面。角膜的中心位于该创建的3D平面11904上(其在图119中表示为线)。类似地,如果使用另一闪烁(来自另一LED灯),则两个3D平面彼此相交,以使得另一3D平面也具有角膜的中心。因此,可以理解,两个3D平面的相交产生保持角膜中心的线。现在可以确定该线内的角膜的精确点。

应当理解,在该线上(从闪烁到投影仪)存在满足反射定律的唯一位置。如在物理学中众所周知的,反射定律表明当光线从表面反射时,入射角等于反射角。该定律可用于找到角膜的中心。

参考图120,现在可以确定从角膜中心到原始点(例如,闪烁11910)的距离(r',未示出)。类似地,可以在另一条线12004(从另一个闪烁12002到另一个投影仪)上执行相同的分析以找到r”(从相交线到另一条线的距离)(未示出)。角膜的中心可以基于值彼此最接近的r'和r”的值来估计。应当理解,上述示例实施例描述了两个平面,但是如果使用更多的平面,则可以更容易地发现角膜的位置。这可以通过使用多个LED灯(例如,更多的闪烁)来实现。

重要的是,眼睛跟踪系统在眼睛上产生至少两个闪烁。为了提高准确度,可以在眼睛上产生更多的闪烁。然而,采用眼睛的表面上产生的额外闪烁,变得难以确定哪个闪烁由哪个LED产生。为此,为了理解闪烁和LED之间的对应关系,而不是同时在每个帧上反射闪烁,一个LED可以打开一个帧,而另一个可以在第一个关闭之后打开。这种方法可以使AR系统更可靠。

类似地,因为折射导致的差异,难以确定瞳孔的确切中心。为了检测瞳孔的中心,可以捕获眼睛的图像。可以围绕图像的中心以“星爆”(starbusrt)图案从中心点径向向外移动,以找到瞳孔。一旦找到,就可以从瞳孔内的点开始执行相同的处理以找到瞳孔的边缘。该信息可以用于推断瞳孔中心。应当理解,如果该过程重复几次,则一些中心可能是离群值。然而,这些离群值可能被过滤掉。然而,即使使用该方法,由于上述折射原理,光瞳的中心可能仍然不在正确的位置中。

现在参考图121,可以执行校准以确定视轴和光轴之间的偏差。当校准系统时,瞳孔的真实中心可能无关紧要,但是对于世界中的映射(例如,考虑例如世界在2D中),确定世界和眼睛之间的距离是重要的。给定瞳孔中心和图像平面,重要的是找到映射以在2D世界中找到相关的坐标,如在图121中所示。为此,可以使用抛物线映射来找到图像平面中的对应坐标。可以使用如下的样本方程:

Xs=a1xe2+a2ye2+a3xeye+a4xe+a5ye+a6

如在图121的12100中所示,与上述类似的方程可用于从确定的(Xe,Ye)确定(Xs,Ys)。在此,总的参数是十二个。每个点提供两个方程;因此可能需要至少六个点(例如,a1-a6)来求解该方程。

现在已知角膜的中心是,并且已知目标点的位置,则可以从角膜的中心到目标点绘制线。世界相机11804具有拍摄图像的固定平面,其可以在空间中的固定点拍摄图像。然后向该人显示另一个目标点,并且然后确定虚拟地附接到世界相机的相交平面。

上面描述的映射技术可以用于确定在该相交平面内的对应点,如上面详细描述的。知道角膜的中心,上述映射技术可以识别虚拟地附接到世界相机的图像平面上的点。假设所有这些点现在是已知的,则可以从角膜的中心到图像平面上的点建立注视线。应当理解,注视线是对每只眼睛分开构建。

现在参考图122,示出了确定注视线的示例方法12200。首先,在12202处,可以确定角膜的中心(例如,通过上述LED三角测量方法等)。然后,在112204处,可以确定眼睛相机和世界相机之间的关系。在12206处,可以确定目标位置。最后,在12208处,映射技术可用于基于所有确定的信息来构建注视线。

伪随机模式

在一个或多个实施例中,AR系统可以在跟踪眼睛姿态或眼睛运动中利用伪随机噪声。例如,个人AR系统的头部佩戴部件可以包括一个或多个光源(例如,LED),其定位和取向为当头部佩戴部件由用户佩戴时照亮用户的眼睛。相机检测从眼睛返回的光源的光。例如,AR系统可以使用浦肯野(purkinje)图像,例如,来自眼睛的结构的对象的反射。

AR系统可以改变由光源发射的光的参数,以对从眼睛反射的发射并因此检测到的光施加可识别的图案。例如,AR系统可以伪随机地改变光源的操作参数,以伪随机地改变发射的光的参数。例如,AR系统可以改变光源的发射长度(ON/OFF)。这便于从环境光源发射和反射的光中自动检测发射和反射的光。

如在图101和图102中所示,在一个实施方式中,光源(例如,LED)10102位于眼睛的一侧(例如,顶部)的框架上,并且传感器(例如,光电二极管)位于框架的底部部分。眼睛可以看作是反射器。值得注意的是,只有一只眼睛需要被仪器装备和跟踪,因为成对的眼睛趋向于前后移动。光源10102(例如,LED)通常每次打开和关闭一个(例如,时间片)以产生图案化代码(例如,幅度变化或调制)。AR系统执行由传感器(例如,光电二极管)产生的信号的自相关以确定渡越时间信号。在一个或多个实施例中,AR系统利用光源(例如,LED)、传感器(例如,光电二极管)和到眼睛的距离的已知几何形状。

具有眼睛的已知几何形状的向量的和允许眼睛跟踪。当估计眼睛的位置时,由于眼睛具有巩膜和眼球,所以几何形状可以表示为在彼此顶部叠置的两个圆圈。使用该系统10100,可以在没有相机的情况下确定或计算眼睛指向向量。还可以估计眼睛的旋转中心,因为眼睛的横截面是圆形的,并且巩膜摆动通过特定的角度。因为接收信号与已知发射信号的自相关,这实际上产生向量距离,而不仅仅是光线踪迹。输出可以被看作是浦肯野图像10200,如在图102中所示,其又可以用于跟踪眼睛的运动。

在一些实施方式中,光源可以发射电磁光谱的红外(IR)范围内的光,并且光电传感器可以选择性地响应于IR范围中的电磁能量。

在一个或多个实施例中,如图所示的实施例中所示,向用户的眼睛发射光线。AR系统被配置为检测与光与用户的眼睛的交互相关联的一个或多个特性(例如,浦肯野图像,由光电二极管检测的反向散射光的范围,背向散射光的方向等)。这可以由光电二极管捕获,如所示实施例中所示。可以在光电二极管处测量交互的一个或多个参数。这些参数可以进而用于外推眼球运动或眼姿态的特征。

手部跟踪

在一个或多个实施例中,AR系统可以经由一个或多个用户输入检测装置和/或技术执行手部跟踪。

例如,AR系统可以采用头部佩戴并且从用户身体参考系向前面对的一个或多个图像传感器(例如,相机)。另外地或可替代地,AR系统可以使用一个或多个传感器(例如,相机),其不是头部佩戴或不佩戴在用户身体的任何部分上。例如,AR系统可以使用安装在物理环境(例如,上述的基于房间的传感器系统)中的一个或多个传感器(例如,相机、惯性传感器、陀螺仪、加速度计、温度传感器或热电偶、出汗传感器)。

作为另一示例,AR系统可以依赖于相机或光传感器的立体装置对。或者,AR系统可包括一个或多个结构化光源以照亮手部。结构化的光可以是或可以不是用户可见的。例如,光源可以选择性地在电磁频谱的红外或近红外范围内发射。

作为又一示例,AR系统可以经由仪器装备的手套执行手部跟踪,例如类似于本文所讨论的触觉手套。AR系统可以光学地跟踪触觉手套。另外或可替代地,AR系统可以使用来自一个或多个手套传感器的遥测,例如位于手套中的一个或多个内部传感器或加速度计(例如,MEMS加速度计)。

手指手势

在一些实施方式中,手指手势可以用作AR系统的输入。手指手势可以采取各种形式,并且可以例如基于手指间交互、指点、敲击、摩擦等。

其它手势可以例如包括字符(例如,字母、数字、标点符号)的2D或3D表示。为了输入这种手势,用户可以简单地以预定义的字符模式滑动手指。

在用户界面的一个实施方式中,AR系统可以呈现三个圆圈,每个圆圈具有周向地围绕圆周布置的特定选择的字符(例如,字母、数字、标点)。用户可以滑过圆圈和字母以指定字符选择或输入。在另一实施方式中,AR系统在用户的视场的低处呈现键盘(例如,QWERTY键盘),靠近弯曲臂位置中用户的惯用手的位置。用户可以在期望的键上执行类似划动的运动,并且然后通过执行另一个手势(例如,拇指到无名指手势)或其它本体感觉交互来指示完成划动手势选择。

根据一个所示实施例,其它手势可以包括拇指/滚轮选择类型手势,其可以例如与可以在用户的视场中呈现的“弹出”圆形放射状菜单一起使用。

现在参考图103,还示出一些附加手势10320。应当理解,图103中所示的手指手势仅是示例性目的,并且可以类似地使用其它手势。在顶行最左位置中,指向的食指可以指示聚焦的命令,例如聚焦在场景的特定部分或食指指向的虚拟内容。例如,手势10322示出由指向食指构成的“聚焦”命令的手势。AR系统可以识别手势(例如,通过捕获的手指的图像/视频、如果使用触觉手套则通过传感器等),并且执行期望的动作。

在顶行中间位置中,食指的尖端接触拇指的尖端以形成闭合圆圈的第一捏合手势可以指示抓取和/或复制命令。如在图103中所示,用户可以一起按压食指和拇指手指以“捏住”或抓住用户界面的一部分到另一部分(例如,手势10324)。例如,用户可以使用该手势来将图标(例如,应用)从虚拟用户界面的一部分复制或移动到另一部分。

在顶行最右位置中,具有无名指的尖端接触拇指的尖端以形成闭合圆的第二捏合手势可以指示选择命令。类似地,在一个或多个实施例中,“选择”手势可以包括用无名指按压用户的拇指,如在图10326中所示。例如,用户可以使用该手势来选择特定文档,或者执行一些类型的AR命令。

在底行最左位置中,具有小指的尖端接触拇指的尖端以形成闭合圆的第三捏合手势可以指示返回和/或取消命令。手势10330示出了涉及按压小指和拇指在一起的示例“返回/取消”手势。

在底行中间位置中,无名指和中指卷曲并且无名指的尖端接触拇指的尖端的手势可以指示点击和/或菜单命令。手势10332(例如,拇指与中指和无名指压在一起)可以用于“右击”命令或者指示系统返回到“主菜单”。

在一个或多个实施例中,用户可以简单地点击AR系统面甲上的“主页空间”按钮以返回到主页(例如,10334)。在底行最右位置中,将食指的尖端接触到头部佩戴部件或框架上的位置可以指示返回初始命令。这可以使AR系统返回到主页或默认配置,例如显示主页或默认菜单。

如在图103中所示,AR系统识别各种命令,并且响应于这些命令,执行映射到命令的某些功能。手势到命令的映射可以跨越许多用户来普遍定义,促进在用户界面中利用至少一些共同性的各种应用的开发。可替代地或另外,用户或开发者可以定义至少一些手势与响应于对命令的检测而要由AR系统执行的相应命令之间的映射。

图腾

AR系统可以通过跟踪(例如,视觉跟踪)图腾来检测或捕获用户的交互。图腾是由系统识别的预定义物理对象,并且可以用于与AR系统通信。

任何合适的现有物理结构都可以用作图腾。例如,在游戏应用中,游戏对象(例如,网球拍、枪控制器等)可以被识别为图腾。可以在物理结构上识别一个或多个特征点,从而提供将物理结构识别为图腾的上下文。可以使用一个或多个相机来检测图腾相对于某个参考系(例如,一段媒体、真实世界、物理房间、用户的身体、用户的头部的参考系)的位置、取向和/或运动(例如,位置、方向、距离、速度、加速度)。

有源标记的图腾包括一些类别的有源照明或其它形式的视觉识别。这种有源标记的示例包括(a)闪烁灯(例如,LED);(b)发光图案组;(c)通过照明突出的反射标记;(d)基于光纤的照明;(e)静态光图案;和/或(f)动态光图案。光图案可以用于在多个图腾中唯一地识别特定图腾。

无源标记的图腾包括无源照明或识别手段。这种无源标记的图案的示例包括纹理图案和反射标记。

图腾还可以包括一个或多个相机/传感器,以使得不需要外部装置来跟踪图腾。相反,图腾将跟踪自身并且将向其它装置提供其自己的地点、取向和/或标识。车载相机用于视觉检查特征点,执行视觉跟踪以检测图腾本身和相对于参考系的地点、取向和/或运动(例如,位置、方向、距离、速度、加速度)。此外,安装在图腾上的传感器(例如GPS传感器或加速度计)可用于检测图腾的位置和地点。

图腾控制器对象是可以安装到任何物理结构的装置,并且其结合了便于跟踪/识别图腾的功能。这允许任何物理结构仅通过将图腾控制器对象放置或附加到该物理结构而变成图腾。图腾控制器对象可以是包括用于向对象上的电子器件供电的电池的被供电对象。图腾控制器对象可以包括通信,例如诸如天线和无线联网调制解调器的无线通信基础设施,以与其它装置交换消息。图腾控制器对象还可以包括任何有源标记(诸如LED或基于光纤的照明)、无源标记(诸如反射器或图案)或相机/传感器(诸如相机、GPS定位器或加速度计)。

在一个或多个实施例中,可以使用图腾以便提供虚拟用户界面。AR系统可以例如呈现虚拟用户界面以出现在图腾上。图腾可以采取各种各样的形式。例如,图腾可以是无生命对象。例如,图腾可以采用金属(例如,铝)的片或片材的形式。个人AR系统的处理器部件,例如腰包,可以用作图腾。

AR系统可以例如在“哑”图腾上复制实际物理装置(例如,计算机的键盘和/或触摸板)的用户界面。作为示例,AR系统可以将电话的特定操作系统的用户界面呈现在铝板的表面上。AR系统可以例如经由面向前方的相机检测与呈现的虚拟用户界面的交互,并且基于检测到的交互来实施功能。

例如,AR系统可以实施一个或多个虚拟动作,例如呈现电话的操作系统的更新的显示,呈现视频,呈现网页的显示。另外或可替代地,AR系统可以实施一个或多个实际或非虚拟动作,例如发送电子邮件,发送文本和/或拨打电话。这可以允许用户从一组实际物理装置(例如各种型号智能电话和/或平板或其它智能手机、平板或甚至其它类型的具有用户界面的家用电器)中选择期望的用户界面以与其进行交互,所述家用电器为诸如电视、DVD/蓝光玩家、恒温器等。

因此,图腾可以是其上可以呈现虚拟内容的任何对象,包括例如可以在用户体验(UX)上下文中将虚拟内容锁定到其上的身体部分(例如,手部)。在一些实施方式中,AR系统可以呈现虚拟内容,以便看起来从图腾后面出来,例如看起来从用户的手部后面出现,并且至少部分地围绕用户的手慢慢地包裹。AR系统检测用户与虚拟内容的交互,例如与部分围绕用户的手部缠绕的虚拟内容的用户手指操纵。

可替代地,AR系统可以呈现虚拟内容以便看起来从用户的手部的手掌出现,并且系统可以检测该虚拟内容的用户指尖交互和/或操纵。因此,虚拟内容可以被锁定到用户的手部的参考系。AR系统可以响应于各种用户交互或手势,包括查看虚拟内容的一些项目,移动手部,将手部触摸到自己或触摸环境,其它手势,打开和/或闭合眼睛等。

如在此所述,AR系统可以利用以身体为中心的呈现,以用户为中心的呈现,以手部为中心的呈现,以臀部为中心的呈现,以世界为中心的呈现,本体感觉触觉交互,指向,眼睛向量,图腾,对象识别器,身体传感器呈现,头部姿态检测,语音输入,环境或环境声音输入以及环境情况输入以与AR系统的用户交互。

图104示出根据一个所示实施例的图腾,其可以用作虚拟键盘10422实施方式的一部分。图腾可以具有大致矩形的轮廓和软硬度表面。当用户经由触摸与图腾交互时,软表面向用户提供一些触觉感知。

如上所述,AR系统可以在用户的视场中呈现虚拟键盘图像,以使得虚拟键、开关或其他用户输入部件看起来驻留在图腾的表面上。AR系统可以例如呈现直接投射到用户的视网膜的4D光场。4D光场允许用户以看起来是真实深度的方式视觉感知虚拟键盘。

AR系统还可以检测或捕获用户与图腾的表面的交互。例如,AR系统可以使用一个或多个面向前的相机来检测用户手指的位置和/或运动。具体地,AR系统可以从捕获的图像中识别用户的手指与图腾的表面的各个部分的任何交互。AR系统映射与虚拟键的位置以及因此与各种输入(例如,字符、数字、标点、控制、功能)的这些交互的位置。响应于输入,AR系统可以使输入提供给计算机或一些其它装置。

另外或可替代地,AR系统可响应于所选择的用户交互而不同地呈现虚拟用户界面。例如,一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于选择来呈现新的一组虚拟界面元素来响应于这种选择。例如,AR系统可以呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。因此,AR系统的呈现可以是上下文敏感的。

图105A示出根据一个所示实施例的图腾的顶表面,其可以用作虚拟鼠标实施方式10502的一部分。图腾的顶表面可以具有大致卵形轮廓,其具有硬表面部分以及一个或多个软表面部分,来复制物理鼠标的键。软表面部分实际上不需要实现开关,并且图腾可以不具有物理键、物理开关或物理电子器件。当用户经由触摸与图腾交互时,软表面部分向用户提供一些触觉感知。

AR系统可以在用户的视场中呈现虚拟鼠标图像10502,以使得虚拟输入结构(例如,键、按钮、滚轮、操纵杆、拇指按钮等)看起来驻留在图腾的顶部表面。如上所述,AR系统可以例如呈现直接投射到用户的视网膜的4D光场,以提供虚拟鼠标具有看起来是真实深度的视觉感知。

AR系统还可以检测或捕获用户的图腾的运动,以及用户与图腾的表面的交互。例如,AR系统可以利用一个或多个面向前的相机来检测鼠标的位置和/或运动和/或用户的手指与虚拟输入结构(例如,键)的交互。AR系统映射鼠标的位置和/或运动。AR系统将用户与虚拟输入结构(例如,键)的位置以及因此与各种输入(例如,控制、功能)的交互相映射。响应于位置、运动和/或虚拟输入结构激活,AR系统可以使相应的输入提供给计算机或一些其它装置。

另外或可替代地,AR系统可响应于选择用户交互而不同地呈现虚拟用户界面。例如,一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。例如,如上所述,AR系统可以呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。

图105B示出根据一个所示实施例的图105A的图腾的底部表面10504,其可以用作虚拟轨迹板实施方式的一部分。图腾的底部表面可以是平坦的,具有大致椭圆形或圆形轮廓。底部表面可以是硬表面。图腾可以没有物理输入结构(例如,键、按钮、滚轮),没有物理开关,且没有物理电子器件。

AR系统可以可选地在用户的视场中呈现虚拟轨迹板图像,以使得虚拟分界似乎驻留在图腾的底部表面上。AR系统检测或捕获用户与图腾的底部表面的交互。例如,AR系统可以利用一个或多个面向前的相机来检测用户的手指在图腾的底部表面上的位置和/或运动。例如,AR系统可以检测一个或多个手指的一个或多个静态位置,或一个或多个手指的位置的改变(例如,用一个或多个手指滑动手势,使用两个或多个手指捏住手势)。

AR系统还可以采用面向前的相机来检测用户的手指与图腾的底部表面的交互(例如,敲击、双敲、短敲、长敲)。AR系统映射用户的手指沿着图腾的底部表面的位置和/或运动(例如,距离、方向、速度、加速度)。AR系统将用户(例如,交互的数量、交互的类型、交互的持续时间)与图腾的底部表面以及因此与各种输入(例如,控制、功能)相映射。响应于位置、运动和/或交互,AR系统可以引起相应的输入将提供给计算机或一些其它装置。

图105C示出根据另一所示实施例的图腾10506的顶表面,其可以用作虚拟鼠标实施方式的一部分。图105C的图腾在许多方面与图105A的图腾类似。因此,相似或甚至相同的结构用相同的参考标记识别。

图105C的图腾的顶表面包括在顶表面上的一个或多个相应位置处的一个或多个凹痕或凹陷,其中AR系统将呈现键或引起其它结构(例如,滚轮)出现。

图106A示出根据另一所示实施例的具有花瓣形(例如,莲花)虚拟用户界面10604的球形图腾10602。

图腾10602可以具有带有硬外表面或软外表面的球体形状。图腾10602的外表面可以具有纹理以便于用户的可靠抓握。图腾10602可以不具有物理键、物理开关或物理电子器件。

AR系统可以在用户的视场中呈现花瓣形虚拟用户界面图像10604,以便看起来像是从图腾10602发出的。虚拟用户界面10604的每个花瓣可以对应于功能、功能类别和/或内容或媒体类型、工具和/或应用的类别。

AR系统可以可选地在图腾的外表面上呈现一个或多个分界。可替代地或另外,图腾10602可以可选地在外表面上带有一个或多个物理分界(例如,印刷的、刻印的)。分界可以帮助用户用花瓣形虚拟用户界面10604可视地定向图腾10602。

在一个或多个实施例中,AR系统检测或捕获用户与图腾10602的交互。例如,AR系统可以利用一个或多个面向前的相机来检测图腾相对于某个参考系(例如,花瓣状虚拟用户界面、真实世界、物理房间、用户身体、用户的头部的参考系)的位置、取向和/或运动(例如,旋转方向、旋转量、旋转角度、角速度、角加速度)。例如,AR系统可以检测图腾10602的静态取向或取向上的变化或图腾10602上的分界中的一个或多个。

AR系统还可以利用面向前的相机来检测用户手指与图腾外表面的交互(例如,敲击、双敲、短敲、长敲、指尖抓握、包围抓握等)。AR系统将图腾的取向和/或取向上的变化(例如,距离、方向、速度、加速度)映射到用户选择或输入。AR系统可选地将用户与图腾10602的外表面以及因此与各种输入(例如,控制、功能)的交互(例如,交互的数量、交互的类型、交互的持续时间)相映射。响应于取向、位置上的变化(例如,运动)和/或交互,AR系统可以使相应的输入提供给计算机或一些其它装置。

另外或可替代地,并且如上所述,AR系统可以响应于各种用户交互而不同地呈现虚拟用户界面10604。例如,一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。例如,AR系统可以呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。

现在参考图106B,图腾10606是盘形的。类似于图106A的用户界面10604,在一些实施例中,当选择图腾10606时,呈现花瓣形虚拟用户界面10604。

图106B的图腾是盘形的,具有可以是平坦的或圆顶的顶表面和底表面,如在图106B中所示。也就是说,曲率半径可以无穷大,或远大于图腾的外围边缘的曲率半径。

AR系统在用户的视场中呈现花瓣形虚拟用户界面10604图像,以便看起来像是从图腾10606发出的。如上所述,花瓣中的每一个花瓣可以对应于功能、功能类别,和/或内容或媒体类型、工具和/或应用的类别。图106B表示多个示例,包括搜索功能、设置功能、收藏夹、简档、游戏的集合、工具和/或应用的集合、社交媒体或应用类别、媒体或内容类别或集合(例如娱乐、电子杂志、电子书、其他出版物、电影、电视节目等)。

图106C示出根据另一所示实施例的处于第一配置10610和第二配置10612中的球形图腾10608。特别地,图腾10608具有多个臂或元件,其选择性地相对于彼此可移动或可定位。例如,第一臂或臂对可以相对于第二臂或臂对旋转。第一臂或臂对可以从第一配置10610旋转到第二配置10612。在臂大致弧形的情况下,如图所示,在第一配置10610中,臂形成圆形或大致球体的结构。在第二配置10612中,第二臂或臂对与第一臂或臂对对准以形成具有C形轮廓的部分管,如在图示实施例中所示。

在一个或多个实施例中,臂可以具有足够大的内直径尺寸以接纳用户的手腕或其他肢体。内直径可以尺寸足够小以防止图腾10608在使用期间从肢体滑落。例如,内直径可以设定尺寸为舒适地接纳用户的手腕,同时不滑过用户的手部。这允许图腾10608采取手镯的形式,例如当不使用时,用于方便携载。然后,用户可以以类似于上述球形图腾的方式使用球形形状。图腾可以没有物理键、物理开关或物理电子器件。

值得注意的是,从图106C中省略了虚拟用户界面(诸如图106A和106B中所示的虚拟用户界面10604)。AR系统可以以多种形式中的任何一种形式呈现虚拟用户界面,例如先前示出和讨论的花瓣形虚拟用户界面10604。

图107A示出根据另一所示实施例的手持式控制器形状的图腾10702。图腾10702具有尺寸设定成可舒适地配合在用户手部中的抓握部分。图腾10702可以包括多个用户输入元素,例如键或按钮和滚轮。用户输入元素可以是物理元素,但是不连接到图腾10702中的任何传感器或开关,该图腾10702本身可以没有物理开关或物理电子器件。可替代地,用户输入元素可以是由AR系统呈现的虚拟元素。应当理解,图腾10702可以具有凹陷、腔体、突起、纹理或其它结构以触觉地复制用户输入元素的感觉。

AR系统检测或捕获用户与图腾10702的用户输入元素的交互。例如,AR系统可以使用一个或多个面向前的相机来检测用户手指的位置和/或运动。例如,AR系统可以检测一个或多个手指的一个或多个静态位置,或一个或多个手指的位置上的变化(例如,用一个或多个手指的滑动或摇动手势,旋转或滚动手势,或两者)。

AR系统还可以采用面向前的相机来检测用户的手指与图腾10702的用户输入元素的交互(例如,敲击、双敲、短敲、长敲)。AR系统将用户的手指与图腾10702的用户输入元素的位置和/或运动(例如,距离、方向、速度、加速度)映射。AR系统将用户的手指与图腾10702的用户输入元素以及因此与各种输入(例如,控制、功能)的用户交互(例如,交互的数量、交互的类型、交互的持续时间)映射。响应于位置、运动和/或交互,AR系统可以使相应的输入提供给计算机或一些其它装置。

图107B示出根据另一所示实施例的块形图腾10704。图腾10704可以具有带有六个面的立方体或一些其它三维几何结构的形状。图腾10704可以具有硬的外表面或软的外表面。图腾10704的外表面可以具有纹理以便于用户的可靠抓握。图腾10704可以不具有物理键、物理开关或物理电子器件。

在一个或多个实施例中,AR系统可以在用户的视场中呈现虚拟用户界面图像,以便显现在图腾10704的外表面的一个或多个面上。每个面和对应的用户输入可以对应于功能、功能类别和/或内容或媒体类型、工具和/或应用的类别。

AR系统检测或捕获用户与图腾10704的交互。例如,AR系统可以利用一个或多个面向前的相机来检测图腾10704相对于某个参考系(例如,真实世界、物理房间、用户身体、用户的头部等的参考系)的位置、取向和/或运动。例如,AR系统可以检测图腾10704的一个或多个静态取向或取向上的变化。

AR系统还可以采用面向前的相机来检测用户手指与图腾10704的外表面的交互(例如,敲击、双敲、短敲、长敲、指尖抓握、包围抓握等)。AR系统将图腾10704的取向和/或取向上的变化(例如,距离、方向、速度、加速度)映射到用户选择或输入。AR系统可选地映射与图腾10704的外表面并且因此与各种输入(例如,控制、功能)的用户交互(例如,交互的数量、交互的类型、交互的持续时间)。响应于取向、位置上的变化(例如,运动)和/或交互,AR系统可以使相应的输入提供给计算机或一些其它装置。

响应于取向、位置上的变化(例如,运动)和/或交互,AR系统可以改变呈现虚拟用户界面的一个或多个方面,使相应的输入提供给计算机或一些其它装置。例如,当用户旋转图腾10704时,不同的面可以进入用户的视场,而其他面旋转出用户的视场。AR系统可以通过呈现虚拟界面元素来显现在现在可见的面上进行响应,所述现在可见的面是先前从用户的视图隐藏的。类似地,AR系统可以通过停止虚拟界面元素的呈现来进行响应,这些虚拟界面元素本来将显现在现在从用户的视图隐藏的面上。

另外或可替代地,AR系统可响应于选择用户交互而不同地呈现虚拟用户界面。例如,一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于选择来呈现新的一组虚拟界面元素来响应于这种选择。例如,AR系统呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。

图107C示出根据另一所示实施例的手持式控制器形状的图腾10706。图腾10706具有尺寸设定成可舒适地配合在用户手部中的抓握部分,例如圆柱形管状部分。图腾10706可以包括多个用户输入元素,例如多个压力感应开关和操纵杆或拇指杆。

用户输入元素可以是物理元素,但是不连接到图腾10706中的任何传感器或开关,其本身可以不具有物理开关或物理电子器件。可替代地,用户输入元素可以是由AR系统呈现的虚拟元素。在用户输入元素是虚拟元素的情况下,图腾10706可以具有凹陷、腔体、突起、纹理或其它结构以触觉地复制用户输入元素的感觉。

AR系统检测或捕获用户与图腾10706的用户输入元素的交互。例如,AR系统可以使用一个或多个面向前的相机来检测用户手指相对于图腾10706的用户输入元素的位置和/或运动。例如,AR系统可以检测一个或多个手指的一个或多个静态位置或一个或多个手指的位置上的变化(例如,用一个或多个手指的滑动或摇动手势,旋转或滚动手势,或两者)。AR系统还可以采用面向前的相机来检测用户的手指与图腾10706的用户输入元素的交互(例如,敲击、双敲,短敲,长敲)。

如上所述,AR系统将用户的手指的位置和/或运动(例如,距离、方向、速度、加速度)与图腾10706的用户输入元素进行映射。AR系统将用户的手指与图腾10706的用户输入元素并且因此与各种输入(例如,控制、功能)的用户交互(例如,交互的数量、交互的类型、交互的持续时间)相映射。响应于位置、运动和/或交互,AR系统可以使相应的输入提供给计算机或一些其它装置。

图107D示出根据另一所示实施例的另一手持式控制器形状的图腾10708。图腾10708具有尺寸设定成可舒适地配合在用户手部中的抓握部分。图腾10708可以包括多个用户输入元素,例如键或按钮和操纵杆或拇指杆。用户输入元素可以是物理元素,但是不连接到图腾10708中的任何传感器或开关,该图腾10708本身可以没有物理开关或物理电子器件。可替代地,用户输入元素可以是由AR系统呈现的虚拟元素。在一个或多个实施方式中,图腾10708可具有凹陷、腔体、突起、纹理或其它结构以触觉复制用户输入元素的感觉。

AR系统检测或捕获用户与图腾10708的用户输入元素的交互。例如,AR系统可以利用一个或多个面向前的相机来检测用户的手指相对于图腾10708的用户输入元素的位置和/或运动。例如,AR系统可以检测一个或一个或多个手指的多个静态位置,或者在一个或多个手指的位置上的变化(例如,用一个或多个手指的滑动或摇动手势,旋转或滚动手势,或两者)。

类似上述情况,AR系统还可以利用面向前的相机检测用户手指与图腾的用户输入元素的交互(例如,敲击、双敲、短敲、长敲)。AR系统将用户的手指的位置和/或运动(例如,距离、方向、速度、加速度)与图腾10708的用户输入元素进行映射。AR系统将用户的手指与图腾10708的用户输入元素以及因此与各种输入(例如,控制,功能)的用户交互(例如,交互的数量、交互的类型、交互的持续时间)映射。响应于位置、运动和/或交互,AR系统可以使相应的输入提供给计算机或一些其它装置。

图108A示出根据一个所示实施例的环形图腾10802。特别地,环形图腾10802具有管状部分和物理耦合到管状部分的交互部分。管状部分和交互部分可以是一体的,并且可以形成为单个整体结构或由单个整体结构形成。管状部分具有尺寸设定足够大以接纳用户的手指的内直径。内直径可以尺寸设定足够小以防止图腾10802在正常使用期间从手指滑落。这允许环形图腾10802舒适地佩戴,即使在不主动使用时,确保在需要时的可用性。环形图腾10802可以不具有物理键、物理开关或物理电子器件。

值得注意的是,省略了虚拟用户界面(例如,图106A和106B中所示的10604)。AR系统可以以多种形式中的任一种来呈现虚拟用户界面。例如,AR系统可以在用户的视场中呈现虚拟用户界面,以便好像虚拟用户界面元素驻留在交互表面上一样。可替代地,AR系统可以将虚拟用户界面呈现为从交互表面发出的先前示出和讨论的花瓣状虚拟用户界面10604。

类似于上述,AR系统检测或捕获用户与图腾10802的交互。例如,AR系统可以利用一个或多个面向前的相机来检测用户手指相对于某个参考系(例如,交互表面、真实世界、物理房间、用户身体、用户头部的参考系)中的交互表面的位置、取向和/或运动(例如,位置、方向、距离、速度、加速度)。例如,AR系统可以检测交互表面上的触摸的一个或多个地点或手指的位置上的变化。

再次,如上所述,AR系统还可以利用面向前的相机来检测用户手指与图腾10802的交互表面的交互(例如,敲击、双敲、短敲、长敲、指尖抓握、包围抓握)。AR系统将手指相对于交互表面的位置、取向和/或运动映射到一组用户选择或输入。AR系统可选地将其他用户与图腾10802的交互表面以及因此与各种输入(例如,控制、功能)的交互(例如,交互的数量、交互的类型、交互的持续时间)相映射。响应于位置、取向、运动和/或其他交互,AR系统可以使相应的输入提供给计算机或一些其它装置。

另外或替代地,如上所述,AR系统可响应于选择用户交互而不同地呈现虚拟用户界面。例如,一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。例如,AR系统呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。

图108B示出根据所示实施例的手镯图腾10804。特别地,手镯图腾10804具有管状部分和物理耦合到管状部分的触摸表面。管状部分和触摸表面可以是一体的,并且可以形成为单个整体结构或由单个整体结构形成。管状部分具有尺寸设定足够大以接纳用户的手腕或其他肢体的内直径。内直径可以尺寸设定足够小以防止图腾10804在使用期间从肢体滑落。例如,内直径可以被设定尺寸为舒适地接纳用户的手腕,同时不滑过用户的手部。这允许手镯图腾10804被佩戴,无论是否主动使用,确保当需要时的可用性。手镯图腾10804可以不具有物理键、物理开关或物理电子器件。

AR系统可以以多种形式中的任何形式呈现虚拟用户界面。例如,AR系统可以在用户的视场中呈现虚拟用户界面,使得看起来好像虚拟用户界面元素驻留在触摸表面上。可替代地,AR系统可呈现一种虚拟用户界面,其类似于先前示出和讨论的从触摸表面发出的花瓣形虚拟用户界面10604。

AR系统检测或捕获用户与图腾10804的交互。例如,AR系统可以利用一个或多个面向前的相机来检测用户手指相对于某个参考系(例如,触摸表面、真实世界、物理房间、用户身体、用户头部的参考系)中图腾的触摸表面的距离位置、取向和/或运动(例如,位置、方向、距离、速度、加速度)。例如,AR系统可以检测触摸的一个或多个地点或手指在触摸表面上的位置上的变化。

如上所述,AR系统还可以利用面向前的相机来检测用户手指与图腾10804的触摸表面的交互(例如,点敲、双敲,短按,长按,指尖抓握,包围抓握)。AR系统将手指相对于触摸表面的位置、取向和/或运动映射到一组用户选择或输入。AR系统可选地将其他用户与图腾10804的触摸表面以及因此与各种输入(例如,控制、功能)的交互(例如,交互的数量、交互的类型、交互的持续时间)映射。响应于位置、取向、运动和/或其它交互,AR系统可以使相应的输入提供给计算机或一些其它装置。

另外或可替代地,如上所述,AR系统可以响应于选择用户交互而不同地呈现虚拟用户界面。例如,一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。例如,AR系统可以呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。

图108C示出根据另一所示实施例的环形图腾10806。特别地,环形图腾10806具有管状部分和物理地可旋转地耦合到管状部分以相对于其旋转的交互部分。管状部分具有尺寸设定足够大以接纳穿过其中的用户手指的内直径。内直径可以尺寸设定足够小以防止图腾在正常使用期间从手指滑落。这允许环图腾即使在不主动使用时也舒适地佩戴,确保在需要时的可用性。

交互部分本身可以是封闭管状构件,具有围绕管状部分的外直径接纳的相应内直径。例如,交互部分可以轴颈式安装或可滑动地安装到管状部分。交互部分可从环形图腾的外表面接近。交互部分例如可以围绕管状部分的纵向轴线在第一旋转方向中旋转。交互部分另外可以围绕管状部分的纵向轴线在与第一旋转方向相反的第二旋转方向中旋转。环形图腾10806可以不具有物理开关或物理电子器件。

AR系统可以以多种形式中的任一种来呈现虚拟用户界面。例如,AR系统可以在用户的视场中呈现虚拟用户界面,以便看起来好像虚拟用户界面元素驻留在交互部分上。可替代地,AR系统可呈现一种虚拟用户界面,其类似于之前示出和讨论的从交互部分发出的花瓣状虚拟用户界面。

与上述类似,AR系统检测或捕获用户与图腾的交互。例如,AR系统可以利用一个或多个面向前的相机来检测交互部分相对于在一些参考系(例如,管状部分、真实世界、物理房间、用户身体、用户头部的参考系)中管状部分的位置、取向和/或运动(例如,位置、方向、距离、速度、加速度)。

例如,AR系统可以检测交互部分相对于管状部分的一个或多个地点或取向或者位置或取向上的变化。AR系统还可以使用面向前的相机来检测用户的手指与图腾的交互部分的交互(例如,敲击、双敲、短敲、长敲、指尖抓握、包围抓握)。AR系统将交互部分相对于管状部分的位置、取向和/或运动映射到一组用户选择或输入。AR系统可选地将其他用户与图腾的交互部分并且因此与各种输入(例如,控制、功能)的交互(例如,交互的数量、交互的类型、交互的持续时间)相映射。响应于位置、取向、运动和/或其它交互,AR系统可以使相应的输入提供给计算机或一些其它装置。

另外或可替代地,如上所述,AR系统可以响应于选择用户交互而不同地呈现虚拟用户界面。例如,一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。

图109A示出根据所示实施例的手套形状的触觉图腾10902。特别地,手套形状的触觉图腾10902成形为类似手套或部分手套,具有用于接纳手腕和一个或多个管状手套手指(示出三个)的开口,所述手套手指尺寸设定成接纳用户的手指。手套形状触觉图腾10902可以由多种材料中的一种或多种制成。该材料可以是弹性体的或者可以符合用户手部的形状或轮廓,从而提供紧贴而舒适的配合。

AR系统可以以多种形式中的任一种来呈现虚拟用户界面。例如,AR系统可以在用户的视场中呈现虚拟用户界面,以便好像虚拟用户界面元素经由手套形状的触觉图腾10902是可交互的。例如,AR系统可以将虚拟用户界面呈现为先前示出和/或描述的图腾或虚拟用户界面中的一个。

类似于上文,AR系统通过对佩戴手套形状触觉图腾10902的用户的手和手指的视觉跟踪来检测或捕获用户的交互。例如,AR系统可以利用一个或多个面向前的相机来检测用户的手部和/或手指相对于某个参考系(例如,触摸表面、真实世界、物理房间、用户身体、用户头部的参考系)的位置、取向和/或运动(例如,位置、方向、距离、速度、加速度)。

类似于上述实施例,例如AR系统可以检测触摸的一个或多个地点或手部和/或手指的位置上变化。AR系统还可以采用面向前的相机来检测用户的手和/或手指的交互(例如,敲击、双敲、短敲、长敲、指尖抓握,包围抓握)。值得注意的是,AR系统可以跟踪手套形状的触觉图腾10902,而不是用户的手部和手指。AR系统将手部和/或手指的位置、取向和/或运动映射到一组用户选择或输入。

AR系统可选地映射其他用户以及因此与各种输入(例如,控制、功能)的交互(例如,交互的数量、交互的类型、交互的持续时间)。响应于位置、取向、运动和/或其它交互,AR系统可以使相应的输入提供给计算机或一些其它装置。

另外或可替代地,如上所述,AR系统可响应于选择用户交互而不同地呈现虚拟用户界面。例如,一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现新的一组虚拟界面元素来响应这种选择。例如,AR系统呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。

手套形状触觉图腾10902包括多个致动器,其响应于信号以提供触觉感觉,诸如压力和纹理。致动器可以采取各种形式中的任何一种,例如压电元件和/或微电气机械结构(MEMS)。

AR系统经由手套形状的触觉图腾10902向用户提供触觉反馈。特别地,AR系统向手套形状的触觉图腾10902提供信号,以复制与虚拟对象可以表示的物理对象交互的触觉感觉。这可以包括提供与物理对象相关联的压力和/或纹理的感觉。因此,AR系统可以使用户感觉到虚拟对象的存在,例如包括诸如边缘、拐角、圆度等物理对象的各种结构特征。AR系统还可以使用户感觉纹理光滑、粗糙、凹陷等

图109B示出根据所示实施例的触笔或刷状图腾10904。触笔或刷状图腾10904包括类似于任何数量的常规触笔或刷10904的细长手柄。与常规触笔或刷相反,该触笔或刷具有虚拟尖端或刷毛。特别地,AR系统可以呈现期望的样式的虚拟尖端或虚拟刷毛以出现在物理触笔或刷10904的端部。尖端或刷毛可以采用任何常规样式,包括窄点或宽点,平刷刷毛,锥形、倾斜或切割的刷毛刷,天然纤维刷毛刷(例如马毛),人造纤维刷毛刷等。这有利地允许虚拟尖端或刷毛是可替换的。

与上述类似,AR系统经由对触笔或刷10904上的用户的手部和/或手指的视觉跟踪和/或经由触笔或刷10904的端部的视觉跟踪来检测或捕获用户的交互。例如,AR系统可以利用一个或多个面向前的相机来检测用户的手部和/或手指和/或触笔或刷的端部相对于某个参考系(例如,媒体片段、真实世界、物理房间、用户身体、用户头部的参考系)的位置、取向和/或运动(例如,位置、方向、距离、速度、加速度)。例如,AR系统可以检测触摸的一个或多个位置或手部和/或手指的位置上的变化。此外,例如,AR系统可以检测相对于媒体片段或表示媒体片段的图腾的触笔或刷的端部的一个或多个地点和/或触笔或刷10904的端部的取向。AR系统可以另外地或可替代地检测相对于媒体片段或表示媒体片段的图腾的触笔或刷10904的端部的地点上的一个或多个变化和/或触笔或刷10904的端部或刷10904的端部的取向上的变化。

如上所述,AR系统还可以采用面向前的相机来检测用户手部和/或手指或触笔或刷10904的交互(例如,敲击、双敲、短敲、长敲、指尖抓握、包围抓握)。AR系统将手部和/或手指和/或触笔或刷10904的端部的位置、取向和/或运动映射到一组用户选择或输入。AR系统可选地映射其他用户以及因此与各种输入(例如,控制、功能)的交互(例如,交互的数量、交互的类型、交互的持续时间)。响应于位置、取向、运动和/或其它交互,AR系统可以使相应的输入提供给计算机或一些其它装置。

另外或可替代地,AR系统可以呈现由用户使用触笔或刷10904做出的标记的虚拟图像,并考虑由所选择的一个或多个尖端或刷毛实现的视觉效果。

触笔或刷10904可以具有一个或多个触觉元件(例如,压电元件、MEMS元件),AR系统控制该触觉元件以提供复制当所选点或刷毛通过媒体上时所选点或刷毛的感觉的感觉(例如,平滑、粗糙、低摩擦、高摩擦)。该感觉还可以反映或复制端部或刷毛如何与可以由用户选择的媒体的不同类型的物理方面交互。因此,纸和帆布可以产生两种不同类型的触觉响应。

图109C示出根据所示实施例的笔形图腾10906。笔形图腾10906包括细长轴,其类似于任何数量的常规笔、铅笔、触笔或刷的细长轴。笔形图腾10906具有位于轴的一端处的用户可致动的操纵杆或拇指杆。响应于用户致动,操纵杆或拇指杆相对于细长轴是可移动的。操纵杆或拇指杆可以例如在四个方向(例如,前、后、左、右)中可枢转地移动。可替代地,操纵杆或拇指杆可以例如在四个方向的所有方向中可移动,或者可以在任何角度方向上在圆圈中可枢转地移动,例如来导航。值得注意的是,操纵杆或拇指杆不耦合到任何开关或电子器件。

代替将操纵杆或拇指杆耦合到开关或电子器件,AR系统检测或捕获操纵杆或拇指杆的位置、取向或运动。例如,AR系统可以利用一个或多个面向前的相机来检测操纵杆或拇指杆相对于给定参考系(例如,细长轴的参考系等)的位置、取向和/或运动(例如,位置、方向、距离、速度、加速度)。

另外,如上所述,AR系统可以利用一个或多个面向前的相机来检测用户手部和/或手指和/或笔形图腾10906的端部相对于某个参考系(细长轴、媒体片段、真实世界、物理房间、用户身体、用户头部的参考系)的位置、取向和/或运动(例如,位置、方向、距离、速度、加速度)。

例如,AR系统可以检测触摸的一个或多个地点或者手部和/或手指的位置上的变化。另外,例如,AR系统可以检测相对于例如媒体片段或表示媒体片段的图腾的笔形图腾10906的端部的一个或多个地点和/或笔形图腾10906的端部的取向。AR系统可以另外地或可替代地检测相对于例如媒体片段或表示媒体片段的图腾的笔形图腾10906的端部的地点的一个或多个变化和/或笔形图腾10906的端部的取向上的变化。

类似于上文,AR系统还可以利用面向前的相机来检测用户的手部和/或手指与操纵杆或拇指杆或笔形图腾10906的细长轴的交互(例如,敲击、双敲、短敲、长敲、指尖握持、包围抓握等)。AR系统映射手部和/或手指和/或操纵杆或拇指杆的端部的位置、取向和/或运动到一组用户选择或输入。AR系统可选地映射其他用户并且因此与各种输入(例如,控制、功能)的交互(例如,交互的数量、交互的类型、交互的持续时间)。响应于位置、取向、运动和/或其他交互,AR系统可以使相应的输入提供给计算机或一些其它装置。

另外或可替代地,如上所述,AR系统可以呈现由用户使用笔形图腾10906做出的标记的虚拟图像,并考虑由所选择的尖端或刷毛实现的视觉效果。

笔形图腾10906可以具有一个或多个触觉元件(例如,压电元件、MEMS元件),AR系统控制所述触觉元件以提供复制通过媒体的感觉的感觉(例如,光滑、粗糙、低摩擦、高摩擦)。

图110A示出根据所示实施例的饰品链图腾11002。饰品链图腾1002包括链和多个饰品。链可以包括为链提供柔性的多个互连链节。链还可以包括允许链的相对端牢固地耦接在一起的闭合件或扣钩。链和/或扣钩可以采取例如单股、多股、链接或编织的各种各样的形式。

链和/或扣钩可以由任何种类的金属或其它非金属材料形成。当两个端部扣在一起时,链的长度应当容纳用户肢体的一部分。链的长度还应该设定尺寸以确保当两个端部扣在一起时,链甚至松动地保持在肢体部分上。链可以作为支架佩戴在臂部的手腕上或者腿部的脚踝上。

链可以作为围绕颈部的项链佩戴。饰品可以采取任何种类的形式。饰品可以具有各种形状,虽然通常呈板或盘的形式。尽管示出为具有大致矩形的轮廓,但是饰品可以具有任何种类的轮廓,并且单链上的不同饰品可以具有彼此不同的相应轮廓。饰品可以由多种金属中的任何一种或非金属材料形成。

每个饰品可以带有标记,该标记在至少一个计算机或处理器可读非暂态存储介质中与功能、功能类别、内容类别或媒体类型,和/或经由AR系统可访问的工具或应用程序在逻辑上相关联。

图110B示出了根据所示实施例的钥匙链图腾1004。钥匙链图腾11004包括链和多个钥匙。链可以包括为链提供柔性的多个互连链节。链还可以包括允许链的相对端牢固地耦接在一起的闭合件或扣钩。链和/或扣钩可以采取例如单股、多股、链接或编织的各种各样的形式。链和/或扣钩可以由任何种类的金属或其它非金属材料形成。

钥匙可以采取各种形式中的任一种。钥匙可以具有各种形状,但是通常将采用具有或不具有脊部和谷部(例如,齿)的常规钥匙的形式。在一些实施方式中,钥匙可以打开相应的机械锁,而在其它实施方式中,钥匙仅用作图腾并且不打开机械锁。钥匙可以具有任何种类的轮廓,并且单链上的不同钥匙可以具有彼此不同的相应轮廓。钥匙可以由多种金属中的任何一种或非金属材料形成。各钥匙可以具有彼此不同的颜色。

每个钥匙可以带有标记,该标记在至少一个计算机或处理器可读非暂态存储介质中与功能、功能类别、内容类别或媒体类型和/或经由AR系统可访问的工具或应用程序逻辑上相关联。

如上所述,AR系统检测或捕获用户与钥匙的交互。例如,AR系统可以利用一个或多个面向前的相机来检测用户的手指或手对钥匙的触摸或操纵。例如,AR系统可以通过用户用手指触摸相应的钥匙或用两个或更多个手指抓住相应的钥匙来检测特定钥匙的选择。

此外,AR可以检测钥匙相对于某个参考系(例如,身体部分、真实世界、物理房间、用户身体、用户头部的参考系)的位置、取向和/或运动(例如,旋转方向、旋转幅度、角速度、角加速度)。AR系统还可以利用面向前的相机来检测用户的手指与钥匙的其它交互(例如,敲击、双敲、短敲、长敲、指尖抓握、包围抓握等)。

如上所述,AR系统将钥匙的选择映射到用户选择或输入,例如社交媒体应用的选择。AR系统可选地将其他用户与钥匙并且因此与各种输入(例如,控制、功能)的交互(例如,交互的数量、交互的类型、交互的持续时间)与相应应用映射。响应于与钥匙的触摸、操纵或其它交互,AR系统可以使相应的应用被激活和/或向应用提供相应的输入。

另外或可替代地,与上述实施例类似,AR系统可响应于选择用户交互而不同地呈现虚拟用户界面。例如,一些用户交互可以对应于特定子菜单、应用或功能的选择。AR系统可以通过至少部分地基于该选择来呈现一组虚拟界面元素来响应这种选择。例如,AR系统呈现与所选择的一个或多个应用相关联的子菜单或菜单或其它虚拟界面元素。

现在参考图111,描述了使用图腾的示例方法1100。在11102处,检测和/或捕获用户与图腾的交互。例如,可以基于来自触觉手套的输入或通过面向前的相机(例如,世界相机、FOV相机等)来捕获交互。在11104处,AR系统可以检测图腾相对于给定的参考系的位置、取向和/或运动。参考系可以是允许AR系统计算图腾的运动以便理解用户命令的一个或多个特性的预定参考系。在11106处,采用存储在系统中的地图来查阅用户的交互(例如相对于参考系的位置/取向/运动)。在一个或多个实施例中,地图可以是将某些运动/位置或取向与特定用户输入相关联的1∶1地图。其它映射表和/或技术可以在其它实施例中类似地使用。在11108处,AR系统可以基于映射来确定用户输入。

在一个或多个实施例中,AR系统可以将对象标识为图腾。对象可以是真实对象或虚拟对象。通常,图腾可以是可以显示为图腾的预先指定的对象,例如一组键或一组虚拟键。在一个或多个实施例中,用户可能已经选择了图腾。或者,如果图腾是真实对象,则系统可以捕获关于图腾的一个或多个图像和/或其它数据,以在将来识别它。此外,AR系统可以请求用户“设置”图腾,以使得系统理解与图腾相关的命令。例如,可以按压图腾的中心部分以指示特定命令。在一个或多个实施例中,这可能需要系统被预编程以理解该命令。

在一个或多个实施例中,图腾的参考系可以与世界的参考系相关以理解某些命令。例如,系统可以识别用户相对于图腾的手部运动(在一个实施例中)。在一个或多个实施例中,AR系统跟踪用户与图腾的交互(例如,手部运动、图腾运动、眼睛运动等)。当交互与预定的交互(例如,运动模式、运动速度、运动方向、触摸力、与另一对象的接近等)匹配时,系统可以响应于所确定的用户输入来确定用户输入,并且理解命令。

应当理解,在此概述的概念可以应用于AR系统的各个方面。例如,识别图腾,识别与图腾相关的运动模式以及检索与所识别的图腾手势相关联的命令,其可以在下面讨论的几乎所有各种实施例和用户场景中使用。这些相同的概念帮助系统识别图腾手势并执行命令(例如,打开应用,显示用户界面,购买项目,切换应用等)。因此,在此概述的关于识别图腾和图腾命令以及检索与图腾相关联的命令的原理可以用于下面描述的几乎所有实施例中。应当理解,出于简洁的目的,在具体实施例的讨论期间将不重复这些概念。

光波前+声波前

在一或多个实施例中,AR系统可产生作为光波前的模拟的声波前,从而产生现实的声场。在一些实施方式中,AR系统可在声音范围内动态调节麦克风增益,以将真实物理播放器与虚拟空间中的虚拟播放器混合。换句话说,AR系统产生现实声波前,使得来自特定对象(例如,虚拟对象等)的发出声音匹配光场。

例如,如果虚拟对象被描绘成使得它从远处出现,则从对象发出的声音不应该是恒定的,而是模仿如果该对象从远处接近将来自对象的声音。由于AR系统的光场产生虚拟对象的真实视觉体验,AR系统的声波前也被修改以真实地描绘声音。例如,如果虚拟对象从后面接近,则来自虚拟对象的声音将与如果它从前侧简单地接近不同。或者如果虚拟对象从右侧接近,则可修改声音,使得用户本能地转向右侧以查看虚拟对象。因此,可以理解,修改声波前以真实描绘声音可改善AR系统的整体体验。

声波前也可取决于用户的物理位置。例如,与用户在开放空间中时相比,如果用户在大教堂中(例如,可能存在回声等),则自然声音被不同地感知。AR系统可捕获本地和环境声音(例如,游戏引擎驱动的)再现。

现在参考图113,提供了示出声音设计系统的各种部件的框图。如图113所示,头部姿态信息11318可被用于确定对象和聆听者姿态11320。一旦确定,该信息可被馈送到空间和接近声音呈现模块11302。

在一个或多个实施例中,对象和聆听者姿态11320可被馈送至声音数据模块11322中,声音数据模块11322可包括各种声音数据文件,各种声音数据文件可被存储在数据库中。声音数据模块11322可与声音设计工具11324(例如,FMOD录音室等)交互以提供操控声音数据文件的声音设计过滤器等。

声音和元数据11322可被馈送到均衡模块11314中,均衡模块11314也可被馈送有基于信道的内容11316。均衡声音也可被馈送至空间和接近呈现模块11302中。

在一或多个实施例中,3D头部模型传递函数11310和动态产生的空间模型(例如,空间传递函数)也被输入至空间和接近声音呈现模块11302。在一或多个实施例中,空间和接近声音呈现模块11302也可接收来自预先录制(canned)空间11312的声音的输入。传递函数可通过基于用户的头部姿态和分别从头部姿态11318以及对象和聆听者姿态11320模块接收到的虚拟对象信息应用转换来操控声音数据。

在一或多个实施例中,空间和接近声音呈现模块11302与双耳虚拟器11304交互,并且声音最终被输出至用户的耳机11306。

在一或多个实施例中,AR系统可确定用户的头部姿态以确定如何操控音频对象。音频对象可被绑定到虚拟对象(例如,音频看起来来自虚拟对象,或者可被定位在不同地方,但是与虚拟对象相关联)。音频对象可基于所感知的位置与虚拟对象相关联,使得音频对象(声音数据)从虚拟对象的感知位置发出。

AR系统知道虚拟对象的感知位置(例如,地图、可传递世界模型等),因此,AR系统可将音频对象置于相同的位置。在一或多个实施例中,基于所感知的的位置和/或所确定的音频对象相对于用户的头部姿态的位置,声音数据可通过声音设计算法被动态地改变,使得声音看起来来自虚拟对象的起源的地方。

在一或多个实施例中,AR系统可有意使用各种虚拟视频和/或音频触发器以引发用户头部动作。AR系统可选择触发器(例如,虚拟视觉提示或虚拟声音提示)并呈现虚拟视频图像或声音提示以看起来从用户的周边发出(例如,从用户面前或用户面对的方向偏移)。例如,如果将光场呈现到眼睛中,则在侧面或周边的非图像形成光学元件可呈现看起来在用户的周边视觉中并引起用户在期望的方向转动用户头部的虚拟提示或触发器。附加地或替代地,AR系统可呈现空间化的声音场,其具有声音的波前合成,并具有看起来在用户的视场之外的音频或听觉提示或触发器,再次地引起用户转向到期望的方向。

坐标系

如在上述各种实施例中并参考图133详细论述的,应理解虚拟内容可被绑定至一或多个坐标系,使得虚拟内容相对于该坐标系保持静态或运动。例如,如在13302中所示,虚拟内容可以房间为中心。换句话说,虚拟内容被系留至现实世界的一或多个坐标,使得虚拟内容驻留在空间内的恒定位置,而用户可围绕该虚拟内容移动或离开该虚拟内容。

在另一实施例中,如在13304中所示,虚拟内容可以身体为中心。因此,虚拟内容可相对于用户的中心轴移动。例如,如果用户移动,则虚拟内容基于用户的移动而移动。

在又一实施例中,如在13306中所示,虚拟内容可以头部为中心。换句话说,虚拟内容被绑定至以用户头部为中心的坐标系。虚拟内容可随着用户四处移动用户头部而移动。这可为具有各种用户界面的情况。当用户转动他/她的头部时,虚拟内容可移动,从而提供总是在用户的视野内的用户界面。

在又一实施例中,如在13308中所示,虚拟内容可基于以手为中心的参考点来填充,使得虚拟内容基于用户的手的运动而运动(例如,下面所述的长手套体验)。

现在参考图134,并且如通过上述各种实施例所说明的,可存在与呈现给用户的虚拟内容交互的许多方式。一些示例在图134中示出,其包括无形交互,例如姿势(例如,手、头、身体、图腾等)13402、语音交互13404、眼睛矢量13406和生物反馈13408。

如先前详细描述的,姿势反馈13402可一般允许用户通过用户的手、手指或手臂的移动来与AR系统交互。语音用户输入13404可允许用户与AR系统简单地“对话”,并且说出AR系统需要的语音命令。眼睛用户输入13406可涉及眼睛跟踪系统的使用,使得用户可简单移动用户的眼睛以影响用户界面中的变化。例如,用户输入可为眨眼或眼睛移动,其可对应于预定义的动作。例如,用户可在他/她的焦点在虚拟图标上时连续眨眼三次。这可为由系统识别的预定义的选择命令。作为响应,系统可简单地选择虚拟图标(例如,打开应用等)。因此,用户可以以最小的努力与AR系统通信。

生物反馈13408也可被用于与AR系统交互。例如,AR系统可监测用户的心率,并相应地做出响应。例如,考虑用户正在参与锻炼挑战。响应于用户上升的心率,AR系统可向用户显示虚拟内容(例如,提示用户减慢、喝水等)。

在一或多个实施例中,与AR系统的交互可为有形的。例如,可定义预定义为特定命令的已知体积13410。例如,用户可在空中简单绘制形状,AR系统将其理解为特定命令。

交互可通过手套13412(例如,触觉手套等)。因此,手套13412可拾取姿势、物理触摸等,其继而可被用于一或多个命令。类似地,识别的环13414可被用于向AR系统提供输入。在又一实施例中,可塑表面13416可被用于向系统提供输入。例如,可塑对象13416可被用作图腾,但是,不仅仅是相对于固定大小的对象进行交互,输入可为将可塑对象13416拉伸成不同的形状和大小,其中,每种形状和大小可被预定义为特定命令。

或者,在其它实施例中,简单的控制器装置13418(例如,键盘、鼠标、控制台等)可被用于与系统交互。在其它实施例中,对象13420的物理特性可被用于与系统交互。

姿势

在一些实施方案中,AR系统可检测并响应于一或多个手指/手的姿势。这些姿势可采取各种形式,例如可基于手指间交互、指点、轻拍、摩擦等。其它姿势可例如包括字符的2D或3D表示(例如,字母、数字、标点符号)。为了输入字符,用户以所定义的字符图案滑动他们的手指。根据一个说明性实施例,其它姿势可包括拇指/滚轮选择类姿势,其可例如与可在用户的视场中呈现的“弹出”圆形放射状菜单一起使用。

应理解,这里概述的概念可被应用于AR系统的各个方面。例如,识别姿势和检索与所识别的姿势相关联的命令可被用在下面论述的几乎所有各种实施例和用户场景中。例如,姿势可被用在下面论述的各种用户界面实施例中。这些相同的概念帮助系统识别姿势并执行命令(例如,打开应用、显示用户界面、购买商品、切换应用等)。因此,这里概述的关于识别姿势和检索与姿势相关联的命令的原理可被用在下面描述的几乎所有实施例中。应理解,出于简洁的目的,在具体实施例的论述期间将不重复这些概念。

AR系统的实施例因此可以使用姿势识别各种命令,并且作为响应执行被映射到命令的某些功能。姿势到命令的映射可跨越许多用户被普遍定义,这有助于在用户界面中采用至少一些共同性的各种应用的开发。另选地或附加地,用户或开发者可定义至少一些姿势和响应于对命令的检测而要由AR系统执行的相应命令之间的映射。

例如,指点食指可指示聚焦的命令,例如聚焦在食指指向的场景或虚拟内容的特定部分上。可以用食指的尖端接触拇指的尖端以形成闭合圆来完成捏合姿势,例如以指示抓取和/或复制命令。另一示例捏合姿势可以用无名指的尖端接触拇指的尖端以形成闭合圆,例如以指示选择命令。又一示例捏合姿势可以用小指手指的尖端接触拇指的尖端以形成闭合圆,例如以指示返回和/或取消命令。无名指和中指卷曲且无名指的尖端与拇指的尖端接触的姿势可指示例如点击和/或菜单命令。食指的尖端触摸到头戴部件或镜框上的位置可指示返回到主页命令。

本发明的实施例提供了用于执行姿势跟踪和识别的高级系统和方法。在一个实施例中,执行拒绝级联方法,其中,对图像数据执行姿势分析的多个阶段以识别姿势。前面参考图135A,使用一系列许可的分析节点来处理输入图像13542(例如,深度D处的RGB图像)。每个分析节点13544(例如,13544a、13544b等)执行确定图像是否可识别为姿势的不同步骤。

该过程中的每个阶段执行目标计算,使得其总体中的不同确定的序列可被用于高效地执行姿势处理。这意味着,例如,在处理的每个阶段处的处理能力的量以及节点的序列/顺序可被用于以最小的计算开销来优化去除非姿势的能力。例如,可将计算上较低成本的算法应用于较早阶段以去除大量“较容易的”候选,从而使用计算上更加昂贵的算法在后面的阶段中留下较少数量的“较困难的”数据来分析。

在一个实施例中,执行这种类型的处理的一般方法在图135B的流程图13501中示出。第一步骤13502是生成用于姿势处理的候选。这些包括例如从可穿戴装置的传感器测量捕获的图像,例如从安装在可穿戴装置上的摄像机捕获的图像。接下来,在13504,对候选执行分析以生成分析数据。例如,一种类型的分析可为检查图像中的形状(例如,手指)的轮廓是否足够尖锐。在13506,然后对所分析的候选执行分类。最后,在13508,从考虑中去除对应于低于最小阈值的得分/分析值的任何候选。

图135C描绘了根据本发明的一个实施例的用于姿势分析的更详细的方法。第一动作是对输入数据执行深度分割13520。例如,通常,提供数据输入的摄像机(例如,产生RGB+深度数据的摄像机)将被安装在用户的头上,其中,用户的世界摄像机(例如,前置摄像机、FOV摄像机等)将覆盖人类可以合理地执行姿势的范围。

如图135D所示,可以执行通过数据的线搜索13560(例如,从视场的底部)。如果沿着该线存在可识别的深度点,则已经识别出潜在的姿势。如果不是,则不需要进行进一步的处理。

在一些实施例中,此类线的深度点处理可以是相当稀疏的――可能是相对快速地获取50个点。当然,可以采用不同种类的线系列,例如,除了横跨底部的平线之外或代替横跨底部的平线,在可能存在手/臂的区域中采用更小的对角线。

可采用任何合适的深度采样图案,优选地选择在检测姿势时最有效的那些深度采样图案。在一些实施例中,获得置信度增强的深度地图,其中,所检测到的潜在有效的姿势深度点被用于从该点洪水填充(flood fill)以分割出潜在的手或手臂,然后进一步过滤以检查所识别的对象是否为真的手或手臂。例如,可以通过获得手的清晰的深度地图然后检查在图像中从手反射到传感器的光的量来执行另一置信度增强,其中,更大量的光对应于更高的置信度水平。

可以从深度数据执行级联以执行立即/快速处理13530,例如,在图像数据适于非常快速的姿势识别的情况下。这对于非常简单的姿势和/或手/手指位置是最适用的。

在许多情况下,必须执行更深的处理以增强深度映射13522。例如,一种类型的深度增强是对数据执行深度变换。一种类型的增强是检查从例如边界、质心等指定点集的测地距离。例如,确定从表面位置到地图上的各个点的距离。这试图找到例如到手指尖端的最远点(通过找到手指的端部)。点集可来自边界(例如,手的轮廓)或质心(例如,统计中心质量位置)。

也可计算表面归一化。另外,也可估算曲率,曲率识别轮廓转动多快(例如,通过执行过滤处理以排查各点并从手指去除凹点)。在一些实施例中,可对数据执行取向归一化。为了说明,考虑手的给定图像可用在不同位置的手捕获。然而,分析可能期望手在规范位置中的图像数据。在此情况下,如图135E中的13570所示,映射数据可被重新定向以改变到归一化/规范的手位置。

在一些实施例中,一种有利的方法是对数据执行背景减法。在许多情况下,在场景中存在已知的背景,例如背景墙的图案。在此情况下,待分析的对象的映射可以通过去除背景图像数据来增强。该过程13580的示例在图135F中示出,其中,图135F的左部示出了在某种背景图像数据之上的手的图像。图135F的右手部分示出了从图像中移除背景的结果,从而使增强的手数据具有增加的清晰度和聚焦。

还可以对图像中的点执行深度比较以识别与手相关的特定点(与背景非手数据相对)。例如,如图135G的13590所示,可以看出,第一点A位于第一深度,第二点B位于显着不同的第二深度。在此情况下,这两个点的深度的差异使得非常明显的是,这两个点可能属于不同的对象。因此,如果知道手的深度处于与点A相同的深度值,则可以得出结论,点A为手的一部分。另一方面,由于点B的深度值与手的深度不相同,因此可以容易地推断出点B不是手的一部分。

在此刻,对深度映射执行一系列分析阶段。任何数量的分析阶段都可以被应用于数据。本实施例示出了三个阶段(例如,13524、13526和13528等),但是本领域的普通技术人员应容易理解到,可以对本发明适用的应用适当地使用任何其它数量(更小或更大)的阶段。

在当前实施例中,对数据使用分类器机制来执行阶段1分析13524。例如,深层神经网络或分类/决策林可被用于在分析中应用一系列是/否决定,以针对映射中的不同点识别手的不同部分。这识别例如特定点是否属于手掌部分、手背、非拇指手指、拇指、指尖和/或手指关节。任何合适的分类器可以被用于该分析阶段。例如,代替分类林或者除了分类林之外,可以使用深度学习模块或神经网络机制。此外,除了分类林之外,还可以使用回归林(例如,使用霍夫变换等)。

分析的下一阶段(阶段2)13526可以被用于进一步分析映射数据。例如,具体地,可以执行分析以识别关节位置,或者对数据执行骨架化。图135H提供了骨架化的图示13595,其中,手数据的原始映射被用于识别手内的骨骼/关节的位置,从而产生手/手骨架的“棍子”图形模型类型。此类型的模型提供了清晰度,手指的位置和手部位的具体定向和/或构造的非常清晰的视图。在此阶段还可以将标记应用于手的不同部分。

在此刻,可能的是,数据现在可以直接由下游应用13534消费,而不需要任何进一步的分析。例如,如果下游应用本身包括对模型数据执行附加分析/计算的逻辑,则这可能发生。另外,系统还可以可选地级联以执行立即/快速处理13532,例如,在数据适于姿势:诸如(1)拳头姿势;(2)打开手掌姿势;(3)手指枪姿势;(4)捏合等的非常快速的识别的情况下。例如,如图1351的13598所示,手映射上的各个点(例如,扩展拇指上的点和扩展第一手指上的点)可以被用于立即识别指向姿势。然后,输出将进行到世界引擎13536,例如,以对所识别的姿势采取行动。

此外,可以在阶段3分析中执行更深的处理。这可包括例如使用深层神经网络或决策林/树来对姿势分类。此额外处理可被用于识别姿势、确定手姿势、识别上下文依赖性和/或在需要时的任何其它信息。

先前/控制信息可以在任何所描述的步骤中应用以优化处理。这允许对在该处理阶段中的分析动作采取一些偏置。例如,对于游戏处理,在游戏中采取的先前动作可以被用于基于较早的手位置/姿势来偏置分析。此外,可以使用混淆矩阵来更准确地执行分析。

使用上面论述的姿势识别的原理,AR系统可使用从用户的FOV摄像机收集的视觉输入并且识别可与预定命令或动作相关联的各种姿势。现在参考图135J的流程图13521,在步骤13503中,AR系统可检测如上面详细论述的姿势。如上所述,在步骤13505中,可将手指的移动或图腾的移动与映射数据库进行比较以检测预定命令。在步骤13507中,基于映射步骤13505,确定AR系统是否识别该命令。

如果检测到命令,则AR系统在步骤13507中基于姿势确定期望的动作和/或期望的虚拟内容。如果姿势或图腾的移动不对应于任何已知命令,则AR系统简单地返回到步骤13503以检测其它姿势或移动。

在步骤13509中,AR系统确定为了满足命令所需的动作的类型。例如,用户可能想要激活应用、或者可能想要翻页、可能想要生成用户界面、可能想要连接到位于另一物理位置的朋友等。基于期望的动作/虚拟内容,AR系统在步骤13511中确定是从云服务器检索信息还是使用用户装置上的本地资源来执行动作。

例如,如果用户仅想要翻虚拟书的页面,则相关数据可能已经被下载或可能完全驻留在本地装置上,在此情况下,AR系统简单地检索与下一页相关联的数据并向用户显示下一页。类似地,如果用户希望创建用户界面使得用户可以在空间中间绘制图片,则AR系统可在期望位置简单地生成虚拟绘图表面,而无需来自云的数据。与许多应用和能力相关联的数据可被存储在本地装置上,使得用户装置不需要不必要地连接到云或访问可传递世界模型。因此,如果期望的动作可以在本地执行,则本地数据可被用于显示与检测到的姿势相对应的虚拟内容(步骤13513)。

另选地,在步骤13515中,如果系统需要从云或可传递世界模型检索数据,则系统可向云网络发送请求、检索适当的数据并将其发送回本地装置,使得可采取动作或者可向用户适当地显示虚拟内容。例如,如果用户想要连接到在另一物理位置的朋友,则AR系统可能需要访问可传递世界模型以检索与朋友的物理形式相关联的必要数据,以便相应地在本地用户装置呈现该必要数据。

因此,基于用户与AR系统的交互,AR系统可按照用户的需要产生许多类型的用户界面。以下代表可以以与上述示例过程类似的方式产生的用户界面的一些示例实施例。应理解,上述过程被简化用于说明目的,并且其它实施例可包括基于期望的用户界面的附加步骤。以下论述详述了AR系统的一组附加应用。

UI硬件

AR系统可采用伪触觉手套,其提供被绑定到物理对象的压力和/或振动的感觉。触觉效果可例如类似于将手穿过气泡。

如果振动被引入到手指上,则用户将该振动解译为纹理。伪触觉手套可提供复制硬物理对象、软物理对象和毛茸茸的物理对象的感觉的触感。伪触觉手套选择性地产生压力和振动的感觉。

例如,如果在空间中存在浮动的无质量对象(例如,气泡),则用户可能能够感觉到触摸无质量对象的触感。用户可以改变触摸虚拟对象的触感,例如面向纹理感觉而不是面向硬度的感觉。例如,如果用户将手穿过气泡,则虽然用户不会感觉到抓住物理对象的感觉,但是用户可能感觉到一些触感。提供触感的类似方法可在AR系统的其它可佩戴部分或部件中实现。手套和/或其它部件可使用各种不同的致动器,例如压电致动器。

因此,用户可能感觉到好像能够直接触摸无质量的虚拟对象。例如,如果虚拟对象位于表格处,则对应于触觉手套的一致UX元素可向用户提供本体感觉的触觉交互。例如,用户可抓住或可抓握靠近门的特定手柄。使用手柄作为虚拟对象的坐标系对于用户而言可为非常直观的。这允许用户拾取物理东西,并且通过触觉代理手实际感觉物理感觉。

各个AR系统的头戴式部件也可包括传感器,其检测耳机或耳塞何时位于用户耳朵附近、之上或之中。AR系统可使用多种传感器中的任何一种,例如电容式传感器、压力传感器、电阻传感器等。响应于检测到耳机或耳塞就位,AR系统可经由耳机或耳塞路由声音。响应于未能检测到耳机或耳塞就位,AR系统可通过常规的独立扬声器路由声音。

另外,AR系统可使用复合摄像机。复合摄像机可包括安装在柔性基板(例如柔性印刷电路板基板)上或由其承载的多个芯片级摄像机。柔性基板可用灌封化合物改性和/或重新构造,以基本上形成单个广角镜头。

例如,可使用晶片级技术用层方法来构建小型摄像机。例如,多个视频图形阵列(VGA)焊盘可在柔性基板上形成,以用于通信耦合到这些摄像机。具有摄像机的柔性基板可以在砧座上拉伸,并且例如经由粘合剂固定。这提供了具有约60度或70度的光学宽视场的便宜的一组VGA摄像机。

有利地,可以采用平坦工艺,并且柔性基板可在砧座上拉伸。所得结构从像素计数图像质量的角度提供了宽视场摄像机的等同物,但是其具有重叠或非重叠的视场。两个或三个的多个元件晶片级的摄像机可以代替具有五个或六个元件的特定宽视场透镜,同时仍实现与宽视场摄像机相同的视场。

用户界面

如将在下面的各种实施例中所述的,AR系统可产生许多类型的用户界面。在下面描述的一些实施例中,AR系统基于用户的位置以及用户界面可以在什么类型的参考系中操作来产生用户界面。例如,一些用户界面(例如,下面的图85A-85C)是以身体为中心的用户界面,在此情况下,AR系统可确定用户的中心的位置(例如,臀部、腰部等),并且基于该参考系来投影虚拟界面。基于以头部为中心的参考系,以手为中心的参考系等产生其它用户界面。此外,AR系统可利用上面论述的姿势跟踪和/或图腾跟踪的原理也产生一些用户界面和/或与其交互。

尽管下面描述的每个用户界面具有一些差异,但是它们主要使用一些共同原理来起作用。为了显示用户选择的用户界面,AR系统必须确定用户在世界中的位置(例如,世界坐标系)。例如,可通过上述任何定位技术(例如,GPS、蓝牙、拓扑图、与用户的AR系统相关的映射点等)来确定用户的位置。一旦已经确定了用户在世界坐标系中的位置,就可确定用户的手/手指等相对于用户的AR系统的关系。例如,如果用户已经选择了预定义的基于环的用户界面(例如,图85A-85C等),则可确定用户的AR系统和虚拟用户界面的以身体为中心的参考系之间的关系。

例如,可基于用户臀部的坐标来确定图85A-85C的以身体为中心的用户界面。可基于AR系统所收集的数据来确定用户的臀部的位置。换句话说,AR系统的各种传感器(例如,摄像机、传感器等)可帮助确定用户臀部的坐标(例如,在世界坐标系中)。该确定的位置可被设置为用户界面的原点坐标(0,0,0)。

在确定了原点坐标之后,可基于所确定的用户臀部的位置来呈现虚拟用户界面,使得随着用户的移动,虚拟用户界面与用户的身体一起移动(例如,图85A-85C的环用户界面保持在用户身体周围)。在一或多个实施例中,各种预配置的用户界面可被存储在用户界面数据库中,使得从数据库检索适当的用户界面。

所存储的用户界面程序可包括关于用户界面的一组特性和/或参数,包括虚拟用户界面的各个部分必须相对于原点坐标显示的坐标。例如,在仅具有2个像素的非常简单的用户界面中,可定义要相对于原点臀坐标显示的像素的坐标。当选择特定用户界面时,可从数据库检索用户界面数据,并且可将各种转换矢量应用于像素坐标,以便确定世界坐标。换句话说,每个存储的用户界面程序可相对于特定参考系来预定义,并且该信息可被用于确定呈现特定用户界面的位置。应理解,下面描述的大多数用户界面基于该基本原理工作。尽管上述示例示出了仅使用2个像素的概念,但是应理解,可类似地定义虚拟用户界面的所有像素的适当坐标,使得可应用相关的平移和/或旋转。

在另一示例中,假设用户界面必须显示在用户姿势的位置。如下面的许多实施例所示,可以简单地“即时”产生若干用户界面,使得用户界面起源于由用户定义的空间中的特定点。在此情况下,也可使用与上述类似的定位概念。

例如,用户可将他的手臂放在空间中,并用他/她的手指做出特定姿势,向AR系统指示应该在该位置处填充用户界面。在此情况下,与上述类似,AR系统在世界中的位置是已知的(例如,GPS、蓝牙、拓扑图等)。AR系统的各种传感器和/或摄像机可确定用户的姿势相对于AR系统的位置(例如,在已经识别了姿势意味着生成用户界面的命令之后)。

如上所述,一旦已经确定姿势相对于AR系统摄像机或传感器的位置,可使用几种三角测量技术(例如,转换矢量等)来确定该位置的世界坐标。一旦已经确定了位置的世界坐标,则可生成期望的用户界面,使得其起源于该特定位置。

下面描述的一些用户界面中的另一主题为一些虚拟内容的参考系可被修改,使得当前被绑定到第一参考系的虚拟内容被绑定到另一参考系。如在下面描述的一些实施例中将清楚的,用户可通过以手为中心的用户界面打开应用。应用可打开朋友的个人资料页,用户可能希望存储该个人资料页以便将来容易查看。在一或多个实施例中,用户可获取与个人资料页(其当前相对于以手为中心的参考系来显示)相对应的虚拟对象或虚拟框,并且修改它以使其不再被绑定到以手为中心的参考系,而是被绑定到以世界为中心的参考系。

例如,AR系统可识别用户的姿势(例如,投掷姿势、获取应用并且将其远离第一参考系放置的姿势等),以向系统指示AR用户期望修改特定虚拟对象的参考系。一旦姿势被识别,AR系统就可确定虚拟内容的世界坐标(例如,基于虚拟内容相对于AR系统在世界中的已知位置的位置),并且修改一或多个参数(例如,原点坐标字段等),使得其不再绑定到以手为中心的参考系,而是绑定到世界坐标参考系。

在又一实施例中,AR系统必须识别所选的特定虚拟图标,并且移动虚拟图标使得其看起来随用户的手移动(例如,好像用户正持有特定虚拟应用等)。为此,AR系统可首先识别姿势(例如,用用户的手指的抓握动作等),然后确定用户的手指/手的坐标。类似地,如上所述,虚拟图标的世界坐标也是已知的(例如,通过虚拟内容相对于特定参考系的已知位置,以及参考系与以世界为中心的参考系之间的已知关系)。由于两个坐标都是已知的,所以虚拟内容可被移动以镜像用户手指的移动。

如将在下面的各种实施例中所述,用户周围的任何空间可被转换为用户界面,使得用户可以与系统交互。因此,AR系统不需要诸如鼠标/键盘等的物理用户界面(虽然图腾可被用作参考点,如上所述),而是可在任何地方以任何形式产生虚拟用户界面以帮助用户与AR系统交互。在一个实施例中,可存在各种虚拟用户界面的预定模型或模板。如上所述,在设置期间,用户可指定虚拟UI的优选类型(例如,以身体为中心的UI、以头部为中心的UI、以手为中心的UI等)。

另选地或除此之外,各种应用可与其自己类型的虚拟UI相关联。另选地或除此以外,用户可定制UI以产生他/她可能最觉得舒适的UI。例如,用户可使用他的手的动作简单地“绘制”空间中的虚拟UI,并且各种应用或功能可自动地填充所绘制的虚拟UI。

前面参考图140,该图示出了显示用户界面的示例流程图。在步骤14002中,AR系统可识别特定UI。UI的类型可以由用户预定。系统可识别至少部分基于用户输入(例如,姿势、视觉数据、音频数据、感觉数据、直接命令等)所填充的UI需求。在步骤14004中,AR系统可生成用于虚拟UI的数据。例如,可生成与UI的边界、一般结构、形状等相关联的数据等。另外,AR系统可确定用户的物理位置的地图坐标,使得AR系统可以显示与用户的物理位置相关的UI。例如,如果UI以身体为中心,则AR系统可确定用户的物理姿态的坐标,使得环形UI可以显示在用户周围。或者,如果UI以手为中心,则可需要确定用户的手的地图坐标。应理解,这些映射点可通过经由F〇V摄像机接收的数据、感测输入或任何其它类型的收集数据来导出。

在步骤14006中,AR系统可从云将数据发送到用户装置。在其它实施例中,数据可从本地数据库发送到显示部件。在步骤14008中,基于所发送的数据向用户显示UI。

一旦已经产生虚拟UI,则在步骤14010中,AR系统可简单地等待来自用户的命令以在虚拟UI上生成更多的虚拟内容。例如,UI可为围绕用户身体的以身体为中心的环。AR系统然后可等待命令,并且如果其被识别(步骤14012),则可向用户显示与命令相关联的虚拟内容。

现在参考图141,描述用户界面的显示的更具体的流程图14100将被描述。在14102,AR系统可接收关于期望的虚拟UI的输入。例如,AR系统可通过所检测到的姿势、语音命令等来检测此情况。在14104,AR系统可基于用户输入从UI库中识别UI,并且检索必要的数据以便显示UI。

在14106,AR系统可确定与所识别的UI相关联的坐标系或参考系统。例如,如上所述,一些UI可以头部为中心,而另一些UI可以手为中心、以身体为中心等。在14108,一旦已经确定了坐标系类型,AR系统确定虚拟用户界面必须相对于用户的位置显示的位置。例如,如果所识别的UI是以身体为中心的UI,则AR系统可确定用户身体的中心轴/点的位置(例如,映射点、定位技术等)(例如,用户在世界坐标系内的位置)。

一旦定位了该点/轴,其可被设置为坐标系的原点(例如,在x、y、z坐标系中的(0,0,0))(14110)。换句话说,将参考所确定的坐标系(例如,用户身体的中心)来确定待显示的虚拟UI的位置。一旦已经确定了用户身体的中心,就可以进行计算以确定虚拟UI必须被填充的位置(14112)。在14114,可在所确定的映射点处填充期望的UI。

在上述其它实施例中,可以简单地基于用户手指的位置在运行中产生定制虚拟用户界面。例如,如上所述,用户可简单地“绘制”虚拟边界,并且可在该虚拟边界内填充用户界面。现在参考图142,该图示出了示例流程图14200。

在步骤14202中,AR系统检测用户的手指或手的移动。该移动可为表示用户希望产生用户界面的预定姿势(例如,AR系统可将姿势与预定姿势的图进行比较)。基于该检测,AR系统可在步骤14204中将姿势识别为有效姿势。在步骤14206中,AR系统可通过云服务器检索与世界坐标系内的用户手指/手的位置相关联的位置,以便在正确的位置显示虚拟UI,并且随着用户的手指或手的移动而实时移动。

在步骤14208中,AR系统产生镜像用户的姿势的UI。这可通过识别与用户的手指相关联的位置并在该位置处显示用户界面来执行。在步骤14210中,可使用所确定的位置在右侧位置处实时地显示UI。

AR系统然后可检测向系统指示完成了用户界面的产生的手指的另一移动或另一预定姿势(步骤14212)。例如,用户可停止进行他的手指的动作,以表示AR系统停止“绘制”UI。在步骤14214中,AR系统在由用户的手指移动绘制的边界中的位置处显示UI。因此,可产生定制用户界面。

现在将使用姿势跟踪/UI产生的原理等来描述一些示例用户应用。在一些实施例中,下面描述的应用可具有可单独安装到系统上的硬件和/或软件组件。在其它实施例中,系统可被用于各种行业等,并且可被修改以实现下面的一些实施例。

尽管下面描述的特定实施例经常使用姿势来与AR系统通信,但是应理解,可以类似地使用上面论述的任何其它用户输入。例如,除了姿势之外,用户界面和/或其它虚拟内容(例如,应用、页面、网站等)可响应于语音命令、直接输入、图腾、注视跟踪输入、眼睛跟踪输入或上面详细论述的任何其它类型的用户输入而呈现。

以下部分提供可通过AR系统显示以允许与用户交互的用户界面的各种实施例。现在参考图85A,图85A示出了根据一个说明性实施例的用户经由姿势与由AR系统(未在图85A-85C中示出)呈现的用户界面构造8500交互。

具体地,图85A示出了用户与具有各种用户可选虚拟图标的大致环形布局或配置虚拟用户界面8512交互的场景8500。大致环形的布局或配置基本上类似于图79E中所示的布局或构造。

用户可选择的虚拟图标可表示应用(例如,社交媒体应用、网页浏览器、电子邮件等)、功能、菜单、虚拟房间或虚拟空间等。用户可例如执行滑动姿势。AR系统检测滑动姿势,并将滑动姿势解译为呈现大致环形布局或配置用户界面的指令。AR系统然后将大致环形的布局或配置虚拟用户界面8512呈现到用户的视场中,以便看起来至少部分地围绕用户,与用户间隔开在用户的手臂可触及范围内的距离,如图示的实施例中所示。如上所述,用户界面坐标可被绑定到所确定的用户中心的位置,使得其被绑定到用户的身体。

图85B示出根据另一说明性实施例的用户经由姿势与由AR系统(未在图85B中示出)呈现的用户界面虚拟构造8512交互的另一场景8502。

大致环形的布局或配置虚拟用户界面8512可以以可滚动的形式呈现各种用户可选的虚拟图标。用户可例如通过手的扫掠动作做出姿势,以滚动通过各种用户可选的虚拟图标。例如,用户可分别向用户的左(例如,逆时针)方向或向用户的右(例如,顺时针)方向进行扫掠动作,以引起沿左(例如,逆时针)或右(例如,顺时针)方向的滚动。

用户可例如执行点或触摸姿势,以邻近地识别用户可选虚拟图标中的一个。AR系统检测点或触摸姿势,并将点或触摸姿势解译为打开或执行相应的应用、功能、菜单或虚拟房间或虚拟空间的指令。AR系统然后基于用户选择呈现适当的虚拟内容。

图85C示出根据又一说明性实施例的用户经由姿势与由AR系统(未在图85C中示出)呈现的用户界面虚拟构造8512交互的又一场景8504。

图85C示出了用户与图85A和85B的各种用户可选虚拟图标的大致环形布局或配置虚拟用户界面8512交互。具体地,用户选择用户可选虚拟图标中的一个。作为响应,AR系统打开或执行相应的应用、功能、菜单或虚拟房间或虚拟空间。例如,AR系统可呈现用于相应应用8514的虚拟用户界面,如图85C所示。另选地,AR系统可基于用户的选择呈现相应的虚拟房间或虚拟空间。

现在参考图86A,图86A示出了根据一个说明性实施例的用户经由姿势与由AR系统(未在图86A中示出)呈现的用户界面虚拟构造8612交互的场景8602。

具体地,图86A示出了用户执行姿势以创建在物理环境的空间中悬停或者悬挂或胶合到物理表面(诸如物理环境的墙壁)的新的虚拟工作门户或构造。例如,用户可执行双臂姿势,例如从中心点向外拖动到表示虚拟工作门户或构造的左上角和右下角的位置,如图86A所示。虚拟工作门户或构造8612可例如被表示为矩形,用户姿势不仅建立了位置,而且建立了虚拟工作门户或构造的大小。

虚拟工作门户或构造8612可提供对例如应用、功能、菜单、工具、游戏和虚拟房间或虚拟空间的其它虚拟内容的访问。一旦已经产生或打开虚拟工作门户或构造,用户可采用各种其它姿势来导航。

图86B示出了根据一个说明性实施例的用户经由姿势与由AR系统(未在图86B中示出)呈现的用户界面虚拟构造8614交互的另一场景8604。

具体地,图86B示出了用户执行姿势以在用作图腾的物理对象的物理表面8614上产生新的虚拟工作门户或构造。用户可例如执行两个手指姿势,例如扩展捏合姿势,从中心点向外拖动到虚拟工作门户或构造的左上角和右下角应当所处的位置。虚拟工作门户或构造可例如被表示为矩形,用户姿势不仅建立了位置,而且建立了虚拟工作门户或构造的大小。

图86C示出了根据一个说明性实施例的用户经由姿势与由AR系统(未在图86C中示出)呈现的用户界面虚拟构造8616交互的另一场景8606。

具体地,图86C示出了用户执行姿势以在物理表面(诸如,物理桌子或书桌的顶表面)上产生新的虚拟工作门户或构造8616。用户可例如执行双臂姿势,例如从中心点向外拖动到虚拟工作门户或构造的左上角和右下角应当所处的位置。虚拟工作门户或构造可例如被表示为矩形,用户姿势不仅建立了位置,而且建立了虚拟工作门户或构造的大小。

如图86C所示,特定应用、功能、工具、菜单、模型或虚拟房间或虚拟空间可以被分配或关联到特定的物理对象或表面。因此,响应于在所定义的物理结构或物理表面上或附近执行的姿势,AR系统自动打开与物理结构或物理表面相关联的相应应用8618(或例如功能、工具、菜单、模型或虚拟房间或虚拟空间),从而消除了导航用户界面的需要。如前所述,虚拟工作门户或构造可提供对例如应用、功能、菜单、工具、游戏、三维模型和虚拟房间或虚拟空间的其它虚拟内容的访问。一旦已经产生或打开虚拟工作门户或构造,用户可采用各种其它姿势来导航。

图87A-87C分别示出了根据一个说明性实施例的用户经由姿势与由AR系统(未在图87A-87C中示出)呈现的各种用户界面虚拟构造交互的场景8702、8704和8706。

用户界面可采用被称为直接输入或代理输入的至少两种不同类型的用户交互中的一种或两种。直接输入对应于常规的拖放类型用户交互,其中,用户例如使用指点装置(例如,鼠标、轨迹球、手指)选择虚拟内容的实例的图标化,并将所选择的图标拖到目标(例如,文件夹,例如应用的其它图标化)。

代理输入对应于用户通过用用户的眼睛查看或专注于特定图标化来选择虚拟内容的实例的图标化,然后例如经由图腾执行一些其它动作(例如,姿势)。另一种不同类型的用户输入被称为投掷输入。投掷输入对应于用户做出第一姿势(例如,抓握或捏合)以选择虚拟内容的实例的图标化,随后是第二姿势(例如,朝向目标的手臂扫掠或投掷动作)以指示至少大体上在由第二姿势指示的方向上移动虚拟内容的命令。

投掷输入通常应包括指示目标(例如,文件夹)的第三姿势(例如,释放)。当用户的手与目标对准或至少靠近目标时,可执行第三姿势。当用户的手沿着目标的大致方向移动但是可能尚未与目标对准或接近目标时,可执行第三姿势,假设没有其它虚拟内容接近目标,否则将使预期目标对AR系统来说有歧义。

因此,AR系统检测并响应于允许表示应呈现或移动哪个虚拟内容的自由形式定位指定的姿势(例如,投掷姿势、指向姿势)。例如,在用户期望虚拟显示器、监视器或屏幕的情况下,用户可在物理环境中在用户的视场中指定使虚拟显示器、监视器或屏幕出现的位置。这与姿势可使得物理装置操作(例如,开/关、改变媒体内容的信道或源)但不改变物理装置的位置的对物理装置的姿势输入形成对比。

另外,在用户期望将虚拟内容(例如,表示文件的图标)的第一实例与第二实例(例如,表示存储文件夹或应用的图标)逻辑地关联的情况下,姿势定义虚拟内容的第一实例的目的地。

具体地,图87A示出了用户执行第一姿势以选择虚拟内容。用户可例如执行捏合姿势、捏合并看起来将虚拟工作门户或构造8712保持在拇指和食指之间。响应于AR系统检测到虚拟工作门户或构造的选择(例如,抓握、捏合或保持),AR系统可用视觉强调来重新呈现虚拟工作门户或构造,例如如图87A所示。视觉强调向用户提示关于AR系统已检测到哪块虚拟内容被选择,从而允许用户在必要时校正选择。可以采用其它类型的视觉提示或强调,例如突出显示、滚动字幕、闪烁、颜色改变等。

具体地,图87B示出了用户执行第二姿势以将虚拟工作门户或构造移动到用户希望在其上映射虚拟工作门户或构造的物理对象8714,例如墙壁的表面。用户可例如在保持捏合姿势的同时执行扫掠类型姿势。在一些实施方式中,AR系统可例如基于接近度和/或动作方向来确定用户期望的物理对象。

例如,在用户朝向单个物理对象做出扫掠动作的情况下,用户可在未达到物理对象的实际位置处利用手来执行释放姿势。由于在执行释放姿势时没有接近扫掠姿势或与扫掠姿势成一直线的其它物理对象,所以AR系统可以明确地确定用户期望的物理对象的身份。在某些方面,这可被认为类似于投掷动作。

响应于AR系统检测到明显的目标物理对象,AR系统可呈现位于用户视场中的视觉提示,以便看起来与检测到的预期目标同延,或至少与其接近。例如,AR系统可呈现包含所检测的预期目标的边界,如图87B所示。AR系统也可以用视觉强调继续呈现虚拟工作门户或构造,例如如图87B所示。视觉强调向用户提示关于AR系统已检测到哪个物理对象或表面被选择,从而允许用户在必要时校正选择。可以采用其它类型的视觉提示或强调,例如突出显示、滚动字幕、闪烁、颜色改变等。

具体地,图87C示出了用户执行第三姿势以指示将虚拟工作门户或构造映射到所识别的物理对象(例如墙壁的表面)的命令,以使AR系统将虚拟工作门户或构造映射到物理对象。用户可例如执行释放姿势,释放捏合以模拟释放虚拟工作门户或构造8716。

图88A-88C示出了根据一个说明性实施例的由AR系统(未在图88A-8C中示出)呈现的用户界面虚拟构造(分别为8802、8804和8806),其中,用户的手用作图腾。

如图88A所示,响应于检测到第一定义的姿势(例如,用户打开或显示打开的手掌、用户举起手),AR系统在用户的视场中呈现主导航菜单,以便该主导航菜单出现在用户的手的一部分上或附接到用户的手的一部分。例如,高级导航菜单项、图标或字段可被呈现以出现在除拇指之外的每个手指上。拇指可自由地用作指针,这允许用户经由第二定义姿势之一(例如通过将拇指触摸到相应的指尖)来选择高级导航菜单项或图标中的期望一个。

菜单项、图标或字段8812可例如表示用户可选的虚拟内容,例如应用、功能、菜单、工具、模型、游戏和虚拟房间或虚拟空间。

如图88B所示,响应于检测到定义的姿势(例如,用户分开手指),AR系统展开菜单,在用户的视场中呈现下级导航菜单8814,以便出现在用户的手的一部分上或附接到用户的手的一部分。例如,多个下级导航菜单项或图标8814可被呈现以出现在除拇指以外的每个手指上。再者,例如,拇指可自由地用作指针,这允许用户通过将拇指触摸对应手指的对应部分来选择下级导航菜单项或图标中的期望一个。

如图88C所示,响应于检测到另一个定义的姿势8816(例如,用户用来自另一只手的手指在手掌中进行盘旋动作),AR系统滚动浏览菜单,在用户的视场中呈现导航菜单的字段以便出现在用户的手的一部分上或附接到用户的手的一部分。例如,多个字段可看起来从一个手指到下一个手指连续滚动。新字段可滚动到视场中,从一个方向进入(例如,从拇指附近),以及其它字段可从视场滚动,从另一方向(例如,接近小指)离开。滚动的方向可对应于手指在手掌中的旋转方向。例如,响应于顺时针旋转姿势,字段可在一个方向上滚动,并且响应于逆时针旋转姿势,字段可在第二相反方向上滚动。

其它实施例

如上所述,用户可通过一系列姿势、图腾、UI硬件和与系统交互的其它独特模式与AR系统用户界面通信。以下实施例表示UI体验的几个示例。应理解,以下列表不是详尽的,并且可类似地使用与系统交互的其它实施例。

与系统交互的以下方法可以在具有或不具有图腾的情况下使用。以下实施例表示用户可以通过其来打开系统、开始或结束期望的应用、浏览网页、产生化身、与对等方共享内容等的不同方式。应理解,以下的系列示例实施例不是详尽的,而是简单表示用户可通过其与AR系统交互的示例用户界面/用户体验。

化身

如上所述,用户界面可响应于各种输入。AR系统的用户界面可例如响应于手输入,例如:姿势、触摸、多点触摸和/或多手输入。AR系统的用户接口可例如响应于眼睛输入,例如:眼睛矢量、眼睛状况(例如,睁开/闭合)等。

提前参考图123A,响应于上述一或多个用户输入(例如,具有指向的手指姿势的杯状手掌,如说明性实施例等中所示),系统可生成可引导用户进行各种选项的化身。在一或多个实施例中,化身可为用户的表示。实质上,用户可被呈现为“傀儡主人”,并且AR系统的用户化身呈现一组图标,其中,任何一个图标可由用户选择。

如场景12302所示,通过AR系统所识别的预定姿势(例如,手拉姿势、手指姿势等),用户可从期望位置“拉出”化身。如场景12304所示,化身已经被填充。

在一些实施例中,化身可由用户预先选择,或者在其它实施例中,系统可以每次向用户呈现不同的化身。将生成化身的感知的姿势也可是预定的。在其它实施例中,不同的手势可以与不同的化身相关联。例如,手拉姿势可生成图123A所示的化身,但是手指交叉姿势可生成例如(未示出)的美人鱼化身。在其它实施例中,不同的应用可具有其自己的唯一化身。例如,如果用户希望打开社交媒体应用,则社交媒体应用可与其自己的特定化身相关联,自己的特定化身可被用于与应用交互。

可存在检测生成/产生/填充化身的手势的许多方式。姿势可由世界摄像机、传感器、手势触觉或上面论述的任何其它输入装置检测或识别。

上面已经论述了少数示例方法。

现在参考图123B,一旦填充了化身,就可在化身旁边呈现附加选项以帮助用户选择一或多个选项。如图123B所示,化身可为在用户选择选项时与用户一起移动和玩耍的动态化身。如示例实施例中所示,图123B中的化身可保持用户可通过另一手势选择的各种选项(场景12306)。如场景12308所示,用户可从在化身旁边呈现的所呈现的图标(例如,电话、游戏、联系人等)中选择特定的应用。用户可例如选择如场景12308中所示的“游戏”图标。一旦已选择了图标,化身可打开游戏(使用化身手势,如12308所示)。然后可以以3D向用户呈现游戏。在一个实施例中,化身可在用户已选择游戏之后消失,或者在其它实施例中,化身可保留,并且用户也可自由地为其它功能选择其它选项/图标。

现在参考图123c,用户可通过化身选择另一选项。在示例实施例中,用户可选择用户可能想要与之通信的“朋友”(场景12310)。然后,朋友可被呈现为化身,如场景12312所示。

在一或多个实施例中,化身可简单地表示系统的另一化身或游戏中的角色。或者,另一化身可为另一用户的化身,并且两个用户可通过他们的化身相互交互。例如,第一用户可能想要与另一用户共享文件。该动作可通过通过化身填充两个系统以有趣的方式来动画化。

如图123C所示,在生成了其它化身的情况下,化身可交互并将虚拟对象传递给彼此,如场景12312所示。例如,第一化身可将与虚拟游戏相关的虚拟对象传递给另一化身。图123D示出了可被用于与化身交互的详细输入控件12314。如图123D所示,各种姿势可被用于用户输入行为。如图123D所示,一些类型的动作可基于虚拟内容的位置,而其它类型的动作可为对虚拟内容是不可知的。

挤压

在另一实施例中,UI可遵循挤出主题。例如,如图124A所示,用户可做出三角形姿势12402(例如,在说明性实施例中,食指一起)以打开用户界面。响应于三角形姿势,AR系统可挤出一组浮动虚拟图标12404,如图124B所示。在一或多个实施例中,虚拟图标可为浮动块,或者可为仅仅与特定应用或功能相关联的标志。在图124B说明性实施例中,响应于该姿势,邮件应用、音乐应用、电话应用等已经被填充。

在一或多个实施例中,挤出可指的是在固定的横截面轮廓上填充虚拟对象(在此情况下,图标、可选对象等)。横截面轮廓可被旋转、转动,并且各种块可被重新布置等。

如图14B所示,块可水平地打开,然后基于用户的偏好重新布置。如果用户选择特定图标,则作为所选图标的子集的更多图标可被呈现在所选图标的下方,如图124C所示。如前所述,块可围绕横截面旋转以打开特定图标的更多选项,如图124D所示。例如,如果用户希望打开特定应用,并且选择在该应用内选择朋友的个人资料,则用户可如图124E和124F的横截面视图所示挤出用于各种个人资料的图标。

如图124G所示,用户然后可用手的握持姿势选择特定图标,使得虚拟图标从横截面平面“拉出”并被嵌套在用户的手中。如图124G所示,用户可用用户的手来操控所选的虚拟图标(12406)。基本上,虚拟图标或块从横截面平面出来,并且用户可抓握他手中的图标或块。

例如,用户可能想要更详细地查看特定朋友的个人资料。如图124H所示,用户可利用特定手势(例如,如图124H所示的闭合和打开姿势)打开个人资料页面12408,好像简单地打开弄皱的纸片(图124I和124J)。一旦用户完成查看朋友的个人资料页面12410,用户就可类似地将虚拟页面弄皱回来,如图124K所示,并将其返回到用户先前挤出的一系列块(图124L)。图124M示出了可被用于与化身交互的详细输入控件12620。如图124M所示,各种姿势可被用于用户输入行为。如图123M所示,一些类型的动作可基于虚拟内容的位置,而其它类型的动作可为对虚拟内容是不可知的。

长手套

在又一方法中,UI可遵循长手套主题,其中,用户的手(在此情况下)或任何其它身体部位可被用作旋转轴,并且图标可被呈现为好像出现在用户的手臂上。如图125A和125B所示,用户可以通过由系统识别的预定手势12502(例如,在该示例中用他的另一只手扣住手臂)使得在用户的手臂上产生各种图标。如图125C所示,系统可基于用户在他的手臂上的拖动姿势12506自动地生成图标12504。拖动姿势12506可引起虚拟图标12506的填充。如在先前示例中的情况,虚拟图标可为应用、朋友个人资料或可为由用户进一步选择的任何其它类型的功能。

如图125D所示,一旦姿势已经被填充,则用户可利用系统所识别的另一姿势12508(例如,两个手指围绕手臂旋转一组图标)。这可使得更多的虚拟图标被填充在用户的手臂的侧面上,如图125E所示。基本上,用户的手臂的长度可被用作使虚拟轴围绕用户的手臂旋转的轴。

在一个示例中,用户可选择特定图标12510(图125F);系统可具有一些指示符,以指示其现在已经被选择(例如,由不同的颜色表示等)。如图125G所示,用户可将所选的图标12510拖动到他的手腕。该动作可被系统识别,从而向用户指示可打开该应用。这里,用户已经选择了虚拟对象图标(例如,菱形图标,如图125G所示)。基于图标选择,其它虚拟图标可以淡出,并且虚拟淡出图案可被投影在用户的手腕上,分别如图125H和125I所示。

在将图标拖动到用户的手腕时,用户可以在扣紧动作中提起图标,使得菱形图标12510以更大的比例被呈现到房间中(图125J)。因此,用户已经打开了虚拟对象并且已经将虚拟对象释放到他/她当前占据的物理空间中。例如,用户可将虚拟对象留在物理空间中,使得另一用户在进入相同的物理空间时可找到虚拟对象。

或者,在另一示例中,如图125K和1251所示,用户可能已经选择了表示联系人或朋友的图标。例如,用户可能想要与朋友发起实况对话,或者可能想要参与该朋友的活动。类似于上述示例,用户可将表示朋友的图标拖动到手腕,进行扣紧动作并“释放”朋友,使得朋友的虚拟呈现12514可出现在用户的前面,如图125L所示。应理解,用户可实时地与虚拟朋友交互,这通过上面论述的可传递世界技术来进行是可能的。图125M示出了可被用于与用户界面交互的详细输入控件12516。如图125M所示,各种姿势可被用于用户输入行为。如图123M所示,一些类型的动作可基于虚拟内容的位置,而其它类型的动作可为对虚拟内容是不可知的。

生长

在另一方法中,例如,UI可遵循生长方法,例如生长树,使得例如AR系统的图标可像树一样从地面或桌子“生长”。参考图126A-126L,通过各种姿势,用户可选择一或多个图标(例如,应用、应用类别等),并将其生长为树以填充可为所选应用的一部分的其它图标。

更具体地,参考图126A,表示各种应用或功能12602的一组图标可被填充在用户的手上。如图126B和126B所示,用户可选择特定图标以“生长”,并且将虚拟图标(例如,通过用户手指的扣紧动作)放置在平坦表面(例如,桌子等)上。这里,例如,用户已经选择了社交媒体类别。为了“生长”类别(例如,为了找到类别内的其它应用),如图126C所示,用户可“种植”(例如,通过按压动作),将虚拟图标按压到平坦表面中。该姿势可引起虚拟树或植物12604的呈现,如图126D所示。如图126D所示,植物可在开始时较小,并且生长到较大的树,例如图126E所示的树。如图126D和126E所示,植物可包括各种分支,每个分支具有代表更多应用或特定应用中的选项的图标。这里,在当前示例中,树枝可为社交媒体类别(例如,等)内的各种应用。

如图126E所示,用户可选择植物或树的分支上的图标之一,并且类似于先前示例,通过扣紧姿势12606拾取虚拟图标,并且在另一位置再次“种植”该图标以便其生长。例如,如图126F和126G所示,用户已经扣住该应用,然后将其放置在平坦表面上,以使页面从地面“生长”,如图126H所示。然后,虚拟页面可看起来好像从地面发芽,如图126I所示。虚拟页面生长以变为虚拟独立树结构12608,并且可由用户详细地查看,如图126I所示。

一旦用户完成页面12608,用户就可关闭或“剪切”树以关闭该应用。如图126J-126L所示,在剪切动作中,用户可剪切树的页面或树干以关闭应用。然后,关闭的应用可看起来像类似于图126E的原始虚拟图标树的分支。

应理解,各种姿势由系统预先确定。姿势可基于应用被预编程,或者可被定制以适合用户的优选姿势。例如,系统可被编程为将树的树干处的快速手动作识别为向系统指示应用应该被关闭的“剪切”滑动。

AR系统可例如将用于Web浏览器的用户界面呈现为前进方向上具有树以及在向后方向上具有尾部的页面。例如,可利用从网页的顶部出来的分支树来呈现用户界面,该分支树示出来自该网页的链接。可进一步利用延伸到地平线中的分支树来呈现用户界面。AR系统可利用图形化地绑定到网页上的链接的分支树的根来呈现用户界面。因此,用户可以选择叶节点或任何其它节点,,并直接跳转到由叶节点表示的期望网页,而不是不得不一次导航(例如,点击)通过一个网页(例如,三个或四个选择)。

在一些实施方案中,AR系统可提供滚动工具。分支树可在滚动期间动态地改变,如上图所示。

分支和叶节点可具有图形图标化。图标可以例如显示或表示响应于对相应节点的选择将被导航到网站或网页的屏幕截图或缩略图视图。

该用户界面将浏览从顺序体验改变为并行体验。响应于用户选择网页,AR系统基于该选择呈现另一分支树。分支树可被呈现为当其接近地平线(例如,背景、前景、侧面)时视觉上尾部逐渐萎缩。例如,AR系统可在接近地平线时使分支树呈现为更浅。AR系统可呈现由表示用于在当前选择的网站或网页上导航的网站或网页的节点打断的尾部。

手指刷

在另一实施例中,系统可基于预定的手指刷姿势来填充虚拟图标/应用/功能等。例如,如图127A所示,系统可识别用户手指的特定姿势12702(例如,用食指指预定时间段内),其指示用户想要将该单个手指或多个手指用作“手指刷”。如图127B所示,用户然后可通过将手指拖动通过空间来“绘制”图形。这可使AR系统基于用户手指的移动来绘制虚拟形状。

如图127B所示,用户处于绘制矩形的过程中。在一或多个实施例中,虚拟图标或应用可被填充在由用户绘制的形状的界限内。如图127C所示,各种虚拟图标12704现在出现在所绘制的形状内。现在,用户可打开任何特定图标,并将其填充在其旁边,如图127D所示。图127E示出了可被用于与所绘制的形状交互的详细输入控件12706。如图127E所示,各种姿势可被用于用户输入行为。如图123E所示,一些类型的动作可基于虚拟内容的位置,而其它类型的动作可为对虚拟内容是不可知的。

颜料桶

现在参考图128A-128P,该图示出了用户界面交互的另一实施例。如图128A所示,与先前示例中的情况一样,基于用户姿势12802(例如,打开手掌等),可呈现一组虚拟图标12804,使得它们看起来被填充在用户的手上。用户可选择如图128B所示的特定图标,并且以颜料桶形式将其朝向墙壁或任何其它空间轻拂(图128C)。轻拂动作可转化为可能看起来朝向墙壁抛出的油漆的虚拟滴,使得所选图标或该图标内的应用(例如,应用的类别)然后可以“涂画”到墙上或任何其它空间。

然后,用户可使用手或手指姿势来选择特定虚拟图标。如图128E和128F所示,可选择特定图标12808。在识别了选择姿势时,AR系统可显示应用(例如,如图128G所示的搜索页面)。然后,用户可与搜索页面交互,以导航到一或多个期望的网站,如图128H所示。

使用闭合姿势12810(例如,食指和拇指等的扣住),用户可基于他/她的偏好存储或“保持”某个期望的应用或网页(例如,图128I的网页)。参考图128H和1281,用户例如可能对特定网页或网页的特定部分感兴趣,并且可通过姿势(例如闭合动作)存储期望的部分。如图128I所示,基于闭合姿势12810,期望的虚拟内容将期望的页面简单地折叠或变形为虚拟带12812。这可被存储在用户的手腕上,例如,如图128I所示。应理解,在其它实施例中,用户可以以其它方式保存或存储期望的网页。例如,期望的网页可被存储在虚拟框或真实框中,或者为图腾的一部分。

参考图128J-128L,其它网页/用户简档或任何其它期望的信息可类似地被存储为围绕用户的手腕的其它虚拟带。在图128J说明性实施例中,各种虚拟图标可被存储在用户的手掌上。然后,用户可选择期望的图标,并且与图标进行交互,如图128K和128L所示。各种存储的项目可由各种颜色表示,但是可类似地使用其它类似的区分指示符。

现在参考图128N-128P,为了打开所存储的对象(例如,由用户手腕上的虚拟带12812表示),用户可简单地使用另一姿势12814(例如,手掌的抛掷动作/运动)以尽力打开虚拟带。在该示例实施例中,抛掷或轻拂动作生成另一颜料桶错觉,如图1280所示,使得两个不同的颜色(每个虚拟带具有不同颜色)跨越给定空间抛掷以生成期望的存储网页、用户简档等。因此,如图128P所示,用户然后可查看所存储的应用和/或网页,并以期望的方式与所存储的内容交互。

枢轴

现在参考图129A-131L,该图示出了用户界面交互的另一实施例。如图129A所示,通过所识别的手势12902(例如,一只手的食指和拇指靠近另一只手的食指和拇指),用户可使虚拟细绳12904被呈现给用户。如图129B所示的虚拟细绳可被拉长到用户期望的任何长度。例如,如果用户希望查看许多应用,则可拉出该细绳以变成更长的虚拟细绳。或者,如果细绳仅被拉出较少的量,则可填充较少的应用。虚拟细绳13104的长度可被填充以便模仿用户的手的动作。

如图129C所示,各种虚拟图标12906可被填充在类似于晾衣绳的细绳上,并且用户可简单地使用手势12908移动图标,使得图标相对于用户的手移动。例如,用户可通过向右滑动他的手来滚动显示虚拟图标,使得虚拟图标也相应地向右移动,如图129C所示。

然后,用户可通过另一姿势12910(例如,将两个手指指向特定虚拟图标)来选择特定图标,如图129D所示。现在参考图129E,可选择“联系人”应用,如虚拟图标上的彩色指示符所表示的。在一或多个实施例中,特定虚拟图标的选择可使虚拟图标或页面通过手势12912在z方向上移动,手势12912使虚拟图标朝向用户或者远离用户移动。如图129F-129H所示,一旦联系人应用已经打开,用户就可浏览联系人并选择要呼叫的联系人。如图129G所示,用户可从联系人中选择“Matt”,并且可发起呼叫(图129H)。

如图129L所示,当用户正在与联系人通话时,用户可能够同时打开其它应用。例如,用户可通过另一手势12912打开特定文档,并且通过另一手势12914将文档物理地移动到联系人图标来将其“发送”给联系人,如图129J-129L所示。因此,用户可通过简单的手势无缝地将文件发送给其他用户。在AR系统中,用户能够触摸并保持作为3D虚拟对象的文档、网页等,其可以被抛入空间、四处移动和物理操控,就像它们是真实对象一样。图129M示出了可被用于与用户界面交互的详细输入控件12916。如图129M所示,各种姿势可被用于用户输入行为。如图129M所示,一些类型的动作可基于虚拟内容的位置,而其它类型的动作可对于虚拟内容是不可知的。

拉细绳

在另一实施例中,各种虚拟图标可被呈现为悬挂的虚拟细绳13002。每个细绳可表示应用或应用类别的不同虚拟图标,如图130A-130C所示。为了选择特定虚拟图标13004,用户可在虚拟细绳上拖拽(例如,通过拖拽姿势13206),如图130C和130D所示。拖拽动作13006可“向下拉细绳”,使得用户可查看特定应用的子类别或不同图标。

这里,如图130D和130E所示,用户可能已经选择了音乐应用,并且图130E中所示的各种图标13010可表示各种曲目号。然后,用户例如可选择特定曲目号,如图130F和130F所示,以打开页面并查看关于曲目号的细节,或与曲目号相关联的网页。在说明性实施例中,扣紧动作13012可被用于选择感兴趣的特定曲目号。

用户可进一步能够简单地通过按压与曲目号或音乐文件相关联的虚拟图标(例如,通过按压姿势13014)与代表用户的朋友的另一图标,以将曲目号或网页传递给其他用户/朋友,如图130H所示。因此,通过检测按压动作,AR系统可识别用户想要的输入,并开始将文件传送到用户的朋友的AR系统的传送过程。图130I示出了可被用于与用户界面交互的详细输入控件13020。如图130I所示,各种姿势可被用于用户输入行为。如图130I所示,一些类型的动作可基于虚拟内容的位置,而其它类型的动作可对于虚拟内容是不可知的。

蜘蛛网

在另一实施例中,用户与系统的交互可通过在用户周围的物理空间中产生的虚拟“蜘蛛网”来进行。例如,如图131A所示,用户可握拳并将其打开13102,使得虚拟蜘蛛网状细绳跨空间掠过(图131B)。为了选择特定虚拟图标/应用/应用类别,用户可沿着蜘蛛网状细绳13104拉动以将虚拟图标拉向更靠近他/她(图131C-131D)。在图131D的说明性实施例中,网页13106已经被填充以用于更近的观看。

参考图131E,用户然后可例如从网页13106选择特定联系人13108,并将该联系人存储在蜘蛛网状细绳13110上(图131E和131F)。类似于上述其它实施例,用户可通过虚拟细绳13110将文档13112传递给所选用户13108,如图131G和131H所示。如图131H所示,传输过程正在进行,并且文件正被传送给联系人。图131I示出了可被用于与用户界面交互的详细输入控件13120。如图131I所示,各种姿势可被用于用户输入行为。如图131I所示,一些类型的动作可基于虚拟内容的位置,而其它类型的动作可对于虚拟内容是不可知的。

如上述实施例所示,AR系统的用户界面允许用户以增强AR系统的用户体验的创新和有趣的方式与系统交互。应理解,其它游戏技术可被类似地使用或编程到系统中。

现在参考图132,该图示出了展示虚拟内容和一或多个物理对象之间的关系的示例实施例。如13202所示,虚拟对象可为浮动的。当对象与其它物理表面或对象没有关系时,对象可为浮动的。该外观可为内容的以房间为中心的处理,从而允许用户从所有角度观看虚拟对象。

类似地,如13204所示,内容可以被应用于物理表面,如墙壁、杯子或人的手臂,如上面论述的几个实施例的情况。虚拟内容可采用该表面的一些物理属性。例如,如果虚拟对象在一张真实纸张上,并且真实纸张被提起,则虚拟对象也可被提起。或者,在另一实施例中,如果纸落在地面上,则虚拟对象也会落下,模仿重力牵引。当与内容交互时,这也可向用户提供物理触摸感觉。

在其它实施例中,可锚定虚拟内容,如上述一些实施例的情况。此外观类型组合了浮动和应用对象的元素。虚拟内容可被锚定到如13206所示的特定表面,从而遵循该表面的行为和动作(例如,蜘蛛网用户界面体验、枢轴用户界面体验等)。另选地,如13208所示,虚拟内容可简单地“分配”到物理对象,使得其不再可见。例如,可将文档(由虚拟文档图标表示)简单地分配给物理对象,但是一旦传输过程完成,虚拟图标就可消失。这可为用户可以通过其快速浏览内容而不必可视化每个步骤的方式。

用户场景

在论述其它特定应用和/或用户场景之前,将简要论述从可传递世界模型接收和更新信息的示例过程。上面论述的可传递世界模型允许多个用户访问存储在云服务器上的虚拟世界并且基本上将用户世界的一部分传递到一或多个对等方。

例如,类似于上面论述的其它示例,伦敦的AR系统的第一用户可能希望与当前位于纽约的AR系统的第二用户参加会议。可传递世界模型可允许第一用户将构成第一用户的当前物理环境的可传递世界的一部分传递给第二用户,并且类似地传递构成第二用户的化身的可传递世界的一部分,使得第二用户看起来与伦敦的第一用户在同一房间中。

换句话说,可传递世界允许第一用户向第二用户发送关于房间的信息,并且同时允许第二用户产生化身以将他/她自己置于第一用户的物理环境中。因此,两个用户都不断地从云中更新、发送和接收信息,从而给予两个用户同时在同一房间中的体验。

参考图143,该图公开了如何在位于两个分离的物理位置的两个用户之间来回传送数据的示例过程14300。应理解,每个输入AR系统(例如,具有传感器、摄像机、眼睛跟踪、音频等)可具有类似于下面的过程。出于说明的目的,可从摄像机输入以下系统的输入,但是可类似地使用AR系统的任何其它输入装置。

在步骤14302中,AR系统可检查来自摄像机的输入。例如,遵循上述示例,伦敦的用户可在会议室中,并且可在白板上绘制一些图形。这可以构成或可以不构成AR系统的输入。由于可传递世界不断地被更新并建立在从多个用户接收的数据上,所以存在于云上的虚拟世界变得越来越精确,使得只有新信息需要被更新到云。

例如,如果用户简单地在房间四处移动,则可能已经具有足够的3D点、姿势数据信息等,使得纽约用户的AR装置能够在伦敦投影会议室而无需主动接收来自伦敦用户的新数据。然而,如果伦敦的用户正在添加新信息,诸如在会议室中的板上绘制图形,则这可能构成需要被传送到可传递世界模型的输入,并将其传递给纽约的用户。因此,在步骤14304中,用户装置检查以查看所接收的输入是否为有效输入。如果所接收的输入无效,则存在适当的等待循环,使得系统简单地检查更多输入14302。

如果输入有效,则在步骤14306中将所接收的输入馈送给云服务器。例如,可仅将对板的更新发送给服务器,而不是发送与通过FOV摄像机所收集的所有点相关联的数据。

在云服务器上,在步骤14308中,接收来自用户装置的输入,并且在步骤14310中将其更新到可传递世界模型中。如关于上述系统架构所论述的,云服务器上的可传递世界模型可包括处理电路多个数据库(包括具有几何和拓扑图的映射数据库14334)、对象识别器14332和其它合适的软件组件。

在步骤14320中,基于所接收到的输入14308,可传递世界模型被更新。然后,在步骤14312中,更新可被发送到可能需要更新信息的各种用户装置。这里,更新信息可被发送给在纽约的用户,使得被传递给在纽约的用户的可传递世界也可以查看第一用户在伦敦的会议室的板上绘制图片时的绘图。

应理解,第二用户的装置可能已经基于可传递世界模型中的现有信息来投影伦敦的会议室的版本,使得纽约的第二用户感知到处于伦敦的会议室中。在步骤14326中,第二用户装置从云服务器接收更新。在步骤14328中,第二用户装置可确定是否需要显示更新。例如,对可传递世界的某些改变可能与第二用户不相关,并且可能不被更新。

在步骤14330中,所更新的可传递世界模型在第二用户的硬件装置上显示。应理解,从云服务器发送和接收信息的该过程被快速执行,使得第二用户在第一用户执行动作时就可以看到第一用户在会议室的板上绘制图形。

类似地,在步骤14320-14324中还接收来自第二用户的输入,并将其发送到云服务器并被更新到可传递世界模型。然后可在步骤14314-14318中将该信息发送到第一用户的装置。例如,假设第二用户的化身看起来坐在伦敦的会议室的物理空间中,对第二用户的化身的任何改变(其可以或可以不反映第二用户的动作/外观)也可被发送给第一用户,使得第一用户能够与第二用户交互。

在一个示例中,第二用户可产生类似于用户的虚拟化身,或者化身可采取悬停在伦敦会议室周围的蜜蜂的形式。在任一种情况下,来自第二用户的输入(例如,第二用户可响应于第一用户的绘图摇动他的头部)也被发送给第一用户,使得第一用户可以评估第二用户的反应。在此情况下,所接收到的输入可基于面部识别,并且对第二用户的面部的改变可被发送给可传递世界模型,然后被传递至第一用户的装置,使得对被投影在伦敦的会议室中的化身的改变被第一用户看到。

类似地,可存在在AR系统的多个用户之间有效地来回传递的许多其它类型的输入。尽管特定示例可改变,但是AR系统的用户和可传递世界之间的所有交互类似于上面参照图143所述的过程。上述过程流程图描述了访问并将可传递世界的一部分彼此传递的多个用户之间的交互,而图144为示出在单个用户和AR系统之间的交互的示例过程流程图14400。用户可访问需要从云服务器检索的数据的各种应用并与之交互。

在步骤14402中,AR系统检查来自用户的输入。例如,输入可为视觉、音频、感测输入等,其指示用户需要一些类型的数据。例如,用户可能希望查找关于他可能刚刚在虚拟电视上看到的广告的信息。在步骤14404中,系统确定用户输入是否有效。如果用户输入有效,则在步骤14406中,将输入馈送到服务器中。在服务器侧,当在步骤14408中接收到用户输入时,在步骤14410中从知识库14440检索适当的数据。如上所述,可存在连接到云服务器的多个知识数据库,其中,可从云服务器中检索数据。在步骤14412中,检索数据并将其发送到请求数据的用户装置。

回到用户装置,在步骤14414中从云服务器接收数据。在步骤14416中,系统确定何时需要以虚拟内容的形式显示数据,并且如果需要,则在用户硬件14418上显示数据。

如上面简要论述的,许多用户场景可涉及AR系统识别真实世界活动并且基于所检测到的真实世界活动自动执行动作和/或显示虚拟内容。例如,AR系统识别用户动作,然后产生在用户的参考系周围浮动的用户界面,从而提供与活动相关联的有用信息/虚拟内容。类似地,可以设想许多其它用途,其中一些将在下面的用户场景中描述。

已经描述了AR系统的光学元件和各种系统部件,现在将论述AR系统的一些进一步应用。在一些实施例中,下面描述的应用可具有可单独安装到系统上的硬件和/或软件组件。在其它实施例中,系统可被用于各种行业等,并且可能需要修改以实现下面的一些实施例。应理解,出于说明的目的,以下实施例被简化,并且不应被解读为限制;并且可设想更多复杂的实施例。

隐私

由于AR系统可连续地从用户的周围环境捕获数据,因此可能存在隐私的问题。例如,佩戴AR装置的用户可能走进机密会议空间,或者可能被暴露敏感内容(例如裸露、性内容等)。因此,提供一或多个机制以帮助在使用AR系统时确保隐私可能是有利的。

在一个实施方案中,AR系统的一或多个部件可包括指示信息何时由AR系统收集的可视指示器。例如,头戴式或头部安装部件可包括视觉指示视觉和/或音频信息何时被收集的一或多个视觉指示器(例如,LED)。例如,当视觉信息由头戴部件携带的摄像机收集时,第一LED可被照亮或可发出第一颜色。当视觉信息由头戴部件携带的麦克风或音频换能器收集时,第二LED可被照亮或可发出第二颜色。

除此以外或另选地,AR系统可响应于来自AR系统的摄像机或其它光学传感器的视场中的任何人的定义姿势。具体地,AR系统可响应于检测到所定义的姿势而选择性地停止捕获图像。因此,AR用户的视场中的人可以简单地通过执行姿势(例如,手势、手臂姿势、脸部姿势等)选择性地使AR系统停止捕获图像。在一或多个实施例中,AR系统可响应于佩戴AR装置的人的姿势。在其它实施例中,AR系统可响应于与佩戴AR系统的人所共享的物理空间或环境中的其他人的姿势。

在又一实施例中,出于隐私目的,用户可向与AR系统相关联的应用注册。这可允许用户对是否要被系统的其他用户的图像/视频和呈现所捕获/存储进行更多的控制。向AR系统注册的用户(或与AR系统相关联的应用)可能比没有系统帐户的用户具有更多的隐私控制。

例如,如果注册用户不希望被其他用户的其他AR系统捕获,则系统可在识别该人时停止捕获该特定用户的图像,或另选地,模糊与该人相关联的视觉图像。另一方面,没有在AR系统中注册的人对于隐私的控制比在AR系统中注册的人更少。因此,可能存在向AR系统(或相关联的应用)注册的更高激励。

在另一实施例中,AR系统可基于所检测到的活动和/或所识别的用户周围环境来自动实施安全控制。因为AR系统不断地知道用户的环境和活动(例如,通过FOV摄像机、眼睛摄像机、传感器等),AR系统可在AR系统检测到特定活动或环境时自动进入暂停模式。例如,如果AR系统确定用户将要占据房子中的特定房间(例如,浴室、儿童房间、预先指定的机密区域等),则AR系统可自动进入暂停模式,并终止信息的捕获,或仅选择性地捕获来自用户的AR系统的基本信息。或者,如果AR系统确定用户正从事特定活动(例如,驾驶等),则AR系统可自动进入暂停或“关闭”模式,以便不会通过任何输入消息或虚拟内容来分散用户。类似地,许多其它安全和/或隐私控制也可在其它应用中实现。

虚拟房间/空间和用户界面的特定应用和实例

以下部分将描述虚拟房间和/或空间的各种示例和应用,并且在现实生活的实际应用中利用上述AR系统的各种实施例。

如先前所论述的,AR系统可包括各种AR系统的一个或者通常更多个实例。这些各种AR系统通常包括至少头戴式或头部安装式部件,其至少提供视觉增强现实用户体验,并且典型地提供听觉增强现实体验。如上面详细论述的,AR系统通常还包括处理器部件。处理器部件可与头戴或安装部件分离并且不同,例如与头戴或安装部件通信耦合(例如,系留、无线)的腰包(例如,图4A-4D)。

还如前所述,AR系统可选包括一或多个基于传感器系统的空间或房间(例如,图26)。基于传感器系统的空间或房间可包括一或多个图像捕获装置(例如,摄像机)。摄像机可被定位于监视空间,例如房间。例如,摄像机可被定位在房间中的多个角落中。摄像机可例如在结构上与头戴或安装部件的前向摄像机非常相似或甚至相同。因此,这些摄像机优选地捕获3D信息,例如作为光场的3D信息。与头戴或安装部件的摄像机相比,基于传感器系统装置的空间或房间的摄像机通常被固定在空间中。在一或多个实施例中,可以存在用于多个空间或房间中的每一个的基于空间或房间的传感器系统。

也如前所述,AR系统可采用识别对象(例如,分类学识别和/或特定识别)的多个对象识别器。AR系统可以基于对空间的结构和/或内容的对象识别来识别空间。此外,如先前所论述的,AR系统可以使用例如时间、地理坐标(GPS定位信息、罗盘方向、无线网络等)的附加信息来识别空间。

在一或多个实施例中,AR系统可在用户的视场中填充或呈现虚拟空间(例如,元房间)。例如,各个AR系统可以向用户的视网膜呈现或投影虚拟图像,该虚拟图像施加在真实世界或物理空间的用户视图上。类似地,可使用上面详细描述的任何其他光学方法。

AR系统可被用于各种日常应用。AR系统可在用户在工作时使用,甚至可帮助增强用户的工作产品。还例如,AR系统可被用于训练用户(例如,教育培训、运动训练、与工作有关的训练等)。作为另一示例,AR系统可被用于娱乐(例如,游戏)。作为又一个示例,AR系统可被用于辅助锻炼,例如通过提供指令和/或动机。例如,AR系统可呈现用于用户追逐的某种东西(例如,世界级跑步者)或追逐用户的虚拟角色(例如,霸王龙)。

在一或多个实施例中,AR系统可包括附加的专用部件。例如,AR系统可被通信耦合到一或多个可选传感器(例如,计步器、动作传感器、心率传感器、呼吸率传感器、排汗传感器等)。在一或多个实施例中,AR系统可将激励内容呈现为游戏(例如,密探主题游戏)。AR系统也可采用各种类型的图腾(或可被用于提供用户输入的对象,如下面将进一步详细描述的)。换句话说,AR系统可被用于提供各种各样的增强现实体验,并且可被用于增强日常体验和/或辅助日常任务。以下公开内容将描述一系列此类应用和/或实施例。应理解,下面描述的实施例仅用于说明的目的,并且不应被解读为限制。

房间或虚拟空间

以下论述涉及虚拟房间或虚拟空间的概念。本论述还涉及用户如何在虚拟房间或虚拟空间之间进行导航。在一或多个实施例中,用户当其在房间虚拟室或虚拟空间中时可访问特定工具和/或应用。

AR系统提供动态房间映射。例如,AR系统可将虚拟空间映射到物理位置、物理房间或其它物理空间。映射可手动、半自动或自动执行。AR系统提供用于将预先存在的房间映射和修改到物理环境的过程。AR系统提供用于在物理空间中同时映射多个房间的过程。AR系统允许共享,例如实现共处的体验。还例如,AR系统允许共享特定的应用;共享整个房间,和/或使项目公开或私有。

下面论述多个示例场景。例如,用户可在物理办公空间中工作,并且来自同事的消息可到达,从而向用户提示虚拟警报。在另一示例中,位于他/她的起居室中的用户可选择虚拟房间或空间,或者可将他/她的环境从虚拟娱乐或媒体室改变为虚拟锻炼室或虚拟办公空间。

在另一示例中,在一个虚拟房间或空间中操作的用户可打开或以其它方式访问与不同房间或空间相关联的特定应用。例如,用户可从娱乐或媒体室打开或访问摄像机应用。如从本文的论述将显而易见的,AR系统可实现大量的其它场景。

虚拟房间或虚拟空间为可在用户的视场中呈现的虚拟对象、虚拟工具、应用、特征和其它虚拟构造(例如,统称为虚拟内容)的便利分组或组织。

虚拟房间或虚拟空间可以一或多种不同的方式来定义。例如,虚拟房间或虚拟空间可通过以下来定义:i)活动、目标或目的;ii)位置(例如,工作、家庭等),iii)一天中的时间等。用户可定义或产生虚拟房间或虚拟空间以支持理解、易于使用和/或搜索效率。在一或多个实施例中,虚拟房间和/或空间可由用户定制定义。

在一或多个实施例中,AR系统可提供预定义的虚拟房间或虚拟空间的目录或库。例如,虚拟房间或空间可基于主题预先填充有虚拟内容(例如,虚拟对象、虚拟工具和其它虚拟构造,例如应用、特征、字符、文本、数字和其它符号)。主题可为基于活动的、基于位置的、基于时间的、基于智能的等。

AR系统提供允许用户基于由用户设置的一组偏好来产生或修改虚拟房间或虚拟空间的用户界面。用户可从头设计房间,或者可修改或增强预定义的虚拟房间或空间。可经由可穿戴AR系统的用户界面在虚拟房间或空间内添加、去除或重新布置虚拟内容来修改虚拟房间。

图74A示出根据一个说明性实施例的坐在物理办公空间7402中并且使用可穿戴AR系统7401在第一时间体验虚拟办公室形式的虚拟房间或虚拟空间的用户。

物理办公室可包括一或多个物理对象,例如墙壁、地板(未示出)、天花板(未示出)、桌子和椅子。如图所示,AR系统呈现用户可执行与职业相关的任务的虚拟房间7402。因此,虚拟办公室被填充有在执行用户的工作中有用的各种虚拟工具或应用。

例如,虚拟工具或应用可包括各种虚拟对象或其它虚拟内容,例如二维图或示意图、二维图像或照片和/或三维建筑模型,如图74A所示。虚拟工具或应用可包括诸如直尺、卡尺、罗盘、量角器、样板或模板等的工具。虚拟工具或应用可例如包括用于各种软件应用(例如,电子邮件、网络浏览器、文字处理器软件、演示软件、电子表格软件、语音邮件软件等)的界面。

如图74A所示,一些虚拟对象可相对于彼此堆叠或重叠。用户可利用相应的姿势来选择期望的虚拟对象。例如,用户可用手指轻拂姿势来遍历文档或图像以迭代地移过虚拟对象的堆叠。一些虚拟对象可采取菜单的形式,菜单的选择可致使呈现子菜单。如图74A所示,该图示出向用户示出了用户可通过AR装置7401观看的一组虚拟内容。在说明性实施例中,用户可利用手势来构建和/或增强虚拟建筑模型。因此,不是必须从物理结构构建模型,而是建筑模型可在3D中观看并以3D构造,从而提供更现实且容易修改的可视化结构的方式。

现在参考图74B,图74B的物理办公室与图74A的物理办公室相同,并且图74B的虚拟办公室类似于图74A的虚拟办公室。相同或相似的元件使用与图74A中相同的附图标记来标识。下面仅论述显着差异。

如图74B所示,AR系统可向虚拟办公室中的用户呈现虚拟警报或通知。例如,AR系统可在用户的视场中呈现虚拟警报或通知的视觉表示。AR系统可除此之外或另选呈现虚拟警报或通知的听觉表示。

图75示出了根据一或多个实施例的另一示例虚拟室。如图75的虚拟房间7500中所示,用户正穿着可穿戴AR系统7501并且在物理起居室中体验一或多个虚拟元件。然而,起居室填充有一或多个虚拟元素,诸如类似于图74A和74B的虚拟建筑模型。例如,用户可能在家,但可能想在建筑模型上工作。因此,用户可使AR系统在起居室的物理桌子上呈现建筑模型的最新保存的版本,使得虚拟建筑模型位于桌子的顶部,如图75所示。

物理起居室可包括一或多个物理对象,例如墙壁、地板、天花板、咖啡桌和沙发。如图74A-B和75所示,虚拟办公室可为便携式的、可在各种不同的物理环境中呈现的。因此,如果虚拟办公室在后续的使用中呈现与在最近的使用或呈现中出现的虚拟办公室的外观或布局相同的外观或布局,则可能是特别有利的。因此,在每个后续使用或呈现中,将出现相同的虚拟对象,并且各个虚拟对象可相对于彼此保持其与在虚拟办公室的最近的在前呈现中相同的空间位置。

在一些实施方案中,从一次使用到下一次后续使用的外观或布局的这种一致性或持久性可独立于呈现虚拟空间的物理环境。因此,从第一物理环境(例如,物理办公空间)移到第二物理环境(例如,物理起居室)将不会影响虚拟办公室的外观或布局。

图76示出了包括使用可佩戴AR系统7601的用户的另一场景7600。在说明性实施例中,用户再次在他/她自己的真实起居室中,但是正在体验几个虚拟元素(例如,虚拟TV屏幕7604、鞋子的虚拟广告7608、虚拟迷你足球比赛7610等)。如图76所示,虚拟对象相对于房间的真实物理对象(例如,桌子、墙壁等)放置。

物理起居室可包括一或多个物理对象,例如墙壁、地板、天花板、咖啡桌和沙发。为了简单起见,物理起居室被示为与图75的物理起居室相同。因此,使用与图75中相同的附图标记来标识相同或相似的元件,并且为了简洁起见,将不重复虚拟办公室的论述。

如图所示,AR系统以用户在其中放松和/或享受娱乐或消费媒体(例如,电视节目、电影、游戏、音乐、阅读等)的虚拟娱乐或媒体室的形式呈现虚拟房间或虚拟空间。因此,虚拟娱乐或媒体室填充有各种虚拟工具或应用。

AR系统7601可用虚拟电视或主屏幕7604呈现虚拟娱乐或媒体室。虚拟电视或主屏幕可以被呈现为任何期望的大小。虚拟电视或主屏幕甚至可以延伸超出物理房间的范围。AR系统可呈现虚拟电视或主屏幕以复制任何已知或尚未发明的物理电视。

因此,AR系统可呈现虚拟电视或主屏幕以复制来自1950年代、1960年代或1970年代的时期或经典电视或者可复制任何当前电视。例如,虚拟电视或主屏幕可用具有特定品牌和型号以及物理电视年份的外观呈现。还例如,虚拟电视或主屏幕可用特定品牌和型号的相同图片特性以及物理电视的年份呈现。同样,AR系统可呈现声音以具有与来自特定品牌和型号以及年份的物理电视的声音相同的听觉特性。

AR系统也呈现媒体内容使得看起来好像媒体内容正由虚拟电视或主屏幕显示。媒体内容可采取多种形式中的任何形式,包括电视节目、电影、视频会议或电话等。

AR系统可以利用一或多个附加的虚拟电视或辅助屏幕来呈现虚拟娱乐或媒体室。附加的虚拟电视或辅助屏幕可允许用户享受第二屏幕体验。

例如,第一辅助屏幕7610可允许用户监测幻想联盟(例如,梦幻足球联赛)中的梦幻球队或队员的状态,包括球员和球队的各种统计数据。

除此之外或另选地,第二屏幕7610可允许用户监测其它活动,例如与主屏幕上的媒体内容间接相关的活动。

例如,第二屏幕7610可显示来自协会或联盟的各比赛中的得分的列表,同时用户在主屏幕上观看其中的一场比赛。还例如,第二屏幕7610可显示来自协会或联盟的各比赛的精彩瞬间,而用户在主屏幕上观看其中的一场比赛。一或多个辅助屏幕可以被堆叠为如图76所示,从而允许用户例如经由姿势选择辅助屏幕以将其带入到顶部。例如,用户可使用姿势来按顺序切换辅助屏幕的堆叠,或者可使用姿势来选择特定的辅助屏幕以将其带入相对于其它辅助屏幕的前台。

AR系统可利用一或多个三维重放或回放平板来呈现虚拟娱乐或媒体室。三维重放或回放平板可在用户正在主显示器上观看比赛时微型复制比赛的球场或赛场,例如提供“上帝视角”。3D重放或回放平板可例如允许用户享受在主屏幕上出现的媒体内容的按需回放或重放。

这可包括用户对待回放或重放的媒体内容的部分的选择。这可包括用户对特殊效果,例如慢动作重放、停止或冻结重放或者比实际时间更快的加速或快动作重放的选择。例如,用户可使用一或多个姿势在足球比赛播放的重放期间添加标记接球者的路线的注释,或者标记针对防守队员或后卫的阻挡分配。

3D重放或回放平板甚至可允许用户添加修改如何播放先前被查看的播放的变体(例如,不同的暂停(call))。例如,用户可指定接球者所跑的路线的变体,或者被分配给防守队员或后卫的阻挡分配。AR系统7601可使用实际比赛的基本参数,修改一或多个参数,然后对参数执行比赛引擎,以播放在实际物理比赛中执行但带有用户修改的先前比赛。

例如,用户可跟踪用于外接手的替代路线。除了所选择的外接手、四分卫以及将掩护外接手的任何防守队员之外,AR系统可不改变队员的动作。可播放整个虚拟的想象比赛,其甚至可产生与实际比赛不同的结果。这可例如在广告休息期间或在比赛期间超时时发生。

这允许用户测试他们作为纸上谈兵的教练或球员的能力。类似的方法可以应用于其它运动。仅举几个例子,例如,用户可以在篮球比赛的重放中进行不同的比赛暂停,或者可在棒球比赛的重放中要求不同的投掷。使用游戏引擎允许AR系统引入统计可能性的元素,但是其在真实比赛中期望的范围内。

AR系统可呈现附加的虚拟内容,例如3D虚拟广告。3D虚拟广告7608的主题或内容可例如至少部分基于在虚拟电视或主屏幕上正在播放或观看的内容。

AR系统可呈现虚拟控件。例如,AR系统可呈现被映射到用户的视场中的虚拟控件,以便看起来在用户的手臂可触及范围内。

AR系统允许用户从虚拟空间导航到虚拟空间。例如,用户可在虚拟办公空间(图74A和74B)和虚拟娱乐或媒体空间(图75和76)之间导航。如本文所论述的,AR系统可响应于某些用户输入,以允许从一个虚拟空间直接导航到另一个虚拟空间,或者切换或浏览一组可用虚拟空间。该组虚拟空间可对用户是特定的、对用户所属的实体是特定的和/或可为系统范围的或所有用户通用的。

为了允许用户在虚拟房间或虚拟空间之间选择和/或导航,AR系统可例如响应于例如由头戴部件、腰包或单个AR系统的其它物理结构携带的姿势、语音命令、眼睛跟踪和/或物理按钮、按键或开关的选择中的一或多个。用户输入可指示对虚拟空间或房间的直接选择,或者可使得呈现菜单或子菜单以允许用户选择虚拟空间或房间。

图77示出了另一种场景7700,其中,用户坐在类似于图76的场景的物理起居室空间中,并且在他的起居室中体验虚拟元素。在当前实施例中,用户使用手势来经历各种虚拟用户界面,如用户的手以扫掠动作从左向右移动所表示的。

如图77所示,AR系统可呈现用户界面工具,其向用户提供虚拟房间或虚拟空间的选择的表示,以及可能提供当前所选的虚拟房间或虚拟空间在用户可用的一组虚拟房间或虚拟空间中的位置。如图所示,所述表示采取一行标记或符号的形式,其中,每个标记表示用户可用的虚拟房间或虚拟空间中的相应一个。虚拟房间或虚拟空间中当前选择的一个在视觉上被强调,以帮助用户向前或向后浏览该集合。

图78A和78B分别示出了类似的场景7802和7804。如图78A和78B所示,场景被设置在具有一组虚拟元素(例如,虚拟屏幕、广告等)的、佩戴AR系统7801的用户的起居室中。类似于图77中说明性实施例,用户使用手势以与AR系统交互。如图78A所示,用户在所识别的姿势中移动双手以打开附加功能或应用。如图78B所示,响应于用户的姿势,附加的虚拟界面元素(或“应用”)可在用户的视野中呈现。

如图78A所示,用户执行第一姿势(由双箭头所示),以打开基于图标的群集用户界面虚拟构造(图78B)。姿势可包括用户的手臂和/或手或用户身体的其他部分(例如头部姿势或眼睛)的移动。另选地,用户可使用口头命令来访问基于图标的群集用户界面虚拟构造(图78B)。如果需要更全面的菜单,则用户可使用不同的姿势。尽管上述示例出于说明的目的使用手势,但是可类似地使用任何其它类型的用户输入(例如,眼部姿势、语音命令、图腾等)。

如图78B所示,基于图标的群集用户界面虚拟构造7808提供各种不同虚拟房间或空间的一组小虚拟表示,用户可从这些虚拟房间或空间中选择。该虚拟用户界面7808可经由虚拟房间或虚拟空间的表示提供对虚拟房间或虚拟空间的快速访问。小虚拟表示本身基本上不起作用,因为它们不包括功能虚拟内容。因此,小虚拟表示是非功能的,除了能够响应于对小虚拟表示中的一个的选择而引起对应的虚拟房间或空间的功能表示的呈现。

小虚拟表示的集合可对应于特定用户可用的虚拟房间或空间的集合或库。在集合包括相对大量的选项的情况下,基于图标的群集用户界面虚拟构造可例如允许用户滚动浏览选项。例如,响应于第二姿势,AR系统可利用沿第一方向(例如,朝向用户的右侧)移动的图标,其中一个图标落在视场(例如,最右边的图标)之外并且新图标进入该视场,重新呈现基于图标的群集用户界面虚拟构造。新图标对应于在基于图标的群集用户界面虚拟构造的时间上最紧前的呈现中未被显示、呈现或示出的相应虚拟房间或虚拟空间。第三姿势可例如使AR系统沿相反方向(例如,朝向用户的左边)滚动图标。

响应于用户对虚拟房间或虚拟空间的选择,AR系统可呈现与虚拟房间或虚拟空间相关联的虚拟内容以使其出现在用户的视场中。虚拟内容可被映射或“粘合”到物理空间。例如,AR系统可呈现位于用户视场中的一些或全部虚拟内容以使其看起来好像虚拟内容的相应项或实例在物理空间中,例如墙壁、桌子等的各种物理表面上。还例如,AR系统可呈现位于用户视场中的一些或全部虚拟内容以使其看起来好像虚拟内容的相应项或实例漂浮在物理空间中,例如在用户可触及范围内。

图79A示出了根据一个说明性实施例的坐在物理起居室空间7902中并且使用AR系统7901来体验采用虚拟娱乐或媒体室(类似于上述实施例)的形式的虚拟房间或虚拟空间的用户,并且用户执行姿势以与用户界面虚拟构造7904交互。

如图79A所示,AR系统7901可呈现功能组或豆荚(pod)用户界面虚拟构造7904,以便出现在用户的视场中,从而优选地看上去驻留在用户可触及范围内。豆荚用户界面虚拟构造7904包括多个基于虚拟房间或虚拟空间的应用,其方便地提供从一个虚拟房间或虚拟空间到与另一虚拟房间或虚拟空间逻辑关联的功能工具和应用的访问。豆荚用户界面虚拟构造7904可为用户形成迷你工作站。

AR系统检测用户与豆荚用户界面虚拟构造或虚拟房间或空间的虚拟内容的交互。例如,AR系统可检测滑动姿势,以用于在上下文特定房间中导航。AR系统可呈现通知或对话框7908,例如,指示用户在不同的房间中。通知或对话框7908可查询关于用户想要AR系统采取什么动作(例如,关闭现有房间并自动地映射房间的内容、将房间的内容自动映射到现有房间,或者取消)。

图79B示出了根据一个说明性实施例的坐在物理起居室空间中并且使用AR系统来体验采用虚拟娱乐或媒体室的形式的虚拟房间或虚拟空间的用户,该用户执行姿势以与用户界面虚拟构造交互。

类似于图79A,AR系统7901可呈现功能组或豆荚用户界面虚拟构造7904,以便出现在用户的视场中,从而优选地看上去驻留在用户可触及范围内。如图79B所示,AR系统7901检测用户与豆荚用户界面虚拟构造7904或虚拟房间或空间的虚拟内容的交互。例如,AR系统可检测滑动或捏合姿势,用于导航到并打开上下文特定虚拟房间或虚拟空间。AR系统可呈现视觉效果以指示选择了哪个表示。

图79C示出了根据一个说明性实施例的坐在物理起居室空间中并且使用AR系统7901来体验采用虚拟娱乐或媒体室的形式的虚拟房间或虚拟空间的用户,该用户执行姿势以与用户界面虚拟构造交互。

如图79C所示,AR系统可响应于对图79B中所示的表示的选择,在用户的视场中呈现所选择的应用。例如,用户可在查看虚拟娱乐或媒体室或空间时从例如虚拟工作空间选择社交网络应用、网络浏览应用或电子邮件(email)应用。

图79D示出了根据一个说明性实施例的用户坐在物理起居室空间中并且使用AR系统7901来体验采用虚拟娱乐或媒体室的形式的虚拟房间或虚拟空间,该用户执行姿势以与用户界面虚拟构造交互的另一场景7908。

如图79D所示,用户可执行所定义的用作常用应用(例如,摄像机应用)的热键的姿势。AR系统检测用户的姿势、解译姿势并打开或执行相应的应用。例如,AR系统可响应于所定义的姿势,在用户的视场呈现所选择的应用7920或所选择的应用的用户界面。具体地,AR系统可向用户的眼睛的视网膜呈现所选择的应用或应用用户界面的完全功能版本,例如以便出现在用户的手臂可触及的范围内。

摄像机应用7920可包括允许用户使AR系统捕获图像或图像数据的用户界面。例如,摄像机应用7920可允许用户使得各个AR系统的身体或头戴部件上的面向外面的摄像机捕获在面向外面的摄像机和/或用户的视场中的场景的图像或图像数据(例如,4D光场)。

所定义的姿势优选是直观的。例如,在图79D中示出了用于打开摄像机应用或摄像机用户界面的直观双手捏合类型姿势。AR系统可识别其它类型的姿势。AR系统可存储姿势的目录或库,其将姿势映射到相应的应用和/或功能。姿势可被定义用于所有常用的应用。姿势的目录或库可为特定用户特定的。另选地或除此之外,姿势的目录或库可为特定虚拟室或虚拟空间特定的。另选地,姿势的目录或库可为特定的物理房间或物理空间特定的。另选地或除此以外,姿势的目录或库可对于大量用户和/或多个虚拟房间或虚拟空间是通用的。

如上所述,姿势优选是直观的,特别是关于相应姿势在逻辑上关联或被映射到的特定功能、应用或虚拟内容。此外,姿势应符合人体工程学。也就是说,姿势应当由具有各种身体大小和能力的用户舒适地执行。姿势也优选地涉及流畅的动作,例如手臂扫掠。所定义的姿势优选是可缩放的。所定义的姿势的集合可进一步包括可被离散地执行的姿势,特别是在离散性将是期望的或适当的情况下。另一方面,一些所定义的姿势不应该是离散的,而是应该是示范性的,例如指示用户意图捕获存在于环境中的其他人的图像和/或音频的姿势。姿势也应该是文化上可接受的,例如在大的文化范围中可接受的姿势。例如,应该避免在一种或多种文化中被认为是攻击性的某些姿势。

下面的表A中列出了一些建议的姿势。

表A

图79E示出了根据一个说明性实施例的另一场景7910,其示出用户坐在物理起居室空间中并且使用AR系统7901体验采用虚拟娱乐或媒体室的形式的虚拟房间或虚拟空间,该用户执行姿势以与用户界面虚拟构造交互。

如图79E所示,AR系统7901呈现全面的虚拟仪表板菜单用户界面,例如将图像呈现到用户眼睛的视网膜。虚拟仪表板菜单用户界面可具有大体上为环形的布局或配置,其至少部分围绕用户,其中,各种用户可选择的虚拟图标被间隔开以在用户的手臂可触及范围内。

AR系统检测用户的姿势或与虚拟仪表板菜单用户界面的用户可选虚拟图标的交互,解译该姿势并打开或执行相应的应用。例如,AR系统可响应于所定义的姿势,在用户的视场呈现所选择的应用或所选择的应用的用户界面。例如,AR系统可向用户的眼睛的视网膜呈现所选择的应用或应用用户界面的完全功能版本。如图79E所示,AR系统可呈现媒体内容,其中应用为媒体内容的源。AR系统可呈现应用、应用用户界面或媒体内容以覆盖其它虚拟内容。例如,AR系统可呈现应用、应用用户界面或媒体内容以覆盖被显示在虚拟房间或空间(例如,虚拟娱乐或媒体室或空间)中的虚拟主屏幕上的主内容的显示。

图80A示出了根据一个说明性实施例的又一场景8002,其示出了用户坐在物理起居室空间中,并且使用AR系统8001来体验第一虚拟装饰(例如,美学表层或美学处理),用户执行姿势以与用户界面虚拟构造交互。

AR系统8001可允许用户改变或修改(例如,重新制作表层)物理房间或物理空间的虚拟装饰。例如,如图80A所示,用户可利用姿势以产生第一虚拟装饰,例如具有虚拟火和第一和第二虚拟图片的虚拟壁炉。第一虚拟装饰(例如,第一表层)被映射到物理房间或空间(例如,物理起居室)的物理结构。

还如图80A所示,AR系统可呈现用户界面工具,其向用户提供虚拟装饰的选项的表示,并且可能提供当前选择的虚拟装饰在用户可用的一组虚拟装饰中的位置。如图所示,表示采取一行标记或符号的形式,其中,每个标记表示用户可用的虚拟装饰中的相应一个。虚拟装饰中当前选择的一个在视觉上被强调,以帮助用户向前或向后浏览该集合。虚拟装饰的集合可为用户特定的、物理房间或物理空间特定的或者可由两个或更多个用户共享。

图80B示出了根据一个说明性实施例的另一场景8004,其中,用户执行姿势以与用户界面虚拟构造交互。如图80B所示,用户可利用姿势来产生不同于第一虚拟装饰的第二虚拟装饰。第二虚拟装饰可例如用行星、太空船的技术图或图示以及虚拟照明灯具或照明装置的视图复制航天器(例如,星舰)的指挥台。产生第二虚拟装饰的姿势可与产生第一虚拟装饰的姿势相同,用户基本上切换、步进或滚动浏览用于物理房间或物理空间(例如,物理起居室)的一组定义虚拟装饰。另选地,每个虚拟装饰可与相应的姿势相关联。

图80C示出了根据一个说明性实施例的另一场景8006,其示出了用户坐在物理起居室空间中,并且使用AR系统8001来体验第三虚拟装饰(例如,美学表层或美学处理),用户执行姿势以与用户界面虚拟构造交互。

如图80C所示,用户可做出姿势以产生不同于第一和第二虚拟装饰的第三虚拟装饰。第三虚拟装饰可例如复制海滩场景和不同虚拟图片的视图。产生第三虚拟装饰的姿势可与产生第一和第二虚拟装饰的姿势相同,用户基本上切换、步进或滚动浏览用于物理房间或物理空间(例如,物理起居室)的一组定义虚拟装饰。另选地,每个虚拟装饰可与相应的姿势相关联。

图81示出了根据一个说明性实施例的又一场景8100,其中,AR系统8102的用户体验采用虚拟娱乐或媒体室形式的另一虚拟房间空间,用户执行姿势以与用户界面虚拟构造交互。

如图81所示,AR系统8101可呈现包括多个虚拟平板或触摸板的分层菜单用户界面虚拟构造8111,以便出现在用户的视场中,优选地出现在用户可触及范围内。这些允许用户导航主菜单以访问作为主导航菜单的特征的用户所定义的虚拟房间或虚拟空间。虚拟房间或虚拟空间的各种功能或目的可通过图标来表示,如图81所示。

图82示出了根据一个说明性实施例的另一场景8200,其中,AR系统8201的用户与采用虚拟娱乐或媒体室形式的虚拟室或虚拟空间交互,用户执行姿势以与用户界面虚拟构造交互以通过代理提供输入。

如图82所示,AR系统可呈现包括多个用户可选择的虚拟元素的用户界面虚拟构造8211,以便其出现在用户的视场中。用户操控图腾8213以与用户界面虚拟构造8211的虚拟元素交互。用户可例如将图腾8213的前面指向期望的元素。用户也可与图腾8213交互,例如通过轻拍或触摸图腾的表面,从而指示选择图腾正指向或对准的元素。

AR系统8201检测图腾的方向和用户与图腾的交互,解译诸如图腾正指向或对准的元素的选择。AR系统执行相应的动作,例如打开应用、打开子菜单或呈现对应于所选元素的虚拟房间或虚拟空间。

图腾8213可复制遥控器,例如通常与电视和媒体播放器相关联的遥控器。在一些实施方案中,图腾8213可为用于电子装置(例如,电视、媒体播放器、媒体流盒)的实际遥控器,然而AR系统实际上可能没有从遥控器接收任何无线通信信号。遥控器甚至可不具有电池,但仍然用作图腾,因为AR系统依赖于捕获位置、取向和与图腾(例如,遥控器)交互的图像。

图83A和83B示出了根据一个说明性实施例的场景8302和8304,其示出用户坐在物理起居室空间中并且使用AR系统8301来体验采用虚拟娱乐或媒体室形式的虚拟房间或虚拟空间,该用户执行姿势以与用户界面虚拟构造交互以提供输入。

如图83A所示,AR系统8301可呈现包括总是可用的可扩展菜单图标的用户界面虚拟构造。AR系统8301可始终在用户的视场中的给定位置,或优选地在用户视场的周边部分(例如,右上角)中呈现可扩展菜单图标。另选地,AR系统8301可始终在物理房间或物理空间中的给定位置中呈现可扩展菜单图标8311。

如图8B所示,用户可在或朝向可扩展菜单图标8311做出姿势以扩展可扩展菜单构造8312。作为响应,AR系统可呈现展开的可扩展菜单构造8312以使其出现在用户的视场中。可扩展菜单构造8312可扩展以显示用户可用的一或多个虚拟房间或虚拟空间。AR系统8301可始终在用户的视场中的给定位置,或优选地在用户视场的周边部分(例如,右上角)中呈现可扩展菜单。另选地,AR系统8301可始终在物理房间或物理空间中的给定位置中呈现可扩展菜单8311。

图84A示出了根据一个说明性实施例的另一场景8402,其示出AR系统8401的用户体验虚拟装饰并且用户执行指向姿势以与用户界面虚拟构造交互。

如图84A所示,AR系统8401可呈现包括多个预映射菜单的用户界面工具。例如,AR系统8401可呈现与娱乐或媒体内容(例如,电影、体育赛事)的相应片段相对应的多个海报类虚拟图像8412,用户可经由一或多个指点姿势从多个海报类虚拟图像8412选择娱乐或媒体内容。AR系统8401可呈现海报类虚拟图像8412,例如,如图84A所示,用户看起来其好像悬挂或粘合到起居室的物理墙壁。

AR系统8401检测用户的姿势,例如指点姿势,其可包括将手或手臂指向海报类虚拟图像中的一个。AR系统将基于指点姿势或基于投影的代理输入识别为旨在触发海报类虚拟图像所表示的娱乐或媒体内容的传递的用户选择。在一或多个实施例中,AR系统8401可呈现光标的图像,光标看起来朝向用户姿势所指的位置投影。

图84B示出了类似于图84A的另一场景8402,其示出了与海报虚拟图像8412交互的AR系统8401的用户。在说明性实施例中,用户通过姿势8416与海报虚拟图像8412交互。

图84C示出了根据一个说明性实施例的另一场景8406,其示出了AR系统8401的用户体验娱乐或媒体内容的所选片段(例如,基于图84B的姿势8416),用户执行触摸姿势以与用户界面虚拟构造交互。

如图84C所示,响应于用户选择,AR系统8401呈现所选的娱乐或媒体内容的显示8420和/或相关联的虚拟菜单(例如,高级虚拟导航菜单,例如允许选择主要特征、情节、额外资料的导航菜单)。如图84C所示,所选的娱乐或媒体内容的显示可替换第一虚拟装饰的至少一部分。

如图84C所示,响应于用户选择,AR系统也可呈现虚拟平板型用户界面工具,其提供比高级虚拟导航菜单更详细的虚拟导航菜单8422。更详细的虚拟导航菜单8422可包括高级虚拟导航菜单的一些或全部菜单选项以及附加选项(例如,检索附加内容、玩与媒体标题或许可相关联的交互游戏、场景选择、角色探索、演员探索、评论)。例如,AR系统可呈现详细的虚拟导航菜单以例如对用户看起来好像坐在用户的手臂可触及范围内的桌子的顶部表面上。

用户体验零售实例

图89A-89J示出根据一个说明性实施例的AR系统实现的零售体验。如图所示,每个佩戴相应的个别AR系统(分别为8901和8903)的母亲和女儿在零售环境(例如超市)中购物时接收增强现实体验8902。如本文所解释的,除了促进购物体验之外,AR系统还可提供娱乐。

例如,AR系统可呈现虚拟内容,例如可看起来从盒子或纸箱跳出的虚拟角色,和/或提供所选物品的虚拟优惠券。AR系统可呈现游戏,例如基于整个商店的位置和/或基于购物列表上的物品、偏好列表或促销物品的列表的游戏。增强现实环境鼓励孩子玩耍,同时移动到父母或伴随成人需要拾取物品的每个位置。

在另一实施例中,AR系统可提供关于食物选项的信息,并且可帮助用户实现他们的健康/体重/生活方式目标。AR系统可在用户消费各种食物时呈现其卡路里计数,从而对用户在他/她的食物选择方面进行教育。如果用户正在消费不健康的食物,AR系统可向用户警告该食物,使得用户能够做出知情的选择。

AR系统可巧妙地呈现虚拟优惠券,例如使用射频识别(RFID)转发器和通信。AR系统可呈现与物品绑定或近似关联的视觉效果,例如导致围绕盒子发光以指示存在与该物品相关联的元数据的发光效果。元数据也可包括或链接到用于物品的折扣或回扣的优惠券。

AR系统可检测用户姿势,并且例如响应于所定义的姿势来解锁元数据。AR系统可识别用于不同物品的不同姿势。例如,如本文所解释的,可呈现虚拟动画化生物,以便看起来从包含潜在购买者或顾客的优惠券的盒中弹出。例如,AR系统可呈现使用户感知到盒子打开的虚拟内容。AR系统允许在顾客或消费者决定时进行广告生成和/或递送。

AR系统可呈现复制名人外表的虚拟内容。例如,AR系统可在超市处呈现名人厨师的虚拟外表。AR系统可呈现有助于产品的交叉销售的虚拟内容。例如,一或多个虚拟效果可使一瓶葡萄酒推荐与葡萄酒搭配的奶酪。AR系统可呈现看起来接近奶酪的视觉和/或听觉效果,以便吸引购物者的注意。AR系统可在用户的视场中呈现一或多个虚拟效果,其致使用户感知到奶酪推荐某些饼干。AR系统可呈现可提供关于各种产品(例如,葡萄酒、奶酪、饼干)的意见或评论的虚拟朋友。AR系统可在用户视场内呈现与用户正在关注的饮食有关的虚拟效果。例如,效果可包括用户的瘦的版本的图像,其响应于用户查看高卡路里产品而呈现。这可包括关于饮食的听觉口头提醒。

具体地,图89A示出了母亲和女儿在杂货店享受增强现实体验的场景8902。AR系统(8901和8903)可识别购物车或手在购物车上的存在,并且可确定用户和/或购物车的位置。在一或多个实施例中,基于该检测到的位置,AR系统可呈现被系留到购物车的手柄上的虚拟用户界面8932,如图89A所示。在一或多个实施例中,虚拟用户界面8932对于AR系统8901和8903两者是可见的,或者简单地,对于母亲的AR系统8901是可见的。在说明性实施例中,还显示虚拟优惠券8934(例如,浮动虚拟内容,被系留到墙上等)。在一或多个实施例中,杂货店可开发应用,使得在杂货店的各种物理位置处向用户策略性地显示虚拟优惠券,使得它们可由AR系统的用户查看。

应用可以例如包括虚拟杂货列表。杂货列表可通过用户所定义的标准(例如,晚餐食谱)来组织。虚拟杂货列表可在用户离开家之前生成,或者可在某个稍后时间生成,或者甚至例如与其它应用中的一个合作来即时生成。应用可例如包括虚拟优惠券本,其包括可对各种产品折扣或退款兑现的虚拟优惠券。应用可例如包括虚拟食谱书,其包括各种食谱、目录、索引和配料列表。选择虚拟食谱可使AR系统更新杂货列表。

在一些实施方案中,AR系统可基于用户在家中,无论是在冰箱、冰柜还是橱柜中已经具有的各种配料的知识来更新杂货列表。AR系统可在用户在他们家的厨房中工作时在一天中收集该信息。应用可例如包括虚拟食谱构建器。食谱构建器可围绕所定义的配料构建食谱。例如,用户可输入鱼类(例如,鲑鱼),并且食谱构建器可生成使用该配料的食谱。由食谱构建器所生成的虚拟食谱的选择可使AR系统更新杂货列表。在一些实施方案中,AR系统可基于现存配料的知识来更新杂货列表。应用可例如包括虚拟计算器,其可维持购物车中的所有物品的成本的流动总额。

图89B示出了具有AR系统(分别为8901和8903)的母亲和女儿在杂货店的产品区享受增强现实体验的另一种场景8904。母亲在秤上称重物理食品。虚拟内容框8938可以紧邻秤显示,以提供关于产品的更多信息,如图89B所示。

在一或多个实施例中,AR系统自动确定物品的总成本(例如,每磅价格乘以重量),将该金额输入到运行总成本中。在一或多个实施例中,AR系统基于位置自动更新“智能”虚拟杂货列表,以引起对附近的在杂货店列表上的物品的注意。例如,AR系统可更新虚拟杂货列表的呈现以在视觉上强调某些物品(例如,聚焦于产品区中的水果和蔬菜)。如图89B所示,虚拟名称标签8936可出现在物理蔬菜(例如,马铃薯、玉米等)旁边,从而用作对用户的提醒。

此外,AR系统可在用户的视场中呈现视觉效果,使得视觉效果出现在虚拟杂货列表上出现的附近物理物品周围或附近。图89C示出了儿童选择虚拟图标8940以启动寻宝游戏应用的另一种场景8906。寻宝游戏应用可使孩子的购物体验更具吸引力和教育性。寻宝游戏应用可呈现挑战(例如,定位来自世界各地不同国家的食品)。当她识别食物并将它们放置在她的虚拟购物车中时,可以将点数添加到孩子的得分。

图89D示出了儿童以友好怪物或化身的形式朝向奖励虚拟图标8942做出姿势的另一种场景8908。AR系统可向孩子的AR系统8903的视场呈现意外的或奖励的虚拟内容,以向孩子提供更有趣和吸引人的用户体验。

图89E示出了母亲和女儿在杂货店的谷类食物过道中的另一种场景8910。母亲选择特定谷类食物以例如经由由虚拟内容8944表示的关于谷类食物的元数据的虚拟呈现来探究附加信息。元数据8944可例如包括:膳食限制、营养信息(例如,健康星级)、产品评论和/或产品比较或顾客评论。虚拟地呈现元数据允许元数据以特别是对阅读小型字体会遇到麻烦的成年人容易可读的方式呈现。在说明性实施例中,母亲通过姿势8946与元数据8944交互。

还如图89E所示,动画化角色8948可利用可用于特定物品的虚拟优惠券被呈现给任何顾客。AR系统可将给定产品的优惠券呈现给所有路过的顾客,或者仅向停止的顾客呈现。另选地或除此以外,AR系统可将给定产品的优惠券呈现给在其虚拟杂货列表上具有给定产品的顾客,或者仅呈现给在他们的虚拟杂货列表上具有竞争产品的顾客。另选地或除此以外,AR系统可基于顾客过去或当前的购物习惯和/或购物车的内容的知识来呈现给定产品的优惠券。

如图89F的另一场景8912所示,AR系统可在至少该孩子的视场中呈现动画化角色8950(例如,友好怪物)。AR系统可呈现动画化角色,以便看起来爬出箱子(例如,谷类食物盒)。动画化角色的突然出现可以提示孩子开始游戏(例如,怪物战斗)。孩子可以用姿势使角色以动画方式显示或带来角色的生活。例如,手腕的轻拂可使AR系统再现突破谷类食物盒的动画化角色。

图89G示出了另一种场景8914,其示出了母亲在过道的末端,观看经由AR系统8901执行现场演示的虚拟名人厨师8952(例如,Mario Batali)。虚拟名人厨师8952可向顾客展示简单的食谱。在所示的配方中使用的所有配料可购自杂货店,从而鼓励用户进行购买。

在一些情况下,AR系统可实时呈现展示。这可允许在不同零售地点的顾客向名厨8952询问问题。在其它实例中,AR系统可呈现先前记录的展示。

在一些实施方案中,AR系统可例如经由由每个顾客的个体头戴式AR系统携带的面向内部的摄像机来捕获顾客的图像。AR系统可向名人提供由各种消费者组成的人群的合成的虚拟图像。这可由AR系统的名人厨师或与名人厨师相关联的装置观看。

图89H示出了穿着AR系统8901的母亲在杂货店的葡萄酒区的另一种场景8916。母亲可使用应用的虚拟用户界面8954搜索特定酒。应用可为葡萄酒专用应用、电子书或更一般的Web浏览器。响应于葡萄酒的选择,AR系统可在用户的视场中呈现虚拟地图8956,其具有用于导航到所期望的由虚拟名称标签8958表示的葡萄酒的方向。

当母亲走过过道时,AR系统可呈现附接到虚拟名称标签8958的数据,该标签似乎被附接或至少靠近相应的葡萄酒瓶。数据可例如包括来自朋友的推荐、出现在顾客的个人酒单上的葡萄酒和/或来自专家的推荐。该数据可另外或另选包括用于特定葡萄酒的食品配方。

图89I示出了母亲和孩子结束他们的购物体验的场景8918。例如,母亲和孩子可走过、穿过或通过门槛8960。门槛8960可以以各种各样的方式中的任一种来实现,例如作为适当标记的地图。AR系统检测越过或穿过门槛8960,并且作为响应计算购物车中的所有杂货的总成本。AR系统也可向用户提供通知或提醒,标识虚拟杂货店列表上不在购物车中并因此可能已被忘记的任何物品。顾客可通过虚拟显示器8962完成结帐。在一或多个实施例中,可无需信用卡或与收银员的任何交互(例如,从用户的银行自动扣钱等)来无缝地进行交易。

如图89J的场景8920所示,在结束购物体验时,儿童通过虚拟分数框8964接收她的寻宝游戏体验的摘要。AR系统可至少在使用AR系统8903的儿童的视场中将摘要作为虚拟内容呈现。

图90示出了根据一个说明性实施例的采用AR系统9001的顾客处于零售环境,例如书店中的场景9000。

如图90所示,顾客可拿起书图腾9012。AR系统9001检测书图腾9012的打开,并且作为响应在用户的视场中呈现沉浸式虚拟书店体验。虚拟书店体验可例如包括书籍评论、建议和作者评论、演示或阅读。AR系统可呈现附加内容9014,例如虚拟优惠券。虚拟环境将在线书店的便利与物理环境的经验相结合。

图91A-91F示出了在保健相关应用中使用AR系统的场景。具体地,图91A示出了外科医生和外科手术团队(每个佩戴AR系统9101)正在进行用于即将到来的二尖瓣置换手术的术前计划会话的场景9102。每个健康护理提供者都佩戴相应的个体AR系统9101。

如上所述,AR系统呈现咨询或访问外科医生的视觉表示9114。如本文所论述的,视觉表示9114可采取许多形式,从非常简单的表示(例如,化身)到非常现实的表示(例如,如图91A所示的外科医生的物理形式)。

AR系统以虚拟形式9112呈现患者的预映射解剖结构(例如,心脏),以供团队在计划期间进行分析。AR系统可使用光场来呈现解剖结构,这允许从任何角度或取向进行观察。例如,外科医生可以在心脏周围行走以看到其后侧。

AR系统也可呈现患者信息。例如,AR系统可呈现一些患者信息9116(例如,识别信息),以便出现在物理桌子的表面上。还例如,AR系统可呈现其他患者信息(例如,医学图像、生命体征、图表),以便出现在一或多个物理墙壁的表面上。

如图91B所示,外科医生能够在手术期间参考预映射的3D解剖结构9112(例如,心脏)。能够实时参考解剖结构可例如提高瓣膜修复的放置精度。指向外面的摄像机从该过程捕获图像信息,从而允许医学学生经由AR系统从她的远程教室虚拟观察。AR系统使得患者的信息容易获得,例如以确认病状和/或避免任何严重的错误。

图91C示出了外科医生和患者之间的术后会议或汇报。在术后会议期间,外科医生能够描述手术如何使用虚拟解剖结构9112的横截面或患者的实际解剖结构的虚拟3D解剖模型。AR系统允许患者的配偶在工作时通过虚拟表示9118虚拟地加入会议。再者,AR系统可呈现允许外科医生、患者和配偶从期望的角度或取向检查患者的实际解剖结构的虚拟3D解剖模型的光场。

图91D示出了患者在医院房间中恢复的场景9108。AR系统9101允许患者通过由患者选择的虚拟设置9120(例如,宁静的海滩设置)感知任何类型的放松环境。

如图91E的场景9110所示,患者可在住院期间和/或出院后练习瑜伽或参与一些其它康复。AR系统9101允许患者感知虚拟瑜伽课中的朋友虚拟呈现的环境。

如图91F的场景9142所示,患者可参与康复,例如通过在住院期间和/或在出院之后骑在固定自行车9152上。AR系统(未示出)在用户的视场中呈现关于模拟的骑行路线(例如地图、高度、距离)、患者的表现统计(例如力量、速度、心率、骑乘时间)的虚拟信息9154。AR系统呈现虚拟自行车体验,例如包括户外场景,复制诸如最喜欢的物理路线的乘坐路线。除此之外或另选地,AR系统呈现作为激励工具的虚拟化身9156。虚拟化身可例如复制先前的骑乘,从而允许患者与他们自己的个人最佳时间竞争。

图92示出了根据一个说明性实施例的工作者在工作环境中采用AR系统9201的场景9200。具体地,图92示出了景观工作者操作机械(例如,割草机)。像许多重复性工作一样,割草可以是乏味的。工人可能在一段时间后失去兴趣,从而增加事故的可能性。此外,可能难以吸引合格的工人,或确保工人的适当绩效。

工作者佩戴单独的AR系统9201,其在用户的视场中呈现虚拟内容以增强工作绩效。例如,AR系统可呈现目标是跟随虚拟映射图案的虚拟游戏9212。如果准确地跟随该图案并在某些得分乘数消失之前击中它们,则会收到点数。如果从图案偏离或者偏离得太接近某些物理对象(例如,树,喷头,道路),则点数可被扣除。

虽然仅示出了一个示例环境,但是该方法可以在各种各样的工作情况和环境中实现。例如,类似的方法可以在仓库中用于检索物品,或者在用于堆叠货架的零售环境中,或者用于分类诸如邮件的物品。该方法可减少或消除对训练的需要,因为可为许多特定任务提供游戏或图案。

图93A-93C示出了根据另一说明性实施例的物理办公环境中的AR系统9301的用户,其与物理球形图腾9312(例如,球形图腾)交互。如图93B所示,通过扭曲她的手腕,用户激活AR系统的虚拟主导航菜单,其在用户的视野中呈现以出现在球形图腾上方。如图93C最佳示出的,AR系统还使先前映射的虚拟内容也出现在工作空间周围。例如,AR系统还可呈现与社交媒体帐户(例如,)、日历、Web浏览器、电子邮件应用相关联的虚拟用户界面。

在说明性实施例中,AR系统9301的用户使用顺时针(或逆时针)动作来“打开”图腾9312。图腾9312可被认为是允许用户与AR系统交互的虚拟用户界面。

在说明性实施例中,在场景9320中,用户拾取图腾9312。在场景9322中,用户相对于图腾9312做出预定姿势或移动以显示一组虚拟菜单9316。应理解,图腾和虚拟界面的这种映射可被预映射,使得AR系统识别姿势和/或移动,并且适当地显示用户界面。

在场景924中,一或多个虚拟物品9318也显示在用户的物理空间中。例如,用户可能已经通过用户界面9316选择了待显示的一或多个物品。用户的物理空间现在被用户期望的虚拟内容包围。在一或多个实施例中,虚拟物品9318可相对于用户浮动(例如,以身体为中心、以头部为中心、以手为中心等)或者被固定到物理环境(例如,以世界为中心)。球形图腾9312用作一种背包,其允许用户携带用户期望的一组虚拟内容。

图93D示出了根据另一说明性实施例的场景9326,其中,用户正在与由AR系统9301呈现的第二物理图腾9332进行交互。

AR系统9301例如经由身体或头戴部件上的一或多个面向外部的摄像机收集图像信息。AR系统9301可选地收集关于物理空间的附加信息,例如任何可用无线通信网络的身份、GPS定位信息、罗盘等。AR系统处理所收集的信息,以便确定用户所处的特定物理空间的身份。例如,AR系统可采用各种对象识别器以识别环境中的各种物理对象(例如,墙壁、桌子、椅子)。另外,例如,AR系统可将其与例如作为地形图的其它信息(例如,GPS、罗盘、无线网络相关)组合,以便确定用户的物理位置。例如,AR系统可使用几何图将连接性传播至拓扑图。拓扑图为例如基于基矢量(例如,WI-FI、GPS、RSS、空间对象的散列、特征散列、直方图特征分布、光学标记)被映射到几何形状中的索引。

AR系统也可以可选地确定物理位置处的当前时间(例如,上午9:15)。基于所确定的物理位置以及可选的当前时间,AR系统将虚拟内容呈现给用户的视场,生成填充有虚拟对象、人和/或化身的虚拟办公空间的视图。

AR系统可例如呈现虚拟日历。AR系统可使虚拟日历例如对用户呈现,好像虚拟日历挂在物理办公环境中的用户工作空间中的物理墙壁上一样。AR系统可例如呈现一或多个虚拟工作片段(例如,虚拟图表、虚拟示意图、虚拟呈现、虚拟文档)。例如,AR系统可将这些工作片段呈现给用户,好像虚拟作品被张贴在物理办公环境中的用户工作空间中的物理墙之前。

AR系统可呈现虚拟社交网络(例如,)用户界面。例如,AR系统可呈现虚拟社交网络用户界面以例如对用户呈现,好像虚拟日历挂在物理办公室环境中的用户工作空间中的物理墙壁上一样。

AR系统可呈现虚拟电子邮件(例如,email)用户界面。AR系统可例如呈现一组中的多个虚拟电子邮件消息,其可以经由由用户执行并且由AR系统检测的姿势来滚动浏览。例如,AR系统可呈现待读取的一组虚拟电子邮件消息和用户已经读取的一组虚拟电子邮件消息。当用户滚动浏览虚拟电子邮件消息时,AR系统重新呈现虚拟内容,使得所读取的虚拟电子邮件消息从未读取集合移动到已读取集合。用户可选择在任一方向上滚动,例如经由适当的姿势。在接收到新的电子邮件消息时,AR系统可在用户的视场中呈现表示到达新的电子邮件消息的虚拟图标。虚拟图标可例如看起来在空中飞行,例如朝向球形图腾。

如图93D所示,用户可以与第二物理图腾9332交互,AR系统可向该第二物理图腾映射一虚拟小键盘。因此,AR系统可在用户的视场中呈现虚拟小键盘,以便看起来好像虚拟键盘在第二物理图腾9332的表面上。用户例如经由键入类手指动作和/或平板类手指动作(例如,滑动)与第二物理图腾9332交互。AR系统捕获用户与第二物理图腾交互的图像信息。AR系统根据交互的位置和正在呈现的各种虚拟键的位置之间的映射来解译用户交互。AR系统9301将交互转换成键击数据,其可以以各种形式(例如,ASCII、扩展ASCII)中的任一种表示。这可允许用户例如与电子邮件消息、社交网络界面、日历和/或工作片段交互。

图93E示出了根据另一说明性实施例的在物理办公室环境中的用户正在与物理键盘进行交互的场景9328。

AR系统映射和呈现虚拟办公空间中的虚拟内容9340,其被映射为对用户来说似乎出现在物理办公空间中的各个位置。虚拟内容9340可包括各种工作相关应用或应用用户界面。例如,AR系统9301可呈现包括3D建筑模型的3D程序以帮助用户可视化结构。

响应于接收到新消息,AR系统可向用户提供通知。例如,AR系统可呈现飞行到用户的视场中的消息9342(例如,电子邮件、)的虚拟视觉效果,以及可选地呈现听觉警报或通知。在一些实施方案中,AR系统评估消息的相对重要性,例如仅仅对显著重要的消息呈现视觉和/或音频效果。

响应于接收到新礼物(例如,来自朋友的虚拟礼物),AR系统可向用户提供通知。例如,AR系统可呈现飞入用户视场中并且在球形图腾9312旁边投下虚拟包裹的飞鸟的虚拟视觉效果。AR系统可除此以外或另选地提供听觉警报或通知。用户可做出姿势以打开虚拟包裹。响应于该姿势,AR系统呈现打开虚拟包裹的图像以显示出礼物为供用户玩的游戏。

如图93E所示,用户可与物理(真实)键盘交互以与虚拟内容交互。物理键盘可为实际键盘,但是可用作图腾。例如,AR系统可能已将一组虚拟键映射到物理键盘。用户与物理键盘交互,例如经由键入键入类的手指动作。AR系统捕获用户与物理键盘交互的图像信息。AR系统根据交互的位置和各种物理键的位置之间的映射来解译用户交互。

AR系统将交互转换成键击数据,其可以以各种形式(例如,ASCII、扩展ASCII)中的任一种表示。这可允许用户例如与电子邮件消息、社交网络界面、日历和/或工作片段交互。值得注意的是,可能没有从物理键盘到任何其它部件的有线或无线通信。

图93F示出了根据另一说明性实施例的在虚拟办公室环境中与虚拟办公空间和游戏交互的一对用户(分别佩戴AR装置9301和9303)的场景9330。

如图93F所示,AR系统9303的用户可能已经启动游戏9350。AR系统9303直接或间接地与第一AR系统9301通信,例如经由可传递世界模型。两个单独的AR系统之间的交互使得第一用户的个人AR系统呈现包括虚拟怪物角色在小隔间墙壁上窥视以向第一用户挑战特定游戏的场景。这充当加入游戏的虚拟邀请。通过选择她自己的虚拟怪物并将其分配给在第一用户的桌子的端部的战场,第一用户可接受该虚拟邀请。游戏可从该点演变,每个用户经由呈现给其相应的个人AR系统来体验相同的游戏。虽然用两个用户示出,但是游戏可涉及单个用户或不止两个用户。在一些实施方案中,游戏可包括数千个用户。

图93G示出了物理办公环境中的一对用户通过他们各自的AR系统9301和9303与虚拟办公空间和游戏交互的场景9348。

如图93G所示,第一用户将他们的玩家(例如,怪物)的战场从她的桌子的端部重新分配到物理办公环境的地板。作为响应,AR系统可重新呈现与游戏相关的虚拟内容,以便让每个用户看起来好像战斗正在地板上发生。AR系统可使游戏适应物理位置的变化。例如,AR系统可基于虚拟内容已经映射到的区域或体积的大小来自动缩放所呈现的内容。

在所示的示例中,将她的怪物从桌子移动到地面增加了可用空间。因此,AR系统可自动地将第一用户的怪物的大小向上放大,以填充可用空间。

图93H示出了物理办公环境中的一对用户通过他们各自的AR系统9301和9303与虚拟办公空间和游戏交互的场景9346。

如图93H所示,AR系统将第一用户的怪物从先前的呈现(图93F)放大。通过将他的怪物放置在新的战场上(例如,办公空间的物理地板)上,第二用户或同事接受邀请。作为响应,AR系统可重新呈现与游戏相关的虚拟内容,以便让每个用户看起来好像战斗正在地板上发生。AR系统可使游戏适应物理位置的变化。例如,AR系统可自动地将同事的怪物的大小向上放大以填充可用空间,并允许战斗开始或继续。

图93I-93K示出了根据另一说明性实施例的AR系统9301的用户与由AR系统呈现的虚拟办公空间的虚拟内容交互。

具体地,图93I-93K表示时间的顺序实例,在此期间,用户对缩放工具9360做出姿势以缩放在她的环境中可见的非工作相关图像的量。作为响应,AR系统重新呈现虚拟房间或虚拟空间,以例如减少与用户的工作无关的可视内容的相对大小。另选地,用户可选择某些应用、工具、功能和/或虚拟房间或虚拟空间被关闭或移到背景(例如,沿径向向外间隔)。如图93J所示,缩放工具9360已被移动以表示比图93I中所示的更小的百分比。类似地,在图93K中,与图93I和93J相比,缩放工具9360已被移动以表示甚至更小的百分比。

图93L示出了根据另一说明性实施例的AR系统的用户与虚拟办公空间的虚拟内容交互。用户经由虚拟联系人用户界面9362通过虚拟联系人列表选择多个联系人以邀请其参加她的联系人应用的群组会议。用户可通过将他们的名字和/或图像拖放到虚拟会议室9364中来邀请参加者,虚拟会议室9364由AR系统9301呈现在用户的视场中。用户可经由各种姿势或者替代地经由语音命令与虚拟用户界面9362构造交互。在一或多个实施例中,AR系统检测姿势或语音命令,并生成被电子地发送给被邀请者的会议请求。

图93L示出了根据另一说明性实施例的物理会议室环境中与AR系统所呈现的虚拟内容交互的多个用户。

会议可为对由第一个用户发送的群组会议邀请的响应(图93L)。第一用户和作为被邀请者或群组会议参与者之一的第二用户可物理地存在于物理会议室中。作为被邀请者或组会议参与者中的另一者的第三用户可虚拟地存在于物理会议室中。也就是说,第三用户的虚拟表示在视觉和听觉上经由第一和第二用户各自的个人AR系统呈现给第一和第二用户。相应的个人AR系统可使第三用户的表示呈现为好像与第一和第二用户对面地坐在物理桌子旁。AR系统使用从由各个个人AR系统捕获的图像信息以及可选地由任何基于房间或空间的传感器系统(如果存在)所生成的可传递世界模型来实现这一点。

同样,第一和第二用户的虚拟表示连同会议室一起经由第三用户的相应个人AR系统在视觉和听觉上呈现给第三用户。个人AR系统可向第三用户呈现第一和第二用户以及会议室的表示,使得第三用户看起来好像第一和第二用户与第三用户对面地坐在物理桌子旁。AR系统使用从由各个个人AR系统捕获的图像信息以及可选地由任何基于房间或空间的传感器系统(如果存在)所生成的可传递世界模型来实现这一点。

AR系统可呈现由参加会议的两个或更多个用户共享的虚拟内容。例如,AR系统可呈现虚拟3D模型(例如,建筑物的光场表示)。而且例如,AR系统可呈现所有用户可见的虚拟图表、绘图、文档、图像、照片、演示等,无论是物理存在的还是仅虚拟存在的。

每个用户可从他们自己的视角在视觉上感知虚拟内容。例如,每个用户可从他们自己的视角在视觉上感知虚拟3D模型。因此,任何一个用户可以在虚拟3D模型周围起立并走动,从不同的有利位置或视点来视觉检查3D模型。对虚拟3D模型的改变或修改可由每个用户查看。例如,如果第一用户对3D模型进行修改,则AR系统将修改的虚拟3D模型重新呈现给第一、第二和第三用户。

虽然在一个或多个实施例中示出了在相同物理位置的第一和第二用户以及位于不同物理位置的第三用户,例如,每个人可在相应的物理位置、与其他人分开和/或远离。另选地,所有参加者可存在于相同的物理空间中,同时获得共享虚拟内容(例如,虚拟3D模型)的优点。因此,参加者的具体数量及其相应的具体位置不是限制性的。在一些实施方案中,可以邀请其他用户加入已经在进行的群组会议。用户同样可以在需要时退出群组会议。其他用户可以在群组会议开始之前或在群组会议进行期间请求被邀请加入群组会议。AR系统可以以与上述的用于安排群组会议类似的方式实现此类邀请。

AR系统可在用户之间共享虚拟内容之前实施握手协议。握手可包括认证或授权希望参与的用户。在一些实施方案中,AR系统采用在例如经由可传递世界模型共享视点的各个装置之间的对等连接。

在一些实施方案中,AR系统可提供语音的实时书面翻译。例如,第一用户可以选择接收其他用户中的一个或多个用户说出的实时书面翻译。因此,说英语的第一用户可请求AR系统提供第二或第三用户中的至少一个(例如说法语)的语音的书面翻译。AR系统检测经由一或多个麦克风(例如作为由说话者佩戴的个人AR系统的一部分的麦克风)的说话者的语音。AR系统可具有将语音数据转换为文本的芯片或系统(或应用),并且可具有将一种语言的文本翻译成另一种语言的文本的翻译系统。AR系统执行或已经执行了说话者语音的机器翻译。AR系统以书面形式将翻译呈现给第一用户的视场。

AR系统可例如使得书面翻译出现在讲话者的视觉表示附近。例如,当说话者为第三用户时,AR系统呈现书面文本,以使其在第一用户的视场中出现在第三用户的虚拟表示附近。当说话者为第二用户时,AR系统呈现书面文本,以使其在第一用户的视场中出现在第二用户的真实图像附近。应理解,翻译应用可被用于旅行应用,并且可使得人们更容易理解在除了其母语之外的语言中遇到的符号/语言/命令。

在其它实施方案中,类似于上述示例,AR系统可将元数据(“简档信息”)显示为与人的物理身体相邻的虚拟内容。例如,假设用户走进商务会议,并且不熟悉会议中的人。AR系统可基于人的面部特征(例如,眼睛位置、面部形状等)识别该人,检索该人的简档信息或商业简档信息并且以虚拟形式紧邻该人显示该信息。因此,在已经阅读了关于该人的一些现有信息之后,用户可能够进行更有成效和建设性的会议。应理解,如上面的隐私部分中所描述的,如果人们选择了不显示他们的信息,则人们可选择不显示他们的信息。在优选实施例中,元数据的实时翻译和/或解锁可在用户系统(腰包、计算机)上执行。

现在参考图94,该图示出了佩戴相应AR系统9401的用户之间的示例场景。如图94所示,用户可为例如建筑公司的雇员,并且可讨论即将到来的工程。有利地,AR系统9401可允许用户彼此交互,并且通过在物理桌子上提供建筑模型9412的可视表示来讨论该项目。如图94所示,用户可能够构建虚拟建筑模型9412,或对其进行任何编辑或修改。如图94所示,用户也可与允许用户更好地理解结构的方面的虚拟罗盘交互。

此外,如图94所示,各种虚拟内容9414可被系留到用户正在占用的物理房间,从而使得用户能够进行有成效的会议。例如,虚拟内容9414可为其它类似的建筑计划的图纸。或者,虚拟内容9414可与将在真实世界中构建结构的映射等相关联。

图95A-95E示出了根据另一说明性实施例的在户外物理环境中的AR系统9501的用户,其与由AR系统以连续间隔呈现的虚拟内容交互。

具体地,图95A示出了沿着包括多个建筑物的城市街道走回家的用户。机构(例如,餐馆、商店、建筑物)吸引用户的注意。用户转向并注视机构的标牌或徽标,如图95A所示。AR系统9501检测出现在用户视场中的标牌或徽标,以确定元数据或其它信息是否可用。如果元数据或其它信息可用,则AR系统向用户呈现指示元数据或其它信息可用的提示。例如,AR系统可产生至少在标牌或徽标附近的视觉效果(例如,高亮、晕圈、字幕、颜色)。在说明性实施例中,紧接标牌呈现指示元数据可用的虚拟“+”符号9532。

如图95B所示,用户可选择虚拟图标9532以查看与该机构(例如,餐馆、商店、建筑物)相关联的元数据或其它信息,标牌或徽标与该机构相关联。例如,用户可做出姿势,例如朝向标牌或徽标做出指向姿势。

如图95C所示,响应于用户选择,AR系统9501通过虚拟内容框9534与机构(例如,餐馆、商店、建筑物)邻近关联地呈现信息和/或元数据的表示。例如,AR系统9501可在可由用户观看的另一虚拟文件夹9536中呈现菜单、照片和评论。

实际上,AR系统9501可与各种不同类型的物理和/或虚拟对象邻近关联地呈现信息和/或元数据的表示。例如,AR系统可在出现在用户的视场中的建筑物、人、车辆、道路、一件设备、解剖结构片段等上或附近呈现元数据。当AR系统在呈现关于物理对象的元数据时,AR系统首先捕获物理对象的图像,并处理图像(例如,对象识别器)以识别物理对象。

AR系统可确定与所识别的物理对象逻辑相关联的元数据。例如,AR系统可搜索建筑物的名称和位置、建筑师、建造年份、高度、照片、楼层数量、兴趣点、可用设施、运行时间。还例如,AR系统可为餐馆找到菜单、评论者的评论、朋友的评论、照片、优惠券等。还例如,AR系统可为剧院、电影或其它制作找到节目时间、门票信息、评论者的评论、朋友的评论、优惠券等。此外,例如,AR系统可找到人的姓名、职业和/或职称、与该人的关系、诸如配偶的姓名、孩子姓名、生日、照片、喜欢的食物或个人的其他偏好的个人细节。

元数据可被定义针对整个用户群体与对象(例如,无生命的对象或人)逻辑地相关联或者可针对单个用户或一组用户(例如,同事)是特定的。AR系统可允许用户选择与其他用户共享什么元数据或其它信息,以标识其他用户可访问哪些元数据或其它信息。例如,用户可定义与物理位置(例如,地理坐标、建筑物)或人相关的元数据或其它信息的集合。该用户可定义被授权或被提供特权以访问元数据或其它信息的一组用户(例如,用户群体的子集)。授权或特权可被设置成各种等级,例如只读访问、写访问、修改访问和/或删除访问。

当用户处于一位置或查看用户具有授权或特权以至少读取或以其它方式访问与位置或对象相关联的元数据的信息的对象时,AR系统向用户提供指示元数据或其它信息的可用性的提示。例如,个人AR系统可在用户的视场中呈现所定义的视觉效果,以便至少出现在元数据或其它信息可用的对象或人附近。AR系统可例如呈现看起来发光的线。响应于触发,例如姿势或语音命令,AR系统在用户的视场中呈现元数据或其它信息。

图95D示出了在背景中具有避难所和建筑物的公共汽车站处的AR系统9501的用户。在说明性实施例中,AR系统9501可基于视觉信息和/或附加信息(例如,GPS定位信息、罗盘信息、无线网络信息)来检测用户的位置。例如,对象识别器可识别存在于室外环境,例如避难所或建筑物中的各种物理对象。AR系统查找具有匹配物理对象的位置。如前所述,AR系统可在评估或确定物理位置时使用信息的地形图(例如,可用无线网络的身份和/或信号强度、GPS定位信息)。

AR系统可检测在用户视场中的避难所的外观,并检测足够长的暂停以确定用户正在注视避难所或避难所上的某物。作为响应,AR系统可呈现适当的或对应的虚拟内容。例如,AR系统可在用户的视场中呈现虚拟内容,使得虚拟内容看起来在避难所的一或多个表面上或从避难所的一或多个表面延伸。另选地,虚拟内容可被呈现为出现在其它表面(例如,人行道)上或者甚至看起来漂浮在空中。

AR系统可在公共汽车站识别出公共汽车站被用户经常使用。作为响应,AR系统可在用户等待他们的公共交通(例如,公共汽车、火车)或其它交通工具(例如,出租车、飞机)时呈现用户通常使用的第一组虚拟内容9538。例如,AR系统可呈现社交网络用户界面(例如,等)。在另一实例中,AR系统可响应于传入消息(例如,)向用户的视场呈现提示。

而且,例如,AR系统可呈现阅读材料(例如,报纸、杂志、书)或其它媒体(例如,新闻、电视节目、电影、视频、游戏)。作为另一示例,AR系统可呈现关于交通工具的信息(例如,直到公共汽车到达的时间和/或下一公共汽车的当前位置)。

在另一实施例中,AR系统可将公共汽车站识别为用户不经常使用的公共汽车站。作为响应,AR系统除此以外或另选地呈现当等待公共交通(例如,公共汽车、火车)或其它交通工具(例如,出租车、飞机)时用户通常喜欢的第二组虚拟内容9540。例如,AR系统可呈现路线图、时间表、当前路线信息、接近行驶时间和/或替代行驶选项的虚拟表示。

图95E示出了AR系统9501的用户在公共汽车站玩游戏。如图95E所示,AR系统9501的用户可在等待公共汽车的同时玩虚拟游戏9542。

在说明性实施例中,AR系统呈现出现在用户的视场中的游戏。与传统的2D游戏相比,该3D游戏的部分现实地看起来在深度上与用户间隔开。例如,目标(例如,由猪守卫的堡垒)可看起来位于距离用户几英尺或甚至几米远的街道中。用户可使用图腾作为发射结构(例如,弹弓),其可为无生命对象或者可为用户自己的手。因此,用户在等待公共汽车时娱乐。

图96A-96D示出了根据另一说明性实施例的在物理厨房中与由AR系统9601以连续间隔呈现的虚拟内容交互的AR系统9601的用户。

AR系统9601例如基于视觉信息和/或附加信息(例如,GPS定位信息、罗盘信息、无线网络信息)来检测用户的位置。例如,对象识别器可识别在厨房环境中存在的各种物理对象,例如墙壁、天花板、地板、柜台、橱柜、家用电器等。AR系统找到具有匹配的物理对象的位置。如前所述,AR系统可在评估或确定物理位置时使用信息的地形图(例如,可用无线网络的身份和/或信号强度、GPS定位信息)。

如图96A所示,响应于识别出用户是例如在厨房中,AR系统9601可呈现适当的或对应的虚拟内容。例如,AR系统可在用户的视场中呈现虚拟内容9632,使得虚拟内容9632看起来在一或多个表面(例如,厨房的墙壁、台面、后挡板、家用电器等)上或从其延伸。虚拟内容甚至可被呈现在冰箱或橱柜的门的外表面上,其基于最近捕获的冰箱或橱柜的内部的图像提供冰箱或橱柜的预期当前内容的指示(例如,列表、图像)。虚拟内容甚至可被呈现以便看起来在封闭体积的范围内,例如冰箱或橱柜的内部。

AR系统9601可呈现包括配方类型的类别的虚拟食谱用户界面,以便用户例如经由姿势选择。AR系统可在用户的视场中呈现一组食物图像,例如看起来好像被映射到厨房的墙壁(例如,风格墙)。AR系统可呈现用户的朋友的各种虚拟简档9634,例如看起来被映射到柜台顶部,并且向用户警告朋友的任何食物过敏或饮食限制或偏好。图96A还示出了可被用于与AR系统交互的图腾9636,并且其在所有给定时间与用户“携带”一组虚拟内容。因此,厨房的侧壁可被填充有虚拟社交媒体9638,而柜台可被填充有食谱等。

如图96B所示,用户可使用虚拟食谱查找器用户界面9640来通过虚拟搜索框9642使用各种参数、标准或过滤器来搜索食谱。例如,用户可搜索无麸质开胃菜食谱。

如图96C所示,虚拟食谱查找器9640的用户界面虚拟地呈现搜索匹配某些标准(例如,无谷蛋白和开胃菜)的食谱的各种结果9644。用户界面可具有一或多个用户可选图标,其选择允许用户滚动浏览搜索结果。用户可选择在所呈现的搜索结果9644的任何期望的方向上滚动。

如果不确定要使用什么食谱,则用户可使用虚拟界面来联系另一用户。例如,用户可例如通过从用户的一组联系人(例如,列表)中选择适当或相应的条目(例如,姓名、图片、图标)来选择她的母亲来联系。用户可经由适当的姿势,或者另选地经由语音或口头命令来选择。AR系统检测姿势或语音或口头命令,并且作为响应尝试联系其他用户(例如,母亲)。

如图96D所示,社交网络应用的用户界面产生指示响应联系尝试的所选联系人的提示。例如,AR系统可在用户的视场中呈现指示联系人做出响应的提示。例如,AR系统可在视觉上强调联系人集合中的相应姓名、图片或图标。除此之外或另选地,AR系统可产生听觉警告或通知。

作为响应,用户可接受与联系人或其他用户(例如,母亲)建立通信对话的联系尝试。例如,用户可做出适当姿势,AR系统检测到该姿势,并且通过建立通信对话来响应。例如,AR系统可使用AR装置9603将另一用户(例如,母亲)的虚拟表示9646呈现到第一用户的视场中。该表示可采取许多形式,例如简单的漫画表示或在三维中现实地表示另一个人的复杂光场。该表示可被呈现为看起来好像他们站在或坐在第一用户的柜台上。同样,其他用户可查看第一用户的表示。

这两个用户可以彼此交互,并且与共享的虚拟内容交互,好像它们都存在于相同的物理空间中。AR系统可有利地采用可传递世界模型来实现用户体验,如上面详细论述的。

图97A-97F示出根据另一说明性实施例的在家中的起居室中佩戴AR系统9701的用户,其与由AR系统以连续间隔呈现的虚拟内容交互。

如图97A所示,响应于识别出用户是例如在他们自己的起居室和/或识别出各种客人,AR系统9701可呈现适当的或对应的虚拟内容。除此之外或另选地,AR系统可响应于安排的事件,例如用户已经为其注册或购买了馈送或者票以便参加的直播或录制的音乐会。

例如,AR系统可在用户的视场中呈现虚拟内容9732,使得虚拟内容看起来在一或多个表面(例如,墙壁、天花板、地板等)上或者在该物理空间的体积内的其它地方。如果客人在场,客人佩戴的个人AR系统可在客人的各自视场内呈现虚拟内容。虚拟内容9732可基于个人的当前位置和/或取向来向每个人的AR系统呈现,以从相应用户的角度呈现虚拟内容。

同样如图97A所示,用户可例如使用虚拟用户界面9736来浏览一或多个音乐库,例如共享音乐库,例如以准备用户正在主持的晚宴。用户可通过例如将用户的喜爱歌曲和/或艺术家和/或专辑的虚拟表示9734(例如,图标、标题)拖放到个人虚拟节拍音乐室中来选择歌曲或音乐作品,以产生招待用户客人的完美氛围。

在一些实施方案中,用户可购买票或出席音乐、音乐会、表演或其它事件的权利。音乐、音乐会/表演或其它事件可为现场的或者可被预先录制。如图97A所示,AR系统可将音乐会、演出或其它事件作为被映射到用户的物理空间上的虚拟空间。AR系统可使用可传递世界模型来实现这一点。AR系统可例如将场所的可传递世界模型传递到由各个用户佩戴的个人AR系统。初始可传递世界模型可包括表示整个场所的信息,包括细节。随后的可传递世界模型可仅反映来自先前可传递世界模型的变化。

可在标准的双声道立体声、5.1或7.1环绕声或3D空间声音(例如,声波移相器)中提供音频或声音。音频或声音可由个人扬声器或者通过同时向两个或更多个用户提供声音的共享扬声器来传递。个人扬声器可采取耳塞、在耳机中或在耳机上的形式。这些可被集成到提供虚拟图像(例如,4D光场)的头戴式部件中。

共享扬声器可采取书架扬声器、落地式扬声器、监视器扬声器、参考扬声器(reference speaker)或其它音频换能器的形式。值得注意的是,使用个人扬声器传送逼真的声场将更容易,因为AR系统在此布置中不必考虑不同的聆听者位置。在另一实施例中,AR系统可基于用户应该在的数字环境来传递逼真的声音/音频。

例如,AR系统可模拟音频控制,使得它们看起来源自特定源或空间。例如,从小的封闭房间发出的声音可能与从歌剧院发出的声音有很大不同。如上所述,声波前可被成功地用于产生适当的声音质量以伴随AR系统的视觉。

AR系统可以呈现虚拟内容以使得用户感知到在他们自己的位置(例如,起居室)中所发生的表演。另选地,AR系统可以例如从任何给定的有利位置呈现虚拟内容,以使得用户感知自己在参加在场馆中发生的演出,甚至具有观看他们周围的人群的能力。用户可例如选择场馆中的任何期望的有利位置,包括前排、舞台或后台。

在一些实施方案中,正在进行现场表演的艺术家可具有相应的个人AR系统,其允许艺术家感知由远程参加演出的各种用户组成的观众。来自各个观众成员的图像和/或声音可经由相应观众成员所佩戴的个人AR系统来捕获。这可允许表演者和观众之间的交互,包括例如问答会话。4D光场的使用提供了否则难以使用更传统的方法来实现的更逼真体验。

图97B示出了在物理起居室中具有AR系统9701的一对客人。主人用户9720决定拍摄客人的照片。主人用户做出对应的姿势(例如,在两只手上成直角的食指和拇指),其相对地保持以形成矩形或框。主人用户自己的个人AR系统检测该姿势、解译该姿势,并且作为响应捕获图像,例如经由形成由主人用户佩戴的个人AR系统的一部分的一或多个面向外部的摄像机。该姿势还用作向客人指示他们的照片被拍摄,从而保护隐私。

一旦用户已拍摄了照片(例如,数字照片),用户可快速编辑照片(例如,裁剪、添加字幕、添加过滤器)并将照片张贴到社交网络。所有这些都是经由AR系统使用姿势来执行的。在相关实施例中,一旦用户拍摄了照片,则照片的虚拟副本可被固定到物理空间中。

例如,用户可将虚拟照片固定在房间中的物理墙壁上,或者甚至可将虚拟图片固定到由AR系统产生的虚拟墙壁中。应理解,在一些实施例中,照片可为2D形式,或者甚至是3D照片。因此,AR系统不断地获取3D信息,其可在以后的时间被检索和重新使用。例如,文本消息或任何物品可基于用户的偏好以2D或3D出现。用户可使用姿势来操控虚拟内容,如下面将进一步论述的,并且可简单地使用姿势或任何其它用户输入来将内容带向他或者带离他。

图97C示出了在物理起居室中享受照片,例如在聚会期间捕获的照片的主人用户和客人。如图所示,虚拟照片9722已被固定到起居室的物理墙壁上。AR系统9701可呈现照片,例如使得每个用户感知在墙上的照片。用户可以经由适当的姿势来缩放图片。

聚会墙让别人体验或重新体验聚会以及参加聚会的人。聚会可被捕获为整个聚会的全光场体验。这允许回顾和重温不是作为视频而是作为完整的观点体验的聚会。换句话说,用户将能够在房间四处漫游,看到人们路过用户,并且在事实之后从基本上任何有利的位置观看聚会。

图97D示出了在物理起居室中设置虚拟显示器、监视器或屏幕以享受媒体内容,例如电影的主人用户和客人。

如图97D所示,主人用户可做出姿势以产生虚拟显示器9724、监视器或屏幕,并且以其它方式指示或命令AR系统设置以显示媒体内容,例如电影、电视类节目或视频。具体地,主人用户使用双手手势9726来构造一个区域,例如面向在其上出现应呈现媒体内容的墙壁。主人用户可以以直角展开食指和拇指以形成L形,以勾勒出虚拟显示器9724、监视器或屏幕的期望周界。

主人用户可通过另一姿势来调整虚拟显示器、监视器或屏幕9724的尺寸。值得注意的是,使用指向用户眼睛的视网膜的4D光场允许虚拟显示器、监视器或屏幕的大小几乎不受限制,因为实际上对缩放没有机械限制,唯一可察觉的限制是人眼的分辨率。

此外,应注意到,主人用户的个人AR系统(例如,由主人用户佩戴)可与访客用户的个人AR系统协调,使得访客用户可以共享主人用户的体验。因此,主人用户的个人AR系统可检测主人用户的姿势、定义虚拟显示器、监视器或屏幕,并且甚至识别用户所选的用于呈现的媒体内容。主人用户的个人AR系统可将该信息直接或间接地传送至访客用户的个人AR系统。在一或多个实施例中,这可通过可传递世界模型来实现。

图97E示出了在物理起居室中设置虚拟显示器、监视器或屏幕以享受媒体内容,例如电影的主人用户和客人。

与图97D相反,主人用户做出另一姿势9728,其用指向的食指绘制对角线,以指示期望的虚拟显示器、监视器或屏幕的位置和大小。

在图97F中,用户可进一步选择虚拟显示器、监视器或屏幕9724的特性。例如,用户可做出姿势,通过虚拟图标9730来选择例如边界、边框或框架的美学特征。用户也可做姿势来选择操作特性,例如与图像再现和/或质量相关的特性。例如,用户可从各种传统物理监视器或电视机中进行选择。AR系统可以复制传统监视器或电视机(例如,1967年的彩色电视机)的图片特性。

因此,主人用户可从品牌和型号以及年份的列表中选择监视器或电视,以复制具有相同的物理机柜外观、相同的视觉或图片特性外观的历史上精确的装置,以及甚至复制较旧的声音。用户可以在当年的逼真的监视器或电视机上体验较旧的节目或媒体内容。用户可在较旧的监视器或电视机上体验新的节目或媒体内容。

AR系统可产生忠实地复制顶级当前电视或监视器或甚至未来电视或监视器的虚拟显示器、监视器或电视9724。这些类型的实施例基本上消除了购买物理显示系统(例如,计算机、电视等)的任何理由。

事实上,多个用户可使用多个电视,其中,每个电视屏幕显示不同的内容。AR系统也可呈现虚拟内容以匹配电影投影仪的图片特性,无论是经典的当年装置还是最新数字电影投影仪。例如,AR系统可呈现虚拟内容以复制大规模电影投影仪和屏幕的一或多个特征。根据可用的扬声器配置,AR系统甚至可复制电影院的声音系统。

AR系统可呈现复制坐在剧院中的虚拟内容。例如,AR系统可呈现与剧院的构造匹配或非常类似的虚拟内容。因此,用户可例如从经典剧院的列表中选择要复制的剧院。AR系统甚至可产生至少部分环绕用户的观众。虚拟内容可例如被锁定到身体坐标系。因此,当用户转动或倾斜他们的头部时,用户可看到剧院的不同部分(例如,墙壁、阳台)的虚拟表示以及看起来坐在用户周围的人的虚拟表示。用户甚至可选择就座位置或任何其它有利位置。

网站或应用商店可被设置为允许用户设计和共享过滤器或其它软件,其复制经典电视、监视器、投影仪和屏幕以及各种演出场所,诸如电影院、音乐厅等的外观和感觉。

因此,用户可选择特定的剧院、剧院中的位置、特定的投影仪类型和/或声音系统类型。所有这些特征可简单地在用户的AR系统上呈现。例如,用户可能希望在60年代初的老式电视机上观看特定的老式电视节目。用户可体验坐在虚拟剧院中的小插曲,看到坐在用户周围和/或在用户前面的那些人。以身体为中心的视场可允许用户在用户转身时看到其他人。AR系统可以重现或复制剧院体验。类似地,用户可以选择场馆中的特定音乐会场地、特定座位或位置(例如,舞台上、后台)。在一或多个实施例中,场馆可以在用户之间共享。

图97G示出了根据一个说明性实施例的多个用户,每个用户持有相应物理射线枪图腾9750,并与由AR系统呈现的虚拟用户界面9752交互以定制他们的武器。

在玩之前,每个用户可为他们各自的射线枪图腾选择一或多个虚拟定制部件。用户可经由虚拟定制用户界面选择定制,该虚拟定制用户界面通过它们各自的个人AR系统呈现给每个用户的视场。例如,用户可例如通过做姿势或通过语音命令来选择定制附件(例如,望远镜、夜视镜、激光瞄准镜、鳍、灯)。

每个用户的相应个人AR系统可检测用户的姿势或选择。不同于添加额外的物理部件,个人AR系统(例如,身体和/或头戴式部件)可呈现定制每个用户或玩家的视场中的每个射线枪的虚拟内容。因此,各种个人AR系统可例如通过利用可传递世界模型来直接或间接地交换信息。

值得注意的是,物理射线枪图腾9750可为例如实际上可能不起作用的简单装置。相反,它们仅仅是可通过关于物理对象递送的虚拟内容来给予生命的物理对象。与先前描述的图腾一样,AR系统例如经由每个用户的个人增强现实装置(例如,头戴式部件)的面向外部的摄像机捕获的图像信息来检测用户交互。

同样,AR系统可在用户的视场中呈现爆破或其它视觉和/或听觉效果,以复制射线枪的射击。例如,由第一用户佩戴的第一个体AR装置可检测瞄准第一用户携带的第一射线枪图腾的第一用户并检测第一用户激活扳机。作为响应,第一个人AR装置对第一用户的视场呈现虚拟爆炸效果和/或对第一用户的耳朵呈现出似乎起源于第一射线枪图腾的合适声音。

第一个人AR装置将可传递的世界模型直接或间接地传递到分别由第二和第三用户佩戴的第二和第三个人AR系统。这使得第二和第三个人AR系统在第二和第三用户的视场中呈现虚拟爆炸视觉效果,以便其似乎源自第一射线枪图腾。第二和第三个人AR系统也可向第二和第三用户的耳朵呈现虚拟爆炸听觉或声音效果,以便其似乎源自第一射线枪图腾。

虽然用通常的枪形图腾示出,但是该方法可以与包括无生命图腾和甚至动画化图腾的其它图腾一起使用。例如,用户可以选择身体的“武器化”部分(例如,手)。例如,用户可选择将虚拟火箭放置在他们的手上和/或使虚拟火球从他们的指尖发出。当然使AR系统呈现许多其它虚拟效果是可能的。

图97H示出了根据一个说明性实施例的AR系统9701的多个用户,每个用户持有具有虚拟定制的相应物理射线枪图腾9750,并利用经由AR系统呈现的虚拟内容来玩游戏。

如图97H所示,用户可玩与来自另一世界的虚拟外星人或机器人战斗的游戏。个人AR系统在相应用户的视场中呈现虚拟外星人。如上所述,相应个人AR系统可跟踪相应用户的瞄准和发射交互,并将必要的信息中继到个人AR系统中的其它AR系统。用户可在游戏中合作,或者可相互对抗。各个AR系统可在用户的视场中呈现虚拟记分板。游戏的分数或甚至部分可通过社交媒体网络共享。

图98A-98C示出了根据另一说明性实施例的在家的起居室中的用户,其与由AR系统以连续间隔呈现的虚拟内容交互。

如图98A所示,响应于识别出用户例如在她自己的起居室中,AR系统可呈现适当的或对应的虚拟内容。例如,用户可以通过观看她的个人AR系统9801在她的视场中呈现的虚拟电视9814上的电视节目,其看起来就像在起居室的物理墙壁上。个人AR系统9801也可向第二虚拟屏幕9816呈现相关媒体内容(例如,投票菜单、参赛者排名或地位)以向用户提供第二屏幕体验。个人AR系统9801可进一步向第三屏幕(未示出)呈现附加内容,例如社交媒体内容或电子消息或邮件。

用户也可例如查看或购买艺术作品。例如,个人AR系统可向图腾9812呈现艺术品观看或购物用户界面。如前所述,图腾9812可为任何物理对象(例如,金属片或木材)。图腾可例如在平面尺寸方面类似于平板计算装置,但是可以具有小得多的厚度,因为不需要板上电子元件。

还如前所述,个人AR系统9801检测用户与图腾的交互,例如手指姿势,并产生相应的输入。个人AR系统9801可进一步产生虚拟框9818以在其将出现在用户的起居室的墙壁上时观看艺术品。用户可使用简单的姿势来控制框架的尺寸,诸如先前描述的用于建立虚拟显示器、监视器或屏幕的尺寸的姿势。用户也可例如从一组框架图像中选择一框架设计。因此,用户能够看到各种艺术品如何适合房子的装饰。个人AR系统9801甚至可如虚拟框9820所示在接近所选艺术品和框架处呈现定价信息。

如图98B所示,响应于看到用户喜欢的车辆的广告9822,用户做出姿势以执行对特定车辆的研究。

作为响应,个人AR系统9801可用相关媒体内容(例如,车辆规格、来自专家的车辆评论、来自朋友的车辆评论、最近成本趋势、修理趋势、召回通知)来重新呈现第二虚拟屏幕。

还如图98B所示,个人AR系统9801可例如在用户的视场中呈现用户的虚拟空间的高级虚拟菜单9824,以使得虚拟菜单看起来好像在用户的起居室的物理墙壁上。用户可使用简单的姿势与菜单交互以与个人AR系统监视器的虚拟空间交互。虚拟菜单可响应于所定义的姿势而可滚动。

还如图98B所示,用户可做出姿势(例如,抓握和拉动姿势)以从虚拟电视或虚拟监视器拉出车辆的虚拟3D模型。

如图99C所示,响应于用户抓握和拉动姿势(图98B),AR系统可向用户的视场呈现虚拟三维模型9840,其例如位于用户和虚拟电视或虚拟监视器之间。当使用光场时,用户甚至可能够在车辆周围行走或旋转车辆的三维模型,以便从各种不同的视点或视角检查车辆。

甚至可以呈现车辆的内部,好像用户坐在车辆中一样。AR系统可以以任何用户所选的颜色呈现车辆。AR系统也可在另一虚拟屏幕9842中呈现经销商信息、颜色选择和其它车辆规格,如图98C所示。

诸如检索三维模型的能力的虚拟增强可与广播内容或节目同步或由广播内容或节目编排触发。另选地,视觉增强可基于用户选择。

用户可将车辆和/或车辆相关研究的三维模型9840保存到车辆虚拟房间或虚拟空间。例如,用户可朝向虚拟菜单的适当文件夹做出姿势(例如,挥动或反手扫掠动作)。AR系统9801可识别姿势,并且将车辆相关信息保存在与车辆虚拟房间或虚拟空间相关联的数据结构中,以供以后重新调用。

图98D示出了根据另一说明性实施例的AR系统9801在车道中的用户,其与由AR系统9801呈现的虚拟内容9850交互。

用户可步出到车道中,看看车辆将如何看起来停在用户的家前面。AR系统向用户的视场呈现车辆9850的三维视图,以使车辆看起来位于车道中。AR系统可通过姿势自动缩放虚拟车辆的外观,如图98D所示。

在一或多个实施例中,AR系统可使用单独的操作系统,其可在某种程度上类似于游戏引擎。虽然传统的游戏引擎可为一些系统工作,但是其它系统可强加额外的要求,使得传统游戏引擎的用户变得困难。在一或多个实施例中,操作系统可被分成两种不同的模式和相应的解决方案和/或架构,以满足两种模式的要求。

与传统的计算机系统一样,操作系统(OS)以两种不同的模式操作:i)模态,和ii)非模态。非模态模式类似于典型的计算机桌面,其中,多个应用同时运行,使得用户可以上网、即时消息(IM)并同时检查电子邮件。

模态模式类似于典型的视频游戏,其中,所有应用关闭(或进入后台)并且游戏完全接管系统。许多游戏适合此模式,而传统的计算功能将需要非模态方法。

为了实现这一点,OS可被分成两个部分:(a)子系统,和(b)窗口化界面。这在某些方面与现代操作系统的工作方式类似。例如,在特定操作系统下,内核和许多应用一起工作以提供子系统,但是其它操作系统可向用户提供传统的桌面、图标和窗口。

类似地,OS同样可被划分成一种类型的操作系统的子系统(例如,用于基本操作的Linux内核)和用于另一操作系统(例如,系统)的定制应用(例如,PACER、陀螺仪、GPS、可传递世界建模等)。这两种模式仅适用于系统,因为子系统必须连续运行。

然而,这两种模式也可能向系统引入附加的复杂性。虽然非模态系统可提供传统的计算特征,但它明显以非传统的方式操作。它的3D性质以及与非平面对象(被放在用户视野内的3D对象)结合的平面(屏幕)的组合引入了关于碰撞、重力和深度的问题,现代游戏引擎共享的许多特征。为此,系统的“操作系统”部分可为定制设计的。

最简单的非模态应用为“表面”。在3D环境中呈现并运行传统计算工具(例如,Web浏览器等)的简单虚拟2D平面表面。可以预期,大多数用户将在以身体为中心的取向(例如,左边的馈送,右边的)和以世界为中心的取向(例如,粘在壁炉上方墙上的)运行具有几个表面的系统。

下一个非模态应用步骤为“通知器”。这些例如可为用3D动画增强以通知用户某些动作的2D平面表面。例如,电子邮件可能仍然为传统的2D平面系统,但是通知新邮件可以例如经由飞过并在表面上丢下信的鸟来实现,在消息被“接收”时,其具有与池塘中的水滴的类似效果。

另一非模态应用步骤涉及完整的3D应用。并不是所有的应用可能都适合该空间,并且最初的产品将受到限制。虚拟宠物是完整的3D、非模态应用的完美示例:一整天跟随用户的完整3D呈现和动画化“生物”。非模态应用也可为来自现有平台的“继承”应用的基础。

可预计,大多数AR系统将是全模态应用。例如,当启动游戏时(例如,用户使用射线枪图腾来战斗被呈现到其各自视场中的虚拟入侵者),使用模态应用。启动时,所有用户的表面和虚拟内容将消失,整个视场将被游戏中的对象和物品替换。在离开游戏时,可恢复用户的各个虚拟表面和虚拟内容。

模态系统可依赖于游戏引擎。一些游戏可使用更高端的游戏引擎,而其它游戏需要更简单的游戏引擎。每个游戏可选择适合于他们的设计选择和公司指导的游戏引擎。

在一或多个实施例中,可利用模态系统中的各种小工具的虚拟集合。在开始时,用户定义“游戏区域”(可能是桌面或楼层空间),然后开始放置虚拟“玩具”。最初,虚拟玩具可为仅具有基本物理学原理(例如,重力、碰撞检测)的非常基本的对象(例如,球、棒、块)。

然后,用户可以进展到更高级的虚拟玩具,例如经由虚拟商店在游戏内购买的虚拟玩具或作为与其它游戏(例如玩具兵大战)的捆绑附件。这些更先进的虚拟玩具可能带来自己的动画或特殊属性。每个虚拟玩具可具有基本动画和行为以允许与其它对象交互。使用“标签”和“属性”的系统,在使用或玩期间可能产生意想不到的行为。

例如,用户可在桌子上放下简单的虚拟卡通人物。虚拟卡通人物可立即进入“巡逻模式”。不久之后,虚拟卡通人物玩具识别类似地标记的对象并开始协调队形。类似地,可使用虚拟集合将其它此类虚拟角色带到桌子上。

这种方法为系统带来了几个有趣的方面。除了用户具体规定的规则之外,可能存在很少或根本没有规则。因此,虚拟集合被设计为真实的游戏区。

在一个实施例中,游戏可被宣传为与虚拟集合“兼容”。此外,可将元素直接出售(例如,通过微交易)给他人。这也可能为朝向引入用户将真实和虚拟对象合并成连贯单一体验的第一步。如果物理桌子可被精确地和动态地映射,则在一或多个实施例中,任何物理对象可以变成虚拟角色。

虚拟集合游戏可由系统的任何用户使用,但是他们可能不会简单地为体验购买它。这是因为虚拟集合不是独立的游戏。人们可购买系统以玩一组兼容游戏(例如,具有大致公共的UI、桌面交互范例并且以适当格式提供游戏内资产的游戏)。

如图99所示,各种不同类型的游戏和游戏标题适于通过虚拟游戏集合9902变为兼容游戏。例如,可包括具有新的“数字”格式的任何经典的棋盘游戏9914。还例如,可包括塔防游戏9904(例如,在桌子上布置资产,以试图阻止迎面而来的大群敌人)。又如,可包括“上帝”策略游戏9906。又如,甚至可包括流行的运动游戏9908(橄榄球、足球、棒球等)。其它冒险游戏9910也可被包含在虚拟游戏集合中。

兼容的桌面游戏类别在战略上很重要。外部开发人员可以使用现有的游戏引擎来做出令人信服的游戏,该游戏引擎很可能需要被修改以接受新的输入(例如,手/眼睛/图腾跟踪)并导入AR系统。

玩具盒

AR系统可实现具有可互操作组件的各种游戏。游戏可例如被设计用于桌面使用。每个游戏可基本上独立于其它游戏,但是一构造允许在游戏之间共享元素或资产,即使那些元素或资产可能没有被特别地设计到元素或资产被共享的游戏中。因此,第一游戏可能不具有在第二游戏中明确定义和使用的元素或资产的明确定义。然而,当来自第二游戏的元素或资产出乎意料地出现在第一游戏中时,第一游戏能够基于应用所定义的一组规则和与该元素相关联的一或多个特征来容纳该元素或资产。

在一或多个实施例中,可实现虚拟玩具集合界面,其中,每个安装游戏(与虚拟玩具集合界面兼容)的元素或资产在一个集成位置可用。该界面可被与界面兼容的所有游戏理解。

第一游戏设计者可利用第一组元素或资产来定义第一游戏。第二游戏设计者可利用不同于第一组元素或资产的第二组元素或资产来定义第二游戏。第二设计者可与第一设计者完全无关,并且可能从未见过或甚至听过第一游戏,并且可能不知道第一游戏的元素或资产。然而,每个游戏设计者可利用将物理学理解为它们的基线交互的元素或资产作出相应的游戏。这使得元素或资产在不同游戏之间可互换。例如,第一游戏可包括能够移动、旋转炮塔和发射炮弹的坦克角色。第二游戏可包括化装娃娃角色(例如,芭比娃娃),并且可能没有与坦克角色相关联的坦克或属性的明确定义。然后,用户可使得来自第一游戏的坦克角色访问第二游戏。

两个游戏可包括基本特征或属性(例如,游戏空间的本体)。如果第一和第二游戏两者具有共同的构造(例如,理解物理学、物理学引擎),则第二游戏可以至少在某种程度上处理从第一游戏中引入角色(例如坦克)。因此,来自第一游戏的角色(例如,坦克)可以与来自第二游戏的角色(例如,芭比娃娃)交互。例如,来自第一游戏的角色(例如,坦克)可经由消息传递射击第二游戏中角色(例如,芭比娃娃)。第二游戏的角色(例如,芭比娃娃)不知道如何接收或不理解消息(例如,“你被枪杀”)。然而,两个游戏都有共同的基本物理学。因此,当第一角色(例如,坦克)不能射击第二角色(例如,芭比娃娃)时,第一角色(例如,坦克)可以碾压第二角色(例如,芭比娃娃)。世界被用作通信机制。

AR系统可依赖于可传递世界模型以进行通信。在上面的示例中,第一和第二角色不需要共同的语言,因为它们具有共同的物理学。可以想到从一个游戏中取球,并且使用来自另一游戏的玩偶作为击球的球棒,因为两个对象碰撞的物理学被定义。

因此,如果物理学是共享的,则游戏或应用不需要属于每者的虚拟对象之间的通信协议。再者,如果坦克撞上玩偶,则玩偶被碾压,即使被坦克碾压没有在第二个游戏或者第一个游戏中明确定义。

AR系统中的各种级别是真实世界的映射。用户界面主要基于对手、眼睛和/或图腾的跟踪。跟踪用户的手包括跟踪姿势。跟踪图腾使用包括跟踪图腾的姿态以及用户的手或手指与图腾的交互。

应理解,可以通过将个人AR系统通信地连接(系留或无线地)到非便携式设备(例如,台式个人计算机、AR服务器等)来增强个人AR系统的能力,以提高性能。用户佩戴的部件可向AR装置(例如,台式个人计算机、AR服务器等)传递信息,这可提供额外的计算能力。例如,可能期望额外的计算能力,例如用于呈现、运行更多的对象识别器、缓存更多的云数据和/或呈现额外的着色器。

其它应用

在一或多个实施例中,AR系统可允许用户与数字人进行交互。例如,用户可走进废弃的仓库,但是空间可能变得填充数字人,使得它类似于银行。用户可走到可能能够看着用户的眼睛并与他/她交互的柜员。因为系统跟踪用户的眼睛,所以AR系统可以呈现数字人,使得数字人与用户进行眼睛接触。

或者,在相关实施例中,眼睛跟踪技术也可用在其它应用中。例如,如果用户走向售货亭,则售货亭可能配备有能够确定用户的眼睛正在关注什么的眼睛跟踪器。基于该信息,数字人或者在亭处的人的视频表示(例如,亭处的视频)在与用户交互时可以看着用户的眼睛。

在另一实施例中,表演者能够产生他或她自己的虚拟表示,使得表演者的数字版本可出现在用户的物理空间中。例如,音乐家可简单地在记录表演的绿色房间播放音乐,并且该演出可被广播到多个用户的起居室。然而,系统可仅使用改变数据来广播什么是用户的表演的变化,而不是在表演者正在表演时重新呈现表演者的每个方面。因此,可在多个用户的起居室中呈现所执行的虚拟表示的非常精确的呈现。在另一改进中,具有用户的眼睛跟踪数据,可呈现数字人(在此情况下,表演者的虚拟表示),使得数字人与用户进行眼睛接触。因此,这可通过使虚拟表示/数字人直接与多个用户交互来改善用户体验。

在一或多个实施例中,AR系统可被用于教育目的。例如,可向孩子显示一系列教育虚拟内容。孩子可物理地触摸虚拟对象,或者在其它实施例中,孩子可在更长的时间段内简单地观看虚拟对象以解锁与对象相关的元数据。例如,孩子可在他/她的起居室里被各种海洋生物包围。基于用户输入,与虚拟对象相关的元数据可被适当地解锁。这提供了全新的教育模式,在于几乎任何空间都可转变为教育空间。如图89A-J的购物体验所示,甚至杂货店也可用作教育游乐场。

类似地,AR系统也可被用于广告应用中。例如,用户可在电视上看到特定的广告,或者可能看到他/她可能喜欢的在同伴脚上的一双鞋。基于用户输入(眼睛注视、触摸或任何其它输入),用户可被定向到公司的网页或可能正在销售该项目的另一卖家。例如,虚拟图标可自动地填充在用户的视场内,从而向用户提供各种购买相关选项。或者,在相关实施例中,物品可被简单地放置在“购物车”或类似的存储袋中,使得用户可以稍后结账该物品。

在相关实施例中,可设想不同类型的广告范例。例如,视觉印象(“点击”和直接购买(buy through))模型可被用于购买。例如,如果用户看到同伴脚上的一双鞋,并且采取去零售商的网站的步骤,并且至少将类似的一双鞋放在在线购物车中,则广告商可能通过推荐计划向该同伴付费。换句话说,AR系统通过眼睛跟踪技术知道用户已经看到了同伴的一双鞋,并且知道由于该交互用户已经意识到鞋(例如,即使同伴和用户不谈论该鞋)。该信息可被有利地利用,并且同伴可由广告商或零售商奖励。

或者,在另一实施例中,用户可向广告顾客出售他的印象、点击和购买。换句话说,广告商可选择从一组用户直接购买数据。因此,不是广告商必须发布广告并且随后监测用户行为,个体用户可简单地将他们的行为数据卖给广告商。这使得用户能够对基于个人偏好利用数据进行控制。

在又一实施例中,可实施收入共享程序,使得广告商与用户通过交换内容/数据共享其收益。例如,广告商可直接支付给用户以收集或接收通过AR系统收集的数据。

在又一实施方案中,AR系统可被用于个性化广告。因此,广告内容可被个性化,使得每个人看到具有他/她自己化身的广告,而不是看到在模特或名人上显示的图像或广告内容。例如,广告的特征可包括用户自己穿着产品(例如鞋),而不是看到名人的广告牌广告。这也可以是消费者对产品建模并且判断物品或产品对他们是否合意的一种方式。此外,个性化广告可能对用户更具吸引力,因为它是对每个用户的直接吸引力,并且AR系统可挖掘用户的个性特征以向他/她直接做广告。

在另一应用中,AR系统可被实现为父母引导应用,其可监测儿童对AR系统的使用,或者通常监测儿童的行为,即使父母没有在物理上接近孩子。AR系统可使用它的映射能力来检索空间的图像/视频,使得父母可以在任何时间在任何地方与孩子在一起。因此,即使儿童在学校或在公园,父母也能够产生他/她自己的化身来将自己植入到该空间中并在需要时观看孩子。

在另一实施例中,AR系统可允许用户离开虚拟对象以供其他用户在真实物理空间中发现自己(例如,图125J)。这可在用户努力在各种物理空间解锁虚拟对象的游戏设置(例如,寻宝游戏应用等)中实现。或者,类似地,用户可为稍后可能占据相同物理空间的朋友以虚拟内容的形式留下重要信息。在可选实施例中,用户可“锁定”虚拟内容,使得其仅可被可信源或朋友解锁。假定AR系统可基于唯一标识符或者基于用户的外观“识别”用户,AR系统仅可在被预期接收人“触摸”或激活时解锁虚拟内容或与虚拟内容相关的元数据,以确保隐私和安全。

在另一游戏应用中,一或多个用户能够在物理空间中播放他们喜欢的视频游戏。因此,AR系统不是在屏幕上播放视频游戏或移动游戏,而是可以以3D和以最适合于用户和物理位置的物理尺度呈现游戏。例如,AR系统可呈现虚拟砖以及可被用户物理地抓住并被投向虚拟砖的“鸟”,以获得点数并进展到下一级。这些游戏可在任何物理环境中玩。例如,纽约市可被变换为具有AR系统的多个用户的虚拟游乐场,这些用户使用物理对象和虚拟对象彼此交互。因此,AR系统可具有许多此类游戏应用。

在又一应用中,AR系统可被用于锻炼目的。AR系统可将锻炼转化为愉快的游戏。例如,AR系统可呈现可能看起来正在追逐用户的虚拟龙,以使得用户例如更快地跑。用户可在他的邻里跑步,并且AR系统可呈现使得跑步更愉快的虚拟内容。例如,锻炼应用可采取寻宝游戏的形式,用户必须在固定的时间段内到达,迫使用户更有效地跑步/锻炼。

在另一实施例中,AR系统可呈现其形式、形状或特性可基于用户的行为而改变的“植物”或任何其它虚拟内容。例如,AR系统可呈现当用户表现出“良好”行为时开花的植物,并且当用户表现不好时,则植物不开花。在具体示例中,当用户例如为好的男朋友时(例如,为女朋友购买花等),植物可能绽放,并且当用户整天没有打电话给他的女朋友时,植物可能枯萎。应理解,在其它实施例中,植物或其它对象可为注册到AR系统的机器视觉的物理对象或图腾,使得物理对象被系留到AR系统。因此,许多此类游戏应用可被用于使得用户体验更加有趣并且与AR系统和/或AR系统的其他用户交互。

在又一实施例中,AR系统可具有在健康保险领域中的应用。给定AR系统能够不断地监测用户的行为的能力,公司可能够基于他的行为来计量用户的健康,并且因此为个人计算保险费。这可作为健康行为的激励来驱使保险费用下降,因为公司可能看到用户是健康的并且对于保险目的来说是低风险的。另一方面,公司可基于该收集的数据来评估不健康的行为并且相应地以较高的费率对用户的保费进行定价。

类似地,AR系统可被用于计量公司的雇员的生产率。公司可收集关于雇员的工作习惯和生产力的数据,并且可基于观察到的生产率相应地向雇员提供激励或补偿。

在另一健康应用中,AR系统可在保健领域中实现,并且例如可在虚拟放射学中使用。例如,AR系统可呈现特定器官的虚拟模型,而不是简单地依赖于2D图像或MRI扫描,从而使得医生能够在3D空间中精确地确定肿瘤或感染位于何处(例如,图91A)。AR系统可使用MRI和CT扫描图像的组合,例如,以产生患者器官的精确虚拟模型。例如,系统可基于接收到的数据创建虚拟心脏,使得医生可以看到在心脏的3D空间内可能存在问题的位置。应理解,AR系统因此可在医疗保健和医院领域中具有许多应用,并且可帮助医生(例如,外科医生、放射科医生等)准确地可视化身体中的各种器官,以相应地诊断或治疗他们的患者。

在相关实施例中,AR系统可帮助改善医疗保健,因为医生可在他/她的处置下访问患者的所有病史。这可包括患者行为(例如,不一定包含在医疗记录中的信息)。因此,在一或多个实施例中,患者行为的历史可被适当地分类,并且呈现给医生/医疗技术人员,使得医生可以相应地治疗患者。例如,如果患者是无意识的,则医生可(基于用户的隐私控制)能够搜索在最近过去的用户行为的记录,以确定疾病的原因并相应地治疗患者。

因为AR系统具有高级的眼睛跟踪能力(例如,监测瞳孔和角膜的凝视跟踪),AR系统可检测眼睛运动中的某些图案(例如,语音的变化、瞳孔大小的快速变化等),或当患者发生癫痫时的视网膜的变化。AR系统然后可分析该图案,并且在每次用户癫痫发作时确定它是否是重复性模式。例如,所有发作患者可具有相似的眼睛图案或瞳孔大小的变化或其它类似症状。或者,当经历发作时,每个患者可具有不同的图案或眼睛运动/瞳孔大小变化等。在任一情况下,当配备有对于癫痫发作或已经历癫痫发作的个体患者特有的图案时,AR系统可用可治疗或预防癫痫发作的光信号或图案对用户的视网膜后面进行编程。

在一或多个实施例中,可向患者周期性地施用光疗程序,其可在用户具有癫痫发作时作为干扰或治疗。随着时间的推移,此治疗可减少或停止用户/患者中癫痫发作的发生。

例如,可知道特定的光图案(例如,频率、波长、颜色等)帮助减轻或以其它方式治疗或完全阻止癫痫发作。已经观察到,癫痫发作可能由某种类型的光引发;因此在一些情况下,传递到视网膜背面的光图案可能具有消除那种类型的光的效果的效果。因此,AR系统可被用于检测癫痫发作,并且也可被用于预防或治疗它们。在可选实施例中,基于从患者眼球运动收集的信息,AR系统可产生视网膜图,其可被用于通过视网膜光子波前对大脑的各个方面编程。

可存在使用被投射到视网膜中的光信号的其它应用。这种光疗法可进一步被用于心理应用,并巧妙地控制大脑信号以改变用户的想法或冲动。

在另一实施例中,AR系统可检测用户行为的模式并主动改善用户的健康。例如,AR系统的用户可能患有强迫症(OCD)。AR系统可监测用户的行为。当患者表现OCD的症状(例如,紧张的抽搐、数数、抓挠等)时,系统可自动地呈现用户的医生的虚拟图像,其可帮助用户平静下来。

在另一实施例中,AR系统可自动显示出对患者具有镇静效果的虚拟内容。或者,在另一实施例中,AR系统可被链接至药物递送系统,其可在患者表现出某种行为的任何时候立即施用处方药物。例如,如果用户在突发OCD发作期间伤害自己的身体,则链接到静脉内药物输送系统的AR系统可自动施用可能使患者瞌睡的药物,并因此阻止患者伤害自己。

在又一实施例中,如果用户分心或似乎不能专注于工作,则AR系统可帮助重新使用户专注于工作。这可帮助用户在工作中更有效率和生产力。因为AR系统不断地捕获图像和视频,所以AR系统可检测非生产性行为(例如,不相关的互联网浏览、低生产率等),并且可适当地呈现虚拟内容以帮助激励用户。

在一些实施例中,AR系统可被用于通过变形从另一个人的数据云提取的一组控制点来形成人类(例如,男人、女人、孩子等)的预先存在的通用模型。因此,AR系统可使用人身体的3D模型广义模型,而将另一个人的脸塑造到该3D模型中。此方法的可能的优点是在于,现有的装配(rigged)模型可具有不能通过人脸的简单扫描来捕获的许多元素(韧带、肌肉功能、细节等)。然而,简单扫描可提供关于用户脸部的足够的信息,以使广义模型在细节上类似于特定人。换句话说,AR系统可以从高度精确的3D模型受益,并且用从简单扫描捕获的必要细节来补充,以产生人的精确3D版本。

花园概况(植物)

为了信息的高维表示,AR系统可将内容映射到熟悉的自然形状。大自然在树木、草等中编码了大量信息。例如,AR系统可将组织中的每个人或角色表示为具有可以由相应用户修改并且可选地由其他人修改的参数的虚拟“植物”。

用户可例如以其各自的状态对植物的颜色、形状、叶、花等进行编码。如果用户过度劳累,则相应的植物可能出现枯萎。如果用户不快乐,则相应植物的叶子可能掉落。如果用户缺乏资源,则表示用户的相应植物的叶可能变褐色等。用户可向领导者(例如,经理、CEO)提供他们各自的植物。领导者可以将所有的植物放在一个虚拟的花园里。通过花园的一般颜色或概念,这为领导者提供了组织的高带宽视图。问题的这种图形说明有助于对于组织的问题或缺乏问题的视觉识别。

电子邮件

在一或多个实施例中,AR系统可使用类似的自然或植物方法来实现电子邮件或消息接口。例如,AR系统可呈现树,其中,每个树枝对应于或表示人、实体或逻辑地址。AR系统可将每个消息(例如,电子邮件消息)表示为树的叶子,叶子视觉上与表示从其接收或发送相应消息的人、实体或地址的树枝相关联。

AR系统可将相对较旧的消息呈现为棕色和/或干枯,这些叶子最终从树落到地面。子树枝或细枝可表示与其他人、实体或逻辑地址的连接性,例如消息上抄送或密送的那些。这允许用户容易地修剪掉代表讨厌的人的树枝,或者将这些树枝放置在树的背面或者以其它方式移出视野。

在又一实施例中,响应于用户选择/操控或拾取对象,AR系统可提供关于该对象在语义上已知的内容的指示。例如,AR系统可使得世界相对于语义上已知的内容轻柔地发光。例如,如果用户拾取电视,则AR系统可以呈现显示出可以放置电视的地方的虚拟内容。

“记住这个”应用

在又一实施例中,AR系统可允许用户明确地指定用于跟踪的环境中的重要对象(例如,喜爱的杯子、汽车钥匙、智能手机等)。具体地,AR系统可采用交互式建模/分析阶段,然后在视觉上和基本上连续地跟踪所指定的对象。这允许AR系统在用户请求时(例如,“我的电话在哪里出现?”)调用指定对象的最后已知位置。

例如,如果用户已经将蜂窝电话指定为此对象,则特定蜂窝电话对象识别器可执行以在捕获的图像信息中识别出特定用户的蜂窝电话的存在。每次检测到蜂窝电话的所得位置信息可以被分发回基于云的计算机系统。当用户错放了移动电话时,用户可简单地查询AR系统以搜索蜂窝电话最近被检测到的位置。

身体穿戴部件的图片应用

应理解,身体穿戴(例如,头戴式)部件的图像传感器(例如,摄像机)可以以各种形式捕获图像信息。例如,摄像机可以捕获2D静止图像或图片、2D运动图片或视频或4D光场(例如,世界模型)。

AR系统可执行或向应用提供图像信息,该应用格式化或变换图像信息,并根据指令转发或提供格式化或变换的信息。例如,应用允许例如具有AR系统的其他人进行2D图像打印、2D图像共享、2D视频共享、3D视频共享以及3D物理打印等。

对于本地2D摄像机和2D视频,如果AR系统跟踪头部姿势,则它可以使用可传递世界模型基于用户移动的位置重新呈现空间的虚拟遍历。

对于利用捕获4D光场的摄像机的实施方案而言,应用可允许从4D光场捕获2D图像或2D视频。转换为2D图像或2D视频允许使用传统的2D软件和打印机共享或打印。AR系统也可共享3D视图,例如被锁定到用户头部的3D视图。此类实施例可使用类似于在游戏引擎中呈现的技术。在一些实施方案中,摄像机可能够捕获3D宽视场运动图像或视频。例如,此类图像或视频可经由能够呈现3D宽视场图像的AR系统部件或可以向用户呈现宽视场的一些其它装置来呈现。

校正

以下部分将仔细考查与个人AR系统的跟踪摄像机相关的全局坐标系中的校正元素。参考图136,出于说明的目的,可以假设AR系统利用摄像机系统(诸如,单个摄像机或摄像机阵列)(例如,FOV摄像机、深度摄像机、红外摄像机等)来检测和估计世界的三维结构。如上所述,该信息继而可与可根据需要被有利地检索的世界的信息一起用来填充地图(例如,可传递世界模型)。

在AR系统中,显示系统通常可在物理上相对于摄像机固定(例如,摄像机和显示系统可诸如通过头戴式显示器的结构被固定联接或紧固在一起)。在虚拟显示器中呈现的任何像素可由像素值(例如,可替换为像素坐标的符号)和三维位置来表征。

参考图136,给定在世界中的任意3D点P 13602,目标可为计算显示器(例如,具有分辨率1280×720)中的像素U 13604,使得像素U的3D位置精确地位于P和用户的瞳孔E 13606之间。

在该模型中,瞳孔的3D位置和虚拟显示屏幕13610的3D配置被明确地建模(由用户感知的浮动在空中的图像,其由显示器光学元件产生)。瞳孔E的3D位置被参数化为摄像机参考系内的3D点。

虚拟显示器13610被3个外角(锚点)AO 13612、A1 13614和A2 13616(3×1矢量)参数化。表示为a0、a1、a2的这些锚点的像素值也是已知的(2×1矢量)。

给定像素位置u,可使用以下方程式计算像素位置u的3D位置:

U=A0+[A1-A0,A2-A0]*[a1-a0,a2-aO]^-T*(u–a0)

令A表示应用于[u:1]的简化乘法矩阵。因此,上述方程式变为等价于以下方程式:

U=A*[u^T,1]^T(方程式1)

应当注意,A不是由A0、A1、A2直接组成。锚点可以任意选择,但A保持固定在特定的屏幕上。应理解,图136中的A0、A1、A2的图示仅用于说明性目的,并且在校正过程期间可能不具体计算A0、A1、A2。相反,计算A的值可能就足够了。

A为自由度至多为9的3×3矩阵:A0为3、A1为3、A2为3。如果假设A1-A0垂直于A2-A0,则A的自由度(DOF)被扣除1。如果虚拟屏幕13610的宽高比是已知的,则A的DOF再次被扣除1。如果屏幕中心到瞳孔13506之间的距离是已知的,则DOF再次扣除1。如果屏幕的视场是已知的,则DOF扣除最多为5。因此,唯一未知的可为距离(1)、面内旋转(2)和视角(3)。

应理解,校正的目的是估计A和E。在呈现阶段,给定任意的3D位置P 13602(在摄像机参考系中),可计算对应于在P和E之间的线与虚拟屏幕相交的点的像素值u。

由于U=A*[u^T,1]^T,E-U和E-P对齐的约束等效于:P-E=c*(U-E)(方程式2)

应理解,c是未知乘数。方程式(2)具有3个方程式和3个未知数(u_x,u_y,c)。通过求解方程式(2),简化的闭式解可以写成如下方程式:

u_x=(A1_2*A2_3*E3-A1_2*A3_3*E2-A1_3*A2_2*E3+A1_3*A3_2*E2+A2_2*A3_3*E1-A2_3*A3_2*E1-A1_2*A2_3*P3+A1_2*A3_3*P2+A1_3*A2_2*P3-A1_3*A3_2*P2-A2_2*A3_3*P1+A2_3*A3_2*P1+A1_2*E2*P3-A1_2*E3*P2-A2_2*E1*P3+A2_2*E3*P1+A3_2*E1*P2-A3_2*E2*P1)/(A1_1*A2_2*E3-A1_1*A3_2*E2-A1_2*A2_1*E3+A1_2*A3_1*E2+A2_1*A3_2*E1-A2_2*A3_1*E1-A1_1*A2_2*P3+A1_1*A3_2*P2+A1_2*A2_1*P3-A1_2*A3_1*P2-A2_1*A3_2*P1+A2_2*A3_1*P1)(方程式3)

u_y=(A1_1*A2_3*E3-A1_1*A3_3*E2-A1_3*A2_1*E3+A1_3*A3_1*E2+A2_1*A3_3*E1-A2_3*A3_1*E1-A1_1*A2_3*P3+A1_1*A3_3*P2+A1_3*A2_1*P3-A1_3*A3_1*P2-A2_1*A3_3*P1+A2_3*A3_1*P1+A1_1*E2*P3-A1_1*E3*P2-A2_1*E1*P3+A2_1*E3*P1+A3_1*E1*P2-A3_1*E2*P1)/(A1_1*A2_2*E3-A1_1*A3_2*E2-A1_2*A2_1*E3+A1_2*A3_1*E2+A2_1*A3_2*E1-A2_2*A3_1*E1-A1_1*A2_2*P3+A1_1*A3_2*P2+A1_2*A2_1*P3-A1_2*A3_1*P2-A2_1*A3_2*P1+A2_2*A3_1*P1)(方程式4)

如上所述,为了简单起见,这里省略了c的计算。应理解,上述解决方案在屏幕几何形状上没有先验的假设。如果考虑到这些假设(例如,虚拟屏幕的屏幕侧是垂直的,屏幕轴线平行于视线等),则可进一步简化上述方程式。

鉴于上述考虑,在一个实施例中,合适的校正过程可包括以下概述的步骤。应理解,此校正通常需要用户佩戴头戴式AR系统,并且基于用户在观看物理世界时通过AR装置看到什么来提供一些响应。以下概述的示例校正设想使用标线的瞄准系统。当然,可类似地使用其它方法,并且以下步骤不应被理解为限制。

首先,可打印出标记。在一或多个实施方案中,可使用ArUco标记。ArUco是用于检测增强现实标记的最小C++库。该库依赖于编码标记的使用。每个标记可具有唯一的代码(例如,唯一的黑白图案)。

接下来,标记可被放置在用户的前面,使得标记的缺失部分被放置在用户的视场的角落。接下来,测量用户的瞳孔相对于摄像机的粗略位置(例如,厘米)。

可在摄像机坐标系中测量位置。摄像机孔径可位于3D坐标空间中的0,0,0处。粗略的位置测量可能最多一厘米的误差。

接下来,用户可以以使得用户和摄像机都可看到标记的方式佩戴可穿戴AR系统。可运行配置程序以便确定摄像机是否检测到标记。如果摄像机检测到标记,则用户将在屏幕上看到彩色图像。

给定合理的初始校正值,用户也可通过AR系统的显示装置看到与棋盘大致对准的绿色网格。然而,即使用户没有第一次看到它,用户可能被要求继续。

接下来,可首先校正左眼或右眼。当校正过程开始时,用户可移动他或她的头部,使得在HMD屏幕中突出显示的标记的角落瞄准标记的物理对应角落。

用户可进行选择以命令软件移到下一个目标。目标可随机选择。该过程可被重复N次(例如,基于预定值)。建议N为校正模型的DOF数的两倍以上。

在收集N个数据点之后,程序可在优化过程期间暂停,随后软件可用网格呈现两只眼睛。已经过校正的眼睛可看到与物理板良好对准的绿色网格。此结果可被自动保存在文件中。

校正过程提供一组对应关系(X_i,Y_i,Z_i,u_i,v_i),其中i=1:N,X、Y、Z为由摄像机检测到的3d点,以及u、v为由用户对准的屏幕像素位置。

可存在若干约束,诸如以下方程式:

屏幕物理结构的先验知识也可提供约束:

垂直屏幕侧约束可由以下方程式表示:

{E}=argminE[0,1,1]ATA[1,0,1]

屏幕到瞳孔距离(假设为d)约束可由以下方程式表示:

{E,A}=argminA,E(|A[w/2,h/2,1]-E|2-d2)

组合上述约束,E和A可使用二次优化方法(例如,用于优化的牛顿方法等)来求解。

换句话说,返回参考图136,校正的目标是确定图像平面相对于跟踪摄像机(其可被安装在用户的头上)的位置。此外,也可考虑用户的眼睛的位置。眼睛位于离图像平面的特定距离处,并通过AR系统观察物理世界。

在一个实施例中,用户将从安装到AR系统的空间光调制器(例如,光纤扫描装置等)接收AR体验的虚拟方面,并且该图像可以以已知的焦距(用于“虚拟屏幕”的代表性图像平面,且该焦平面可以被扭曲、旋转等的)呈现。再者,校正的目的是估算图像平面相对于摄像机的位置。换句话说,可能有或可能没有看着眼睛以发现注视的摄像机(“眼睛跟踪摄像机”)等。虽然眼睛跟踪摄像机可使得校正更准确,但应理解,校正过程可利用或不利用眼睛跟踪摄像机来工作。

通常,跟踪摄像机和AR装置将被刚性耦合,因此可做出关于跟踪摄像机和AR装置之间的关系的一组已知假设。因此,可以为用户执行一次虚拟扫描校正,但是每当新用户佩戴AR系统时,可进行新的校正。用户的眼睛位置可被称为E,如图136所示(其是3×1矢量;(x,y,z))。校正系统也从摄像机接收输入,如上所述。

各个点的坐标值可由摄像机测量。基于这些值,可构建相对于摄像机的坐标系。例如,假设现实世界中有一个点是x,y,z,则该点可以被定义为摄像机自身上的0,0,0。进行此校正的一个目的是测量虚拟屏幕上的点――使得当用户通过AR系统观看时,图像平面上的点和现实世界空间中的点在空间中的同一直线上。

这允许系统在虚拟屏幕/图像平面上的适当位置处呈现虚拟内容。换句话说,如果虚拟屏幕是“A”,并且点U将被呈现(2x1像素值),则可能需要确定实际空间P0(x,y,z)中的点Po。换句话说,需要确定函数U=Fu(P,E,A)。例如,给定P是已知的,E是未知的并且A是未知的,需要确定像素位置U(参考图136)。

目的是确定上述关系中的E和A。可以从问题的反向角度出发来解决该关系。第一步可为计算图像平面A上的U像素的3D坐标位置。因此,给出了相反的呈现过程:给定2D像素值,如何计算3D位置(与呈现相反,其中,3D位置是已知的,并且需要确定2D像素)。可以记得,虚拟屏幕或平面A不需要垂直于用户,而是可以相对于AR系统的用户处于任何取向。在一或多个实施例中,可存在扭曲。

平面A可由三个角定义:a0、a1、a2。例如,假设虚拟屏幕分辨率为800×600像素:可以说a0为0,0;a1为800,0;a2为800,600。这些坐标可被称为这三个点A0、A1和A2的3D坐标值。

如果减去(U-a0),则获得从点a0到点U的矢量。如果将它乘以相反数(reverse)并转置它,则它变成([a1-a0,a2-a0]-1)。然后,如果乘以[A1-A0,A2-A0](这是3×2矩阵),则可获得U相对于A0的3D坐标。

现在,如果将其添加到A0,则可获得摄像机工作空间/坐标系内部的U像素的3D坐标。因此,可使用V的线性代数关系(认为“V”为“大写u”)。例如,如果U为(x,y),这可被简化为:V=A*[Ux,Uy,1]。因此,一切可被压缩成3×3矩阵。到目前为止,在该配置中,A0、A1或A2的值是未知的。因此,校正的一个目的可为确定矩阵A的值。换句话说,如果矩阵A的值是已知的,则图像平面的确切几何形状也可为已知的。换句话说,图像平面的几何形状由矩阵A编码。

如上所述,在此情况下的这种校正的目的是呈现像素U,使得E、像素U和P0形成直线。如上所述,当将AR系统放置在新用户上时,可校正AR系统。校正系统可呈现点――使得用户可尝试将该点与现实世界的物理方面对准。这可针对多个点(例如,20个点)重复,之后可校正用户并准备进行操作。此过程可作为仅花费几秒钟的简单游戏(例如,用户通过眼睛运动激发激光或用眼睛击中虚拟目标)提供给用户。

在一个实施例中,可使用将三个受试点强制在同一直线上的另一公式。换句话说,可给出点,并且用户可被要求将该点与真实世界中的物理对象对准:P-E(P到眼睛的矢量)等于或者为某常数C和矢量(V-E)的倍数。可从上面的论述中回想U和P是已知的,因此P-E=C*(V-E)。然后P-E=C*(A*[Ux,Uy,1]-E)。

因此,对于玩校正游戏的用户所瞄准的每个点,他/她可生成这样的约束,每个约束由三个方程(对于x,y和z)组成。因此,

P1-E=Cr(A*[U1x,Y1y,1]-E)

P2-E=C2*(A*[U2x,Y2y,1]-E)和

P3-E=C3*(A*[U3x,Y3y,1]-E)。

当然,如果累积20个这样的方程式,则将存在60个约束(例如,20×3)。A是未知的,它是3x3的矩阵;E是3×1矩阵。如果存在关于A的一些假设(例如,屏幕不歪斜,并且屏幕的宽高比是已知的,虚拟平面到跟踪摄像机的实际距离等),则在求解这些方程时可能存在一些正则化。

因此,在考虑此类正则化之后,可能存在12个未知数加上未知的C。C为标量。如果没有先前知识,则未知数的数量为:3+9-n(其中,n为校正点的数量;每次有至少一个额外的C)。约束数为n*3。此外,需要对虚拟平面相对于跟踪摄像机的位置进行初始粗略猜测。

因此,如果3+9-n

(聊城荣恒医疗器械有限公司)