近日，美国专利商标局公布了苹果公司的一项专利申请，涉及检测提供镜面映像、修改映像或提供描绘此类表面和映像内容的系统、方法和设备。更具体地说，苹果的专利描述了佩戴 HMD 的用户如何将现实世界中手持的 iPhone 变为游戏中的装备，如游戏中的光剑。专利中提供了其他示例，也许苹果开发人员会更欣赏。

(相关资料图)

根据苹果的说法，本发明的各种实施方案包括检测镜子、玻璃、液体和其他表面以及这些表面中映像的设备、系统和方法。一些实施方案涉及检测用户或用户设备在表面上的映像，并提供虚拟内容来增强或替换提供给用户的内容中的映像外观。

例如，可以修改环境的视图，以包括用户的映像，但不包括用户持有或佩戴的电子设备。

在另一示例中，可以修改环境，以便虚拟内容，如较新版本的电子设备或虚拟光剑，在映像中替换电子设备。

在另一示例中，可以修改环境，以便虚拟内容（例如虚拟化身）替换映像中的用户。

该方法还可以涉及识别替换内容，以替换用户或电子设备映像的至少一部分。在某些实施方案中，替换内容包括用户身体的一部分（例如手、手臂等）或背景内容，当手持移动设备被擦除、增强或以其他方式修改时，这些内容将可见。

在某些实施方案中，替换内容包括用户身体的一部分（例如手臂、衣服等）或背景内容，当腕上设备被擦除、增强或以其他方式修改时，这些内容将可见。

在某些实施方案中，替换内容包括用户头部的部分（例如脸颊、眼睛、眉毛、头发等）或背景内容，这些内容将在头戴式设备（HMD）被擦除、增强或以其他方式修改时可见。

在苹果专利图 4 和 5 中，我们看到苹果将如何允许用户在现实世界中持有的设备转换为另一台设备，例如 CGR 环境中的光剑。在图 5 中，尽管在现实世界中用户佩戴的是 HMD，但在 CGR 环境中，HMD 被替换为没有佩戴 HMD 的用户面部。

用户的表情由位于头显内的摄像头捕获的。苹果进一步指出，例如传感器（如摄像头）捕获的眉毛、嘴巴、下巴和眼睛的表情可用于模拟用户虚拟化身上的表情。

苹果专利图 6 说明了 HMD 设备 #120 的系统流程，用于检测提供镜面映像的表面，并提供 CGR 环境。HMD 设备使用一个或多个环境传感器 #610（例如一个或多个摄像头）来捕获、创建或提供物理环境 #100 的视图 #130。

在专利的其他地方，苹果指出，用户可以查看并以其他方式体验基于 CGR 的用户界面，允许用户选择、放置、移动以及以其他方式体验 CGR 环境并与之交互，例如通过手势、语音命令、输入设备输入等。

最后，苹果指出，基于投影的系统可能会采用视网膜投影技术，将图形图像投射到人的视网膜上。投影系统还可以配置为将虚拟对象投影到物理环境中，例如，作为全息图或物理表面上。