原创深度爬梳Apple 的秘密项目

 2021-11-20 09:41  706 13 13 分类: 机器人/ AI 文集: 人工智能

苹果有一个由数百名员工组成的秘密团队，致力于虚拟和增强现实项目。过去几年，苹果对 AR/VR 的关注度不断提高，增强现实产品最早可能会在 2022 年推出。

Apple 正在研究将虚拟现实和增强现实应用到未来 iOS 设备或新硬件产品中的多种方式。
增强现实/虚拟现实耳机
增强现实智能眼镜

根据专利申请，Apple 已经探索虚拟现实和增强现实技术超过 10 年，但随着 ARKit 的推出，虚拟和增强现实的流行度激增，Apple 的涉足越来越深入。在过去的几年里，苹果VR/AR 的招聘量有所增加，随着在 AR/VR 领域的进一步发展，已经收购了多家 AR/VR 公司。前 Apple 硬件工程主管 Dan Riccio 于 2021 年 1 月转任新职位，负责监督 Apple在 AR/VR 耳机方面的工作。该项目面临开发挑战，苹果高管认为 Riccio 的专注可能会有所帮助。虽然他负责监督整个项目，但 Mike Rockwell 继续领导日常工作。苹果公司正在开展至少两个AR 项目，其中包括一款将于 2022 年左右发布的增强现实耳机，随后将推出一副更时尚的增强现实眼镜。然而，许多传言只关注眼镜，导致对苹果计划的一些混淆，但耳机似乎将是第一款推出的产品。“混合现实”耳机将在2022 年第二季度问世，苹果眼镜将于 2025 年问世。
增强现实/虚拟现实耳机The Information和Bloomberg都表示，苹果正在开发智能眼镜和 AR/VR 耳机，首先是耳机，然后是眼镜。这款耳机类似于 Facebook 的 Oculus Quest 虚拟现实耳机，但采用更时尚的设计，使用织物和轻质材料来确保耳机佩戴舒适。它配备了两个高分辨率 8K 显示器和眼睛检测摄像头，可以让用户“阅读小字体”并“看到站在虚拟物体前后的其他人”。该头显将能够以“比市场上现有设备更高的精度”绘制房间的表面、边缘和尺寸。它将拥有更先进的显示器和比 2020 年 Mac 中的 M1 处理器更快的芯片。除了可以用于观察外部世界的摄像头外，还将配备十多个跟踪手部动作的摄像头，并且设计遮挡了周边视觉，防止光线泄漏到佩戴者的视野中。还可以在显示器中内置一个面向外的遮阳板，以允许佩戴者向其他人展示图形。VR 头显将配备高分辨率微型 OLED 显示屏，每英寸像素高达 3,000。之前有传言称这款智能眼镜采用了微型 OLED 显示屏，但 VR 头显却没有。苹果分析师表示，苹果即将推出的混合现实耳机将配备 15 个光学摄像头模块。其中的 8 个将用于透视增强现实体验，6 个模块将用于“创新生物识别”，1 个摄像头模块将用于环境检测。苹果的耳机将配备先进的眼球追踪系统，用于提供与外部环境无缝互动的直观视觉体验，以及可以用眼球运动控制的更直观的操作，并在用户不看的地方降低分辨率，减少计算负担。目前还没有关于苹果耳机是否能够支持虹膜识别的消息，根据硬件规格，虹膜识别功能应该是可能的。预计用户将能够在使用耳机时将其用于“更直观的 Apple Pay 方法”。在设计方面，这款耳机被描述为“通过网状材料和可更换的头带将光滑的弧形遮阳板固定在脸上”。一个头带采用了 AirPods Pro 等空间音频技术，可提供类似环绕声的体验，而另一个则在旅途中提供额外的电池寿命。苹果正在研究多种控制方法，包括一种“戴在人手指上的类似顶针的设备”。头显还能够对佩戴者的眼球运动和手势做出反应，而头显的一个原型在遮阳板一侧还有一个物理拨盘。Apple 也一直在测试 Siri 输入。Apple 希望为这款耳机创建一个 App Store，专注于游戏、流媒体视频内容和视频会议。彭博社将其描述为“包罗万象的 3D 数字环境”，专为游戏、观看视频和交流而设计。据说目前的头显原型重量约为 200 至 300 克，但如果技术问题得到解决，苹果的目标是将最终重量减少到 100 至 200 克，这将使头显比现有的 VR 设备更轻。耳机将是便携的，具有独立的电源和存储空间，但它不会像 iPhone 那样“移动”。它将提供超越当前可用 VR 产品的“沉浸式体验”，并且可以与 Apple TV+ 和 Apple Arcade 集成。头盔的增强现实功能 "比较有限"，虽然计划在2022年发布，但据说苹果已经遇到了几个开发障碍，并对该设备的销售估计 "比较保守"。苹果预计将销售约18万台，这与Mac Pro等价格较高的设备相当。这款耳机预计将比其他公司的耳机贵得多，The Information表示，Apple 已经讨论过这款耳机的定价约为 3,000 美元。最初的设计包括风扇和强大的处理器，导致设备太重。苹果决定将耳机靠近脸部以缩小尺寸。用户在使用耳机时将无法戴眼镜，因此 Apple 创建了一个系统，可以将定制的处方镜片插入 VR 屏幕上。Apple 的耳机将采用混合菲涅耳透镜设计，每只眼睛包含三个由轻质塑料制成的堆叠透镜。目的是为了实现超短焦距和改进的光学性能，以及宽广的视野，并将耳机的重量保持在 150 克以下，这将比重 164克iPhone 12 轻。。如果你对菲涅尔透镜不熟悉，它们基本上是在材料上刻有许多同心槽的透镜。这里面涉及到很多花哨的光学技术，但要点是你可以用一种类似于传统弧形透镜的方式聚焦光线。其好处是用塑料代替玻璃，从而减轻重量，而且菲涅尔透镜比传统透镜薄得多。它们最初用于灯塔，但现在可以在HTC Vive等VR头盔中找到它们，因为可以帮助用户在极近的距离上聚焦于图像--同时减轻重量。这就是说，这些镜片并不完美。虽然可以改善在VR头盔中的视野，但会导致失真和不必要的光晕。设备共享AR/VR 耳机的第一个版本需要无线连接到 iPhone 或其他 Apple 设备才能解锁全部功能，类似于 Apple Watch 的 WiFi 版本。耳机中使用的 SoC 确实具有内置的 CPU 和 GPU，因此可能存在功能有限的独立模式。SOCApple使用的 SoC不如 Mac 和 iOS 设备中芯片强大，因此 AR/VR 视觉反馈的繁重处理将需要由 iPhone、iPad 或 Mac 完成。AR/VR 耳机的 SoC 工作已经完成，Apple 还为该设备设计了两个额外的芯片。所有三款芯片都已进入流片阶段，因此物理设计工作已经结束，现在是试生产的时候了。该 SoC 将针对无线数据传输、压缩和解压缩视频以及电源效率进行优化，以最大限度地延长电池寿命，并且它不像苹果的其他一些芯片那样具有神经引擎。混合现实耳机渲染设计师Antonio De Rosa根据The Information分享的细节开发了 3D 渲染图，让我们看看Apple 的混合现实耳机可能是什么样子。早期耳机原型2018 年来自CNET 的报道，Apple 正在开发一款功能强大的 AR/VR 耳机，每只眼睛都有一个 8K 显示屏，可以不受计算机或智能手机的束缚，并且可以与虚拟和增强现实应用程序配合使用。CNET所描述的耳机不依赖于与智能手机或计算机的连接，而是使用称为 60GHz WiGig 的高速短程无线技术连接到“专用盒”。该盒子将由定制的 5 纳米 Apple 处理器供电，该处理器“比目前任何产品都更强大”。这个盒子显然类似于一个 PC tower，但它“不会是一台真正的 Mac computer”。随着时间的推移，内部分歧已经塑造并改变了苹果 AR 耳机的目标。Apple最初的目标是打造一个超级强大的系统，该系统带有一个集线器来容纳上述处理器，但此后离开公司的 Jony Ive 不想要单独固定的功能齐全设备

据说内部分歧改变了苹果AR耳机的目标。最初的目标是推出一款功能超强的系统，配备如上所述的集线器来容纳处理器，但后来离开公司的Jony Ive不想要通过单独的固定设备才能实现全部功能的产品。Ive想要一款功能不那么强大的耳机，可以直接嵌入到设备中，但AR/VR团队的负责人Mike Rockwell想要功能更强大的设备。这场对峙持续了几个月，库克最终站在了 Ive一边。据说 Ive更喜欢AR智能眼镜，目前也在研发中。

增强现实智能眼镜苹果正在开发一套增强现实眼镜，Leaker Jon Prosser建议苹果将其称为“Apple Glass”。考虑到与谷歌眼镜的名称相似，这个名字将是一个不寻常的选择，谷歌眼镜是在苹果公司的 AR 眼镜工作曝光之前很久就存在的产品。据说这种眼镜看起来与普通眼镜相似，两种镜片都具有可以使用手势进行交互的显示器。可以选择以 499 美元的起价购买标准镜片的眼镜，定制镜片需额外付费。据彭博社报道，这款眼镜处于早期开发阶段，甚至比苹果正在研发的 AR/VR 耳机还要早。这种眼镜被描述为“几年后”，尽管苹果最初计划最早在 2023 年发布它们。目前的原型类似于高端太阳镜，带有厚框，可容纳电池和芯片。苹果计划将索尼提供的“尖端”OLED 微型显示器用于其增强现实眼镜。索尼的 OLED 微型显示器具有超快响应速度、超高对比度、宽色域、高亮度、低反射率和集成驱动器，可实现轻薄设计。这款眼镜配备 0.5 英寸显示屏，分辨率为 1280x960。预计 AR 眼镜将作为 iPhone 配件销售，并将主要扮演显示角色，将计算、网络和定位转移到 iPhone，并提供移动优先的“光学透视 AR 体验”。将 AR 眼镜作为 iPhone 配件提供将使 Apple 保持它们的纤薄和轻便。这款眼镜看起来与Cook 戴的眼镜相似。彭博社曾表示，苹果眼镜将运行“rOS（reality operating system）”操作系统。rOS 基于 iOS，这是在 iPhone 上运行的操作系统。对于 AR 耳机，Apple 正在开发类似于 Apple Watch 中的“系统级封装”芯片，尽管如上所述它将依赖于 iPhone。在开发 AR 耳机的过程中，Apple 已经考虑将触摸面板、语音激活和头部手势作为输入方法，并且正在开发从地图到短信的一系列应用程序。虚拟会议室和 360 度视频播放也是正在探索的概念。AR 眼镜可能需要数年时间才能发布，VR 耳机将于 2022 年问世。苹果分析师 Ming-迟阔预计最早会在2022 年推出。苹果正在开发一款限量版的“纪念乔布斯”版智能眼镜，其设计看起来像史蒂夫乔布斯过去戴的圆形无框眼镜。苹果正在与台积电合作开发“ultra-advanced（超先进）”微型 OLED 显示器，这些显示器将用于苹果即将推出的智能眼镜等增强现实设备。据说这些显示器的尺寸不到一英寸。Micro OLED 显示器直接构建在芯片晶圆上，而不是玻璃基板上，因此显示器更薄、更小、更节能。据说微型 OLED 显示器的开发处于试生产阶段，苹果和台积电准备批量生产还需要几年时间，传闻将于 2023 年左右推出。今年初，苹果公司进入增强现实眼镜原型的“第二阶段开发”。眼镜将在几个月内进入第三阶段的开发，然后在原型设计完成后，可穿戴设备将经历六到九个月的工程验证期。iOS 14 中的代码和图像证实了 Apple 在 AR 或 VR 头显上的工作，发现的一张照片描绘了头显的通用控制器，其设计类似于 HTC Vive Focus 头显。Apple 一直在使用 HTC Vive 硬件进行内部测试。Apple 正在使用名为 Gobi 的 iOS 14 应用程序和二维码测试其 AR 设备，以测试增强现实体验。这些增强现实体验之一是在加利福尼亚州桑尼维尔的特定人行横道上触发的人行横道保龄球游戏。Xcode 11中的代码证实了苹果在AR头显上的工作。其中提到了代号为测试设备以及与这些设备相关的框架和系统外壳。这些参考资料表明，苹果正在开发对脸部安装的AR体验的支持，与谷歌的Daydream类似。据DigiTimes报道，苹果正与游戏开发商 Valve合作开发其AR 耳机。Valve 于 2019 年 4 月发布了其首款 VR 耳机 Valve Index。Valve 之前曾与 Apple 合作，通过 Mac 版本的 SteamVR 软件利用 eGPU 支持为 macOS High Sierra 带来原生 VR 耳机支持。2017 年 11 月，Apple 收购了 Vrvana，这是一家开发名为 Totem 的混合现实耳机的公司。Vrvana 的技术有可能用于未来的 Apple 耳机。在收购 Vrvana 之后，苹果又收购了 Akonia Holographics，这是一家生产 AR 智能眼镜镜片的公司。苹果可以将其增强现实研究纳入其正在进行的汽车项目，作为车载软件系统的一部分，该系统可能包括平视显示器或其他功能。
增强现实与虚拟现实增强现实 (AR) 和虚拟现实 (VR) 是相似的技术，但它们之间存在重大差异，它们的潜在应用差异很大。虚拟现实是指在虚拟世界中的完全身临其境的体验，而增强现实是指对现实世界的视图修改。通过比较可以总结这种差异。戴在眼睛上的谷歌眼镜让用户可以看到世界的本来面目，但它提供了一个平视显示器，将相关的计算机提供的信息覆盖在真实的世界视图上，例如当地的天气、地图和通知。这与据称苹果正在使用其传闻中的“智能眼镜”进行的工作类似。相比之下，Facebook 的Oculus Rift是一款虚拟现实耳机，提供身临其境的视觉体验，不会通过额外的感官信息来增强现实世界——它完全用模拟世界取代了现实世界。增强现实提供计算机生成的关于我们周围世界的上下文和信息，同时允许我们与周围环境互动，而虚拟现实旨在将我们与周围环境隔离开来，以便我们可以与虚拟世界互动。两者的潜在应用大不相同。虚拟现实特别专注于沉浸式内容消费，因为它让佩戴者感觉好像他们真的在通过视觉、触觉和音频反馈体验模拟世界中发生的事情。虚拟现实目前在很大程度上与游戏有关，但它也有可能为教育或培训目的重建现实世界的体验。增强现实不依赖于沉浸式内容，虽然不那么令人兴奋，因为它是增强现实而不是取代现实，但它具有更广泛的潜在应用。事实上，由于 ARKit ，增强现实应用程序和游戏在 iOS 11中很容易获得。使用 ARKit，iOS 设备能够识别像桌子这样的表面，然后可以向其添加虚拟对象。由于 iPhone 和 iPad 的计算能力，ARKit 的增强现实能力令人印象深刻。ARKit 已被用于创建大量应用程序和游戏，将数字对象与现实世界相融合。Apple 的目标可能是开发一种既适用于增强现实又适用于虚拟现实的产品。类似于微软的 HoloLens。苹果在虚拟现实和增强现实方面的工作可以追溯到多年以前，从2015年3 月开始当时有消息称苹果有一个小团队致力于增强现实。2015 年和 2016 年初，随着公司聘请具有 AR/VR 技术专业知识的员工并进行多项相关收购，Apple 的团队不断壮大。Apple 的 AR/VR 团队包括来自 Apple 各地的数百名工程师，他们都拥有虚拟和增强现实方面的专业知识。该团队在库比蒂诺和桑尼维尔的办公园区工作，Apple 正在探索代号为“T288”的多个硬件和软件项目。Apple 的增强现实团队结合了“其硬件和软件资深人士的优势”，由来自杜比的 Mike Rockwell 领导。Oculus、HoloLens、亚马逊（VR 团队）、3D 动画公司 Weta Digital 和 Lucasfilm 等前员工正在 Apple 从事 AR 工作。还有许多相机和光学镜头工程师以及硬件人才正在为 Apple 的 AR 眼镜等项目采购原材料。虽然苹果似乎专注于增强现实，但也有一些人正在研究虚拟现实项目。Apple 开发人员还加入了WebVR 社区小组，致力于让 VR 内容可在任何设备和网络上观看。Apple 最杰出的 AR/VR 员工之一是计算机科学教授 Doug Bowman，他曾领导弗吉尼亚理工大学的人机交互中心，专攻 3D 用户界面设计，并撰写了一本关于 3D 界面和沉浸式虚拟环境优势的主题的书。他拥有虚拟现实和增强现实方面的专业知识。苹果还聘请了曾在微软和 Lytro 从事虚拟或增强现实产品工作的员工。据说最近的一些员工来自微软的 HoloLens 团队。Zeyu Li曾在 Magic Leap（一家开发头戴式 AR/VR 显示器的初创公司）担任首席计算机视觉工程师，现在在 Apple 担任“高级计算机视觉算法工程师”。Yury Petrov曾是 Facebook 旗下 Oculus 的研究科学家，现在在苹果公司担任“研究科学家”。根据他的 LinkedIn 个人资料，Petrov研究了虚拟现实体验、光学原型并开发了计算机模拟软件。增强现实专家 Jeff Norris于2017 年 4 月加入苹果，担任公司增强现实团队的高级经理。Norris在 NASA 创立了任务运营创新办公室和喷气推进实验室。他领导了多个专注于人机交互的项目，重点是虚拟和增强现实。苹果于 2018年5 月聘请了 Sterling Crispin，后者为移动 VR 耳机开发了一款绘画应用程序。“Cyber Paint”让 VR 耳机佩戴者可以在 Oculus Go、Daydream、GearVR 和 Vive Focus 上创建 2D 260 度图片。Crispin 的 LinkedIn 页面称他是一名“原型研究人员”，暗示他已经加入了传闻中致力于 VR/AR 耳机技术的团队。苹果公司于 2018 年 12 月聘请了前特斯拉和微软 HoloLens 高级设计师安德鲁·金，他可能正在从事苹果传闻中的 AR 眼镜项目或正在开发的苹果汽车。Jaunt VR 创始人 Arthur van Hoff 于 2019 年 4 月加入 Apple，担任高级架构师。在 Apple 工作之前，他的公司创建了 VR 硬件，包括一台价值 10 万美元的 3D VR 相机，名为 Jaunt One。由于 Apple 的团队拥有数百名员工，因此还有许多其他虚拟现实专家的聘用不为人知。苹果公司于 2019 年 7 月将其软件主管之一 Kim Vorrath 调到增强现实耳机部门。Vorrath 已经监督软件开发团队的项目管理长达 15 年，并被描述为“强大的力量”。Apple 的 AR/VR 团队的许多成员可能已经通过收购加入了公司。自 2015 年以来，Apple 收购了几家开发 AR/VR 相关产品的公司，其中一些 AR/VR 收购甚至可以追溯到几年前。苹果公司于 2018 年 8 月收购了 Akonia Holographics，这是一家为增强现实眼镜制造镜片的初创公司。Akonia Holographics 宣传“世界上第一个用于智能眼镜透明显示元件的商用体积全息反射和波导光学器件”。据说它制造的显示器使用该公司的 HoloMirror 技术实现“超清晰、全彩性能”，从而实现“世界上最薄、最轻的头戴式显示器”。2017 年 11 月，Apple 收购了 Vrvana，这是一家开发名为 Totem 的混合现实耳机的公司。Totem 从未向公众发布过，旨在将增强现实和虚拟现实技术结合在一个耳机中，将完整的虚拟现实功能与直通摄像头相结合，以实现基于屏幕的增强现实功能。Totem 基本上使用一组相机将真实世界的图像投射到其内置的 1440p OLED 显示屏中，这种独特的方法使其与微软 HoloLens 等竞争产品区分开来，后者使用透明显示屏将虚拟现实和增强现实相结合。苹果可能计划在未来的产品中使用 Totem 的一些技术。苹果在 2013 年收购了以色列的3D 人体感应公司 PrimeSense，引发了人们猜测基于动作的功能将被应用到 Apple TV 中。微软最初的 Kinect 平台使用了 PrimeSense 的 3D 深度技术和运动感应功能。PrimeSense 使用近红外光将不可见光投射到房间或场景中，然后由 CMOS 图像传感器读取以创建物体或人的虚拟图像。这为软件界面提供了基于运动的控制，但它也能够执行诸如测量虚拟对象并提供相对距离或大小之类的操作，这对增强现实应用程序（如交互式游戏、室内测绘等）非常有用。PrimeSense 技术还可以创建高度准确的人和物体的 360 度扫描，可能对虚拟现实应用有用。苹果在 2015 年 5 月收购了增强现实初创公司 Metaio。Metaio 开发了一款名为 Metaio Creator 的产品，可以在短短几分钟内创建增强现实场景。在被 Apple 收购之前，Metaio 的软件被法拉利等公司使用，后者创建了一个增强现实展厅。Metaio 技术让参观柏林墙遗址的人们可以使用智能手机或平板电脑查看柏林墙仍然屹立时的样子。Metaio 的技术有可能用于将增强现实功能应用到地图等 Apple 应用程序中。Apple于 2015 年 8 月收购了 Faceshift，这是其2015 年第二次收购增强现实。在被 Apple 收购之前，Faceshift 与游戏和动画工作室合作开发旨在使用 3D 传感器快速准确地捕捉面部表情的技术，将它们转换为动画面孔即时的。Faceshift 还在开发一种面向消费者的产品，该产品可以让人们在 Skype 中实时将他们的脸变成卡通或怪物的脸。Faceshift 的技术具有广泛的可能用例，Apple 似乎正在使用该功能为iPhone X 中的Animoji提供动力。Emotient 是一家开发面部表情分析工具的公司，于 2016 年 1 月被 Apple 收购。Emotient 的技术使用人工智能和机器学习来读取人类的情绪，广告商在现实世界中使用这些功能来确定对他人的情绪反应。苹果可以用 Emotient 做很多事情，从照片应用程序中更好的面部检测到分析苹果零售店中的客户感受，再到解锁 iOS 设备，都有潜在的 AR/VR 用途。与 Faceshift 一样，Emotient 的技术可用于分析和转换面部表情，以创建虚拟化身，可用于社交媒体和游戏。Animoji 可能使用了情感技术。Flyby Media 于 2016 年初被收购，是另一家致力于增强现实的公司。Flyby创建了一款与谷歌配备 3D 传感器的“Project Tango”智能手机配合使用的应用程序，允许将消息附加到现实世界的对象上，并由其他人使用谷歌的设备查看。例如，一个人可以“扫描”像旧金山金门大桥这样的地标，然后在上面写一条消息。稍后访问桥梁的人将能够使用 Flyby 应用程序扫描桥梁以查看消息。Flyby 应用程序可能引起了 Apple 的注意，因为它能够识别和理解扫描的不同对象，Apple 可以在照片和地图等应用程序中以多种方式使用该技术。2017 年 2 月，Apple 收购了 RealFace，这是一家专注于面部识别技术的网络安全和机器学习公司，该技术可能用于未来的增强现实功能。RealFace 开发了集成人工智能的面部识别技术，实现无摩擦面部识别。Realface 技术可能用于iPhone X，这是苹果第一款以 Face ID 形式提供面部识别功能的智能手机。Apple 于 2020 年 5 月收购了 NextVR，这是一家总部位于加利福尼亚的公司，将虚拟现实与体育、音乐和娱乐相结合，提供 VR 体验，可在来自 PlayStation、HTC、Oculus、谷歌、微软和其他制造商的 VR 耳机上观看现场活动。Apple 于 2020 年 8 月收购了 VR 初创公司 Spaces，该公司设计了人们可以在商场和其他地方体验的虚拟现实体验，例如“终结者拯救：为未来而战”。Spaces 还为 Zoom 等视频通信应用程序创造了虚拟现实体验，苹果可能会将其整合到未来的 AR/VR 产品中。
增强现实/虚拟现实专利Apple 已经申请了多项与虚拟现实耳机直接相关的专利，这些专利都可以追溯到几年前。虽然技术的进步可能超出了这些，但它们提供了一个有趣的视角来审视 Apple 过去探索的想法。一个2008年的专利申请覆盖一个相当基本的“个人显示系统”，旨在中观看视频时在电影院被模仿的经验。第二项专利描述了一种带有“激光引擎”的“头戴式显示系统”，可将图像投射到戴在眼睛上的透明玻璃显示器上，类似于眼镜。在此配置中，耳机连接到手持视频播放器（例如 iPod）以提供处理能力。最初于 2008 年申请的第三项专利在设计上与此类似，涵盖了一种类似护目镜的视频耳机，旨在让用户观看电影和其他内容。它概述了两个与用户眼睛对齐的可调节光学模块，它们可以提供视力矫正并允许观看 3D 内容。苹果将其描述为提供个人媒体观看体验。2008 年的第四项专利涉及一种类似于谷歌眼镜的视频耳机框架，它允许用户将他们的 iPhone 或 iPod 滑入耳机以提供视频。这款耳机被描述为一种增强现实产品，可以让用户在关注周围环境的同时做一些事情，比如看视频或查看电子邮件。除了与耳机相关的专利外，苹果还申请了专利，描述了可以在其设备中实现虚拟和增强现实功能的其他方式。例如，2009 年的一项专利申请涵盖了配备摄像头的 3D 显示器，该显示器将根据用户的相对位置改变视角。这种显示器将检测头部运动，允许用户移动他们的头部以从不同角度观看 3D 图像，同时还结合用户环境的元素。2010 年和 2012 年的专利描述了使用运动传感器为使用增强现实技术的iOS 设备创建3D 界面。苹果将界面描述为一个“虚拟房间”，通过内置传感器或手势操纵设备的方向来导航。2011 年，Apple 为地图应用程序中的增强现实功能申请了一项专利，该功能与绘制与著名地标的距离相关。使用相机，用户可以查看他们周围的区域，并实时估计两点之间的距离以及相关信息的叠加。2014 年提交并于 2017年授予的一项专利涵盖了一种移动增强现实系统，该系统能够检测环境中的物体，并通过使用摄像头、屏幕和用户界面将它们与虚拟信息叠加。Apple 将该系统描述为头戴式显示器的理想选择，但它也表明它已用于智能手机。Apple 一直致力于开发可用于自动驾驶汽车的虚拟现实技术。几项 Apple 专利描述了一种系统，该系统包括一个带有 VR 耳机的车载虚拟现实系统，用于提供娱乐，并在车辆行驶时减轻阅读和工作等任务带来的晕车。2020年7月的一项专利申请涵盖了苹果眼镜可能的输入方法，描述了一个系统，其中眼镜使用红外热感应来检测某人何时触碰现实世界的物体，让眼镜随后将控制权投射到现实世界的表面。通过这种方法，Apple Glasses 可以在 AR 控制界面中投射到现实世界中的任何实际对象上，以获得混合现实叠加效果。苹果于 2021 年 2 月申请了多项与其传闻中的混合现实耳机相关的专利，专利涵盖设计元素、镜头调整、眼球追踪技术和软件。Apple 开发了多种方法来使耳机佩戴更舒适，同时保持其安全性并阻挡光线，此外还有一个详细的镜头调整系统，该系统使用流体无缝移动镜头，为每个用户量身定制。Apple 还详细介绍了一种使用红外光检测位置的眼动追踪系统，并且还有一项关于如何使用耳机和手势检测在虚拟 3D 空间中编辑文档的专利。苹果拥有从耳机录制视频的专利系统，其中内置的视线跟踪传感器可以提供一个人当前正在看的位置的指示，这可以指示内置摄像头记录用户眼睛所在位置的场景，而不是简单地记录用户面前的内容。2021 年 2 月提交的另一项专利申请显示，Apple 正在研究一种带有传感器阵列和触觉反馈的指戴式设备，用作混合现实耳机的控制设备。控制设备的形状使用户可以自然地感受周围物体，并且可以精确地确定用户移动手指和与表面交互的方式。据说该系统非常准确，可以检测用户按压表面的力度以及该力的确切方向，并提供触觉反馈作为响应。结合 AR 或 VR 耳机，Apple 表示这款手指安装设备可以“为用户提供在用户在桌面上进行手指敲击时在物理键盘上进行交互的感觉”或“允许用户提供操纵杆-type input”仅使用用户指尖的移动进行游戏。苹果分析师在 6 月份表示，苹果计划在2022 年第二季度发布其首款耳机产品。彭博社还认为，苹果正在研发的 AR/VR 耳机将在 2022 年问世，而正在开发的 AR 眼镜将在晚些时候问世。The Information暗示 AR/VR 耳机将在 2022 年发布，然后在 2023 年发布智能眼镜，但这比其他消息来源为眼镜产品指明的时间要早。据彭博社报道，苹果可能正计划在预计于 2021 年某个时候举行的现场活动中推出这款混合现实头显。目前尚无关于何时举行该活动的消息，但它随着世界从全球大流行中复苏，可能会在 2021 年末。苹果公司在对正在开发中的智能眼镜的测试方面落后，这可能会导致延迟。苹果原本应该在 2021 年初进入眼镜的第二阶段开发，但第二阶段测试尚未开始，因此预计不会在 2022 年第一季度实现量产。
未来的 AR/VR 计划分析师认为，苹果可能正在计划在 2030 年推出增强现实“隐形眼镜” 。据说，这些镜头将把电子产品从“可见计算”时代带到“不可见计算”。（由于博客图片无法沾贴，有兴趣的同学可以去公号详细阅读。）