开启空间计算时代 – 初识苹果 Vision Pro-六虎

本文作者：徐凯斌、王维恒

本文预览

1、苹果首款头显设备 Vision Pro 的布景和根底概念介绍，走入空间核算年代；

2、具体解读设备的硬件组成和空间规划的四个准则，提醒其共同之处；

3、展现「云音乐」App 在模仿器和真机上的运转状况；

4、苹果上海 Vision Pro 开发者实验室体会真机，行业内早期真机体会同享；

5、「云音乐」App 的落地畅想；

布景

苹果于 WWDC23 发布了首款头显 Vision Pro，一台搭载了全球创始的空间操作体系 VisionOS 的革命性的空间核算设备，具备多个摄像头，用户用手势、眼睛或者语音就可操作操控，能够用来作业、娱乐、沟通的新一代电子产品。2023 年 7 月，苹果正式敞开 Vision Pro 头显开发套件的请求通道，以借出设备的方式为开发者供给服务，并在 2024 年 2 月 2 日在美国正式上市。笔者收到上海 Apple Vision Pro 开发者实验室的邀请，线下体会了 Vision Pro 设备，并适配运转了「网易云音乐」运用。

功用解读

全方位的沉溺式体会

Apple Vision Pro 供给了一幅无边的空间画布，供开发者探究、实验和畅玩，让大家能够自由地纵情从头设想 3D 体会。用户能够在与周围环境坚持联系的一同与不同的 App 进行交互，也能够彻底沉溺在 App 发明的国际中。用户体会将非常的流畅：首要创立一个窗口，引进 3D 内容，转换为能够彻底令人沉溺其间的场景，然后回到其他开发作业之中。

选择权在你手上，一切要从 VisionOS 中的空间核算构建块开始。

Apple Vision Pro 官方介绍影片中文版请见链接。

窗口（Windows）

你能够在 VisionOS App 中创立一个或多个窗口。它们运用 SwiftUI 构建，并包含传统的视图和控件（平面化的展现），开发者能够经过增加 3D 内容来增加深度，以丰厚用户的体会。

空间容器（Volumes）

运用 3D 空间容器为 App 增加深度。空间容器是 SwiftUI 场景，能够运用 RealityKit 或 Unity 展现 3D 内容，然后打造可在同享空间或 App 的全空间中从恣意视点查看的体会。

空间（Spaces）

默认状况下，App 发动时会进入同享空间（Shared Space），在其间这些 App 并排展现，就像 Mac 桌面上的多个 App 相同。App 能够运用窗口和空间容器来显示内容，用户能够依据需求调整这些元素的方位。为了打造更能令人沉溺其间的体会，App 能够翻开一个专用的全空间（Full Space），在其间只显示这个 App 的内容。在全空间中，App 能够运用窗口和空间容器创立无鸿沟的 3D 内容，翻开通往一个不同国际的进口，甚至能够让用户彻底沉溺在某个环境中。

概念解读

AR（增强实践）：眼睛镜片是通明的，能够直接看到外部实在国际；

经过数字元素叠加来出实践际国际（物理国际）的视图。

MR（混合实践）：既能够看到外部实在国际，也能够看到纯虚拟国际，倾向硬件的描绘；

彻底沉溺式的数字环境。

VR（虚拟实践）：眼睛镜片不是通明的，不能够直接看到外部实在国际；

实践国际（物理国际）的视图，具有数字元素的叠加，其间物理元素和数字元素能够交互。

XR（扩展实践）：AR + MR + VR 都属于 XR；和 MR 相比较，为倾向软件的描绘，也可称 XR SDK；

一个涵盖所有这些不同技术的总称，包含 AR、MR 和 VR。

同享方式（Shared Space）- AR

也称为透视方式（Passthrough）。光照彻底由体系托管，体系会主动勘探环境光照信息和运用做交融。3D 内容都运用苹果自研的 RealityKit 引擎渲染。所以该方式下 Unity 的原始财物均需求被转换为 Realitykit 支撑的财物。Unity 官方供给了配套东西能够便利的完结转换：PolySpatial。

全沉溺方式（Full Space）- VR

光照体系由场景决议，可按需定制。在此方式下，其它引擎不能运用体系的 2D UI，因为需求引擎支撑体系窗口这种特别原料。3D 场景直接运用 Unity 引擎渲染（无需财物翻译）。

总结

Vision Pro 实践支撑 AR、VR、MR ，也能够简略的了解为是一台支撑 XR 的 MR 设备。

硬件组成部分

正面

一片共同的三维成型玻璃与铝合金结构，轻轻弯曲以包裹脸部。可在外置屏幕上模仿用户眼部画面。这块弧形屏幕，传感器收集到的用户眼部画面实时渲染出实景一般的图画出现在屏幕上，让人有看穿屏幕的错觉。苹果将其称为 EyeSight。

相机和传感器

一系列先进的摄像头和传感器协同作业，清楚地看到国际、了解周边环境并检测手部输入。一对高分辨率摄像头每秒向显示器传输超过 10 亿像素，因而您能够清楚地看到周围的国际。该体系还有助于供给准确的头部和手部盯梢以及实时 3D 映射，一同从各种方位了解您的手势。

音频带

扬声器接近耳朵，供给与实在国际的声响无缝交融的丰厚空间音频。

头带

头带供给缓冲、透气性和弹性。经过旋钮依据自己的头部准确调整 Vision Pro；头带选用 3D 针织，构成共同的罗纹结构，供给缓冲、透气性和弹性。

显示器

一对定制的微型 OLED 显示器为每只眼睛供给比 4K 电视更多的像素，定制的微型 OLED 显示体系具有 2300 万像素，供给令人惊叹的分辨率和颜色。专门规划的三元素镜头营造出无处不在的显示屏感觉。

遮光罩

磁吸式遮光罩轻柔地贴合脸部，供给准确贴合，一同阻挠杂散光。

表冠旋钮

按下数码表冠调出主视图，然后转动它来操控运用环境时的沉溺感。就能从以假乱真的外部国际（AR）切换到沉溺的虚拟空间（VR）。

顶部按钮

按下顶部按钮即可即时拍照空间视频和空间相片。

针对近视的镜片

蔡司光学插拔式镜片可依据视力进行定制，磁性附着在镜片上以完成准确调查和眼动追踪。

外接电池

外接电池支撑长达 2 小时的运用，衔接电源时，支撑全天运用。另一侧则是类似的旋转接口的开发专用接口。

整体结构

铝壳电池能够放进口袋中作为便携式电源。它运用编织电缆进行衔接，常规运用续航可达 2-3 小时。

规划准则

Apple VisionOS 搭载全新的 3D 界面，让数字内容看起来、感觉上就像在用户的实在国际存在，透过天然光线和暗影的变化来协助用户了解份额与间隔。Apple Vision Pro 和 VisionOS 既强壮又共同的功用，来规划全新的 App 并为空间核算重塑现有 App 的体会。

根本空间规划准则（空间）

developer.apple.com/videos/play…

Spatial design 是 VisionOS 的规划根底，它为用户发明了全新的、完好的依据空间的操作体会，一同坚持了和 iPhone 类似的根本操作习气，坚持了苹果产品一向的简略易用。

这是关于空间规划准则的讲座，由 Apple Design 团队的 Nathan Gitter 和 Amy DeDonato 主讲。以下是首要内容的总结：

规划空间操作体系：这种操作体系能够将周围的国际变成无限的画布，用于创立新的运用程序和游戏。经过深度、规划、天然输入和空间音频，能够发明出曾经无法完成的体会。
坚持运用程序的了解性：尽管有许多新的可能性，但仍需求与用户了解的元素坚持平衡。例如，侧边栏、标签和查找字段等常见元素能够协助用户找到他们正在寻找的音乐。
人性化规划：规划应考虑用户的视界和可能的移动方法。例如，将最重要的内容放在中心，运用景象布局，以及考虑人的舒适姿势等。
运用空间和规范：规划应充沛运用空间，并运用深度和规划来优化体会。例如，将窗口规划得满足大，以适应人们的视界，但又满足小，以避免阻挠过多的视界。
发明沉溺式体会：沉溺式体会能够超越窗口，改变周围的国际。这种体会能够依据用户在体会中的方位，流畅地在不同的沉溺状态之间过渡。
坚持渠道的实在性：最好的运用程序是丰厚的、沉溺式的体会，运用了人们的空间。运用程序不该该是快速跳入一分钟的事情，而应该是值得、引人入胜、共同的体会。

总的来说，这个讲座强调了在规划空间运用程序时，需求考虑的一些要害准则，包含坚持了解性、以人为中心的规划、运用空间和规范、发明沉溺式体会，以及坚持渠道的实在性。

空间用户界面规划准则（空间 UI）

developer.apple.com/videos/play…

了解怎么为空间核算运用程序规划出色的界面。依据屏幕的常识怎么轻松转化为为 VisionOS 发明出色的体会。探究 UI 组件、材料和排版攻略，了解怎么规划了解、明晰且易于运用的体会。

内容首要是介绍怎么规划空间用户界面：

Miquel Estany Rodriguez 和 Lorena Pazmino，来自 Apple Design 团队的两位成员，介绍了怎么规划空间用户界面。他们构建了一种视觉言语，既坚持了与现有渠道的共同性和了解感，又开展了某些元素以适应沉溺式和空间体会。
首要评论了创立运用图标和界面的 UI 根底和规划准则，这些图标和界面在环境中明晰可见且易于运用。然后，他们评论了怎么创立既契合人体工程学又易于定位的布局的要害概念和最佳实践。最终，他们展现了怎么将运用从屏幕转换到空间，具体介绍了所有体系组件，其间一些你了解，一些则彻底是新的。
具体解说了怎么规划出色的图标，怎么运用材料，以及怎么优化 3D 内容的视觉质量和功能。它供给了一些关于怎么创立 3D 作用，怎么预览 3D 模型，以及怎么运用新东西如 Reality Composer Pro 和 RealityKit Treace 来检查和优化内容的主张。
还具体评论了怎么运用空间输入规划，怎么设置运用的中心结构，怎么运用窗口、标签栏和侧边栏，以及怎么运用新的内容出现方法。最终，探讨了模态性，包含菜单、弹出窗口和表单。

总的来说，这是一个非常具体的空间用户界面规划攻略，为规划师和开发者供给了一系列的东西和技巧来创立和优化他们的空间体会。

沉溺式声响规划准则（空间音频）

developer.apple.com/videos/play…

了解怎么运用声响来增强 VisionOS 运用程序和游戏的体会。了解 Apple 规划师怎么选择声响并构建音景来打造质感十足的沉溺式体会。咱们将同享当您在空间上放置音频提示、改变重复的声响以及在运用程序中构建声响愉悦的时刻时，怎么经过声响丰厚运用程序中的根本交互。

这是关于探究沉溺式声响规划的讲座，由规划团队的 Danielle Price 主讲。以下是首要内容的总结：

空间音频的运用：咱们常常运用空间音频来导航国际，例如经过声响的方向和音量来定位 iPhone 的方位。
空间音频的作业原理：设备能够适应不同的空间，并增加你的空间的混响，使事物听起来像是真的在房间里。空间音频源会依据它们的方位，听起来像是更近或更远。
规划 UI 和沉溺式运用的声响：经过为每个交互增加奇妙的声响，咱们能够协助用户发生了解感和决心。例如，虛拟键盘的每个按键都来自键盘前方的方位。
规划 UI 声响：咱们希望 UI 的声响与体系的其他声响相匹配，一同杰出深度感。好的 UI 声呼应该是奇妙的，供给满足的反应以供给协助。
运用声响规划更沉溺式的体会：例如，咱们的环境，Mount Hood，是体系中的全面沉溺式体会。每个当地都有明暗两个版本，都有匹配的实在空问声响景象。
规划、录制和混合这些体会的声响：咱们能够自由地发明和策划最好的实践，使运用程序的声响以最好的方法补偿其视觉作用。
创立实践声响景象：咱们运用了不同的麦克风来录制环境音，以捕捉一个当地周围的空气声响。然后，咱们运用高灵敏度的定向麦克风来捕捉咱们正在寻找的特定声响。
在环境中放置音频目标：咱们能够从实在生活经验中获取创意。当咱们走出去时，许多不同类型的动物会从不同的方位发出声响，它们都层叠在一同构成一个声响景象。咱们的使命是以正确的间隔和方位从头创立这个声响。

总的来说，这个讲座强调了在规划沉溺式声响体会时，需求考虑的一些要害准则，包含空间音频的运用，规划 UI 和沉溺式运用的声响，规划 UI 声响，运用声响规划更沉溺式的体会，规划、录制和混合这些体会的声响，以及在环境中放置音频目标。

空间输入规划准则（空间交互 – 全新的输入体系）

developer.apple.com/videos/play…

了解怎么为眼睛和手规划出色的交互。咱们将同享空间输入的规划准则，探究输入法的最佳实践，并协助您发明舒适、直观和令人满足的空间体会。

上述内容首要是关于在数字界面交互中手势和眼睛的作用。以下是首要的要点：

手势交互：手势是首要的交互方法，能够经过捏、拖动等操作进行交互。UI 反应应持续手部的运动，以增强交互的连贯性。在规划交互时，应运用用户了解的方式，并保证手势的呼应契合用户的预期。
自界说手势：关于无法用规范手势表达的行为，能够界说自界说手势。自界说手势应易于了解和履行，与体系集合的规范手势显着不同，且用户能够在不感到疲芳的情況下连续重复。
眼部定向：眼部定向与手势相结合，能够创立准确和满足的交互。这使得交互更精密和满足。
直接接触：咱们支撑运用指尖直接接触和交互。在规划直接交互时，咱们要考虑到长期悬空的手会感到疲劳，因而需求供给充沛的反应以补偿缺失的感官信息。
音频的作用：音频在衔接输入与虛拟内容方面起到特别的作用。
规划的准则：运用与体系共同的手势言语，仅在无法运用规范集合完成期望行为时引进自界说手势，寻找运用眼睛作为目的信号的方法来改进交互，只要在直接交互是体会的中心时才运用它，并供给丰厚的反应以补偿缺失的感官信息。

总的来说，这段内容强调了眼部和手部在空间交互规划中的重要性，杰出了舒适性和人体工程学的重要性，并发起规划者和开发者在规划交互体会时考虑舒适性和可拜访性。

MR 中心技术（透视技术）

头带显示器自身具有显示虚拟国际的能力，怎么一同在用户的视界中出实践际国际与虚拟国际是完成 MR 体会的要害。下面是 MR 体会的两种不同计划，旨在解决怎么将实践国际显示在用户视界中的问题。

VST（视频透视 – Video See Through）

以 Apple Vision Pro、Meta Quest-3 等为代表。它运用摄像头等传感器，捕捉实在国际的影像，然后投射到屏幕上，看到的内容都是虚拟重建的。长处是能够构建一个愈加虚拟的国际，作用愈加梦幻。但是这也意味着对硬件、光线要求更高。如Vision Pro 选用多摄像头、双芯片计划，也进一步拉高了头显分量和成本价格。

实践体会作用请参考文档下方的 Vision Pro 真机体会章节。

VR 行业常用每 1 视界中像素点（角分辨率，PPD）归纳评判头戴设备的显示作用，到达人眼的作用需求到 60。现在的设备普遍只要 20 左右，而 Vision Pro 做到了 40。

OST（光学透视 – Optic See Through）

代表产品有 Microsoft Hololens-2、Rokid Max Pro 等。它能够经过一层玻璃，让人看到的永远是实在国际，在此根底上构建虚拟物品，能够和实践国际发生交互。它的长处是能让人感受实在的国际，眼镜方式愈加简便。但在现在底层硬件技术的限制下，也必然需求牺牲功能、续航和散热。并且还需求不断在功能和分量之间做取舍。

总结

OST 被称为真实的 AR，OST 或是未来首要透视解决计划，但当前 VST 的诸多长处使其成为当前的干流计划。AR 眼镜的透视首要选用 OST 计划，AR 眼镜的简便性或使其成为未来干流 XR 产品形态，相应 OST 也有望成为下一代干流透视技术计划，而 VST 则更适合于当前干流 VR 产品形态。OST 在亮度、实在国际分辨率、推迟、焦平面（影响晕眩感）有显着的优势，而 VST 则在遮挡作用、FOV、真假匹配、配准、亮度匹配等方面更为老练。从实机成像作用看，受制于现在光学技术瓶颈，OST 在颜色表现与真假交融等功能指标上下风较为显着，VST 尽管无法彻底还原实践国际，但真假组成后的显示作用仍具有较大优势。

下面是 VST 和 OST 的各项指标的比照：

VST	OST
亮度	100-600 尼特	6600 尼特+
实在国际分辨率	单眼 2k-4k	单眼 24K+
推迟	有推迟	实践国际无推迟，虚拟国际有推迟
焦平面	1 个焦平面	无数个焦平面，可防止幅辏抵触和眩晕
遮挡作用	合理遮挡	虚拟对实践不彻底遮挡
FOV	干流在 90-120 之间	干流在 30-70 左右
真假匹配	真假匹配共同	真假匹配不佳
配准信息	更易配准	仅靠头部追踪器匹配
亮度匹配操控	真假亮度易匹配	真假亮度难匹配

隐私和安全保护

Optic ID 是一个全新的安全认证体系，经过剖析在各种非可见 LED 光下的用户虹膜，并将其与存储在安全隔区的用户注册 Optic ID 比对以迅速解锁 Apple Vision Pro。用户的 Optic ID 信息彻底加密存储在设备上，不会储存在 Apple 服务器上，也无法被任何 app 所拜访。

用户在运用 Apple Vision Pro 时的浏览内容和眼睛追踪信息均不会与 Apple、第三方 app 或网站同享。除此之外，来自相机和其他传感器的信息均直接在设备端处理，所以 app 不需求看见用户的周围环境来供给空间体会。EyeSight 也包含一个视觉指示灯，让周围的人知道用户正在拍照空间相片或空间视频。