XR 基地是一个专注于 XR 范畴的创造者社区，咱们的方针是 让 XR 开发变得更简略！
本期封面
本期封面，分享一个 Yehor Haiduk 所创造的 Smart Home Vision Pro OS UI。比照一下手机上常见的智能家居的紧凑列表风格，是不是感觉在空间核算中，除了开发者，规划师也由于 “无限的画布” 而被放开了许多约束呢？
目录
BigNews
- AOUSD 发布了其接下来两年的途径图以及新的协作成员
- iOS 17.2 正式版推送了：从现在开始，记录归于你自己的立体回想
- MLX —— Apple AI 的又一大动作
- Meta 推出 Relightable Gaussian Codec Avatars 以在 VR 上实时呈现重照明的人头模型
Ideas
- AI + XR = 恣意门？
- Quest 上那些不容错失的运用
- 运用 Passthrough AR 千里来相会
Tools
- Gaussian Splatting Web 运用再进化：特效 & WebXR
- 从 2D 简笔画生成 3D 模型
- Cognitive3D —— XR 中的用户剖析东西
Video & Code
- SwiftUI + Metal – 经过构建自己的着色器来创立特殊作用
SmallNews
- 嚯！这些手势操作现已完成了！
- Xbox Cloud Gaming （beta）登陆 Quest 3
BigNews
AOUSD 发布了其接下来两年的途径图以及新的协作成员
关键词：AOUSD、Unity、Meta、Khronos Group
在 006 期 中，咱们向咱们介绍了 AOUSD 的成立以及其带来的或许影响。
一晃四个月过去了，AOUSD 又放出了两个重大信息：未来两年的途径图，以及新参加的成员：Cesium、Chaos、Epic Games、Foundry、Hexagon、IKEA、Lowe’s、Meta、OTOY、SideFX、Spatial 和 Unity。
这些新参加的成员，根本都是对 3D 模型有需求的、各个范畴中的佼佼者，其范畴包括了电影、游戏、零售、科研等。
一同，AOUSD 还宣布其与 glTF 背后的组织——Khronos Group 联系并达到了 一些协作，二者将会尽力保证 glTF 和 USD 之间产生不必要的兼容性问题。
而在途径图这儿，由于 AOUSD 的主要方针便是 USD 格式的标准化，因而就像浏览器的 W3C 标准一样，这必定是一个长时间的标准化工程。在 AOUSD 的途径图中，其计划将其规范分红三层，分别为 Computed Data、Composed Data 和 Foundation 层，外层应该能够稳定地调用内层的各项才能：
未来两年，AOUSD 将会把精力放在 Foundation 这一层，并在 2024 年 Q1 发布第一个草稿，在 2024 年的 Q4 对草稿进行修订，终究在 2025 年 Q3 发布终究草稿。
假如没有什么意外的话，掐指一算，到 2025 的 Q4，咱们的 Newsletter 应该要出到 60+ 期了，到时分，咱们再来检查一下 AOUSD 的作业成果（喂！提前给自己挖坑真的好吗？)
iOS 17.2 正式版推送了：从现在开始，记录归于你自己的立体回想
关键词：iOS 17.2、Spatial Video、Apple Vision Pro
跟着 iOS 17.2 系统的正式推送，之前购买 iPhone 15 Pro 系列的用户总算能够尝试这个独占功用了。为了帮助咱们能够更好地玩起来空间视频，咱们也在 iOS 17.2 上新上的空间视频，要这样玩 中为咱们详细解读了在当时应该如何玩起来空间视频。
MLX —— Apple AI 的又一大动作
关键词：深度学习结构、Apple Silicon、GPU
扎根深度学习的小伙伴关于 Pytorch 肯定是一目了然了，可是最近 Apple 推出了自己的深度学习结构：MLX！它不仅仅是为开发者供给了有一个能够挑选的结构，关于 Mac 日益增长的 GPU 性能来说，这更是一个 Game Changing Tool！
上方左图为 训练 Graph Conv Nets，右图为 Wisper 性能实时比照
然鹅激动之余，咱们肯定也有这样的疑惑：为什么要推出 MLX 而不是在 Pytorch 里完成呢？
Apple 的工程师 解释道：首要是能充分运用 Mac 的特性（比方统一内存，这就不需求考虑数组到底创立在 CPU 仍是 GPU）；保留了其他结构中的精华部分；整体结构简略、灵活而且是 hackable 的。
咱们也附和他的说法，特别是在一些特定范畴，GPU 的显存是许多算法的瓶颈，而 Mac 的统一内存规划能够让 GPU 的内存轻松打破 NVIDIA H100 的 80 GB。（尽管咱们都说 Mac 的内存像金子一样贵，可是相比 NVIDIA 仍是良心不少）别的，官方现已给出了一些 模型的运用比方。
- LLM 模型：Meta 参数量达 7B 到 70B 的 LLaMA、参数量达 7B 的 Mistral、微软参数量达 2.7B 的 Phi-2
- 语音辨认模型：OpenAI 的 Whisper
- Fine Tune 模型：LoRA
当然假如你期望将模型运行在移动设备上（比方装备 Apple Silicon 的 iPad 以及 Apple Vision Pro），你能够参阅：
别的引荐一个能实时监测 Apple Silicon 上 CPU、GPU 以及内存性能的东西：asitop，不过现在还有一点小 Bug，关于 M2 以及 M3 系列的芯片监测 没有做好，咱们能够实时关注一下最新进展。
Meta 推出 Relightable Gaussian Codec Avatars 以在 VR 上实时呈现重照明的人头模型
关键词：Head Avatar， Relighting， Gaussian Splatting， Codec Avatar
为了提高用户佩带 MR 头盔时的交互沉溺感，无论是 Apple Vision Pro 的 Persona 仍是 Meta 的 Codec Avatar，都会想办法经过设备端相机实时捕获用户的表情，来驱动一个真实感人头模型。其中，Persona 现已能在头戴端实时驱动呈现，而 Codec Avatar 尽管有更精细的重建作用，但对核算量的要求相当高。
几天前，Meta 发布了一项他们的 新作业，运用 Gaussian Splatting（简称 GSplats）对 Codec Avatar 中耗时最长的体烘托步骤进行了一波加快，终究完成了能在 VR 下进行实时呈现高精度人头模型的作用。
与通用场景的 GSplats 不同的是，人头模型一般能够规范化（五官的排布位置大多相似）。因而 Meta 的这项作业，会在一个规范化后的人头展开 UV 图上来参数化 GSplats 和辐射传输的相关函数（也便是上图中看起来扁扁的人头参数化 UV 图），再结合 GSplats 和预核算加快的烘托流程，进而完成可重照明的真实感人头烘托。
当然，尽管运用了 Gaussian Splatting 加快，现在也有不少难点需求解决。比方，人头的重建数据需求上百个同步相机和可控 LED 环境下捕获，而 VR 上的实时呈现一般也需求 PC 级 GPU 串流才干完成。
Ideas
AI + XR = 恣意门？
关键词：Quest、MR、MoonVR、Skybox
一切看过机器猫哆啦 A 梦的人，都应对漫画中的恣意门印象深刻——只需跨越这道门，就能够来到各种不同的国际。
而在编写 Newsletter 003 的 SkyboxLab 这个主题时，咱们其实就在想， 能不能把这项技能结合到 XR 国际中？
而现在，MoonVR 为咱们带来了这样的实践产品——AI Skybox Generator。
这是一款能够在 Quest 中运用 AI 的 Prompt 实时生成 Skybox 的 App，除了自己创造和输入 Prompt，你还能够在网友们丰富的创造中挑选你喜爱的天空墙。
一同，得益于 Quest v54 更新的 Custom Skybox 功用，你也能够将这些精巧的 Skybox 下载到你的 Quest 中，并作为你的主控室的布景墙运用。
别的值得一提的是，MoonVR 团队现在也正在积极的将这个 App 迁移到 Apple Vision Pro 中，你能够在 Reddit 中看到他们现在现已达到的作用。
Quest 上那些不容错失的运用
关键词：Quest、官方 Demo、免费运用
依据黑五的销售以及在线人数显现，越来越多的人购买了 Quest 设备。可是咱们或许会发现一些有意思的运用、游戏要么很贵（而且即便你在别的渠道买过还要再买一次）要么找不到。为了让咱们的 Quest 不那么快的吃灰，咱们这儿引荐几个官方的运用，尽管流程比较简略，可是由于是官方出品，且每个运用由于都是为了展现一个新的特性，所以制造精巧值得上手体会。走过路过不容错失。
介绍：官方制造的一个装满玩具魔盒和一个机器人向导的小屋，在这个小屋里能够结交一位新朋友，然后它一同玩。尽管不支撑手势交互，可是里边物品的交互规划很有创意。
适配设备： 一切 Quest 设备，运用过程无需联网。
介绍：主要是用于开发者参阅的 Interaction SDK 示例作用展现。Interaction SDK 是一个能够让开发人员能够更简略、更快速、更轻松地在虚拟实际或混合实际中构建高质量的交互的 SDK，经过这个运用能够快速了解 SDK 支撑的包括戳（poke）、手抓（hand grab）、接触抓取（touch grab）、射线（ray）、远距离抓取（distance grab）、手势辨认（post recognition）等交互示例。
适配设备：一切 Quest 设备，支撑手势交互，运用过程无需联网。
介绍：在 Quest Interaction SDK 发布后的首个官方手势交互 Demo。一共 4 个任务，从最开始的制造机器手套，进行射击游戏，到之后的互动、瞬移、解密，在这儿面，你能真实的感受到手势交互的魅力。
适配设备：Quest 2 及之后的一切设备，支撑手势交互，运用过程无需联网。
介绍：运用语音和手势 Oppy 互动，能够让 Oppy 跳跃，走近你，或许仅仅打个招呼。 运用魔法手电筒在你自己的房间里找到能量球，把它们喂给 Oppy，这样她就能够回家了。尽管只有 5 分钟，但却是一段奇妙的 MR 体会！
适配设备：一切 Quest 设备，支撑手势交互，支撑 Passthrough，需求联网。
介绍：喜爱玩音游的朋友不要错失！经过指挥管弦乐队，在歌剧院中演奏史诗般的交响音乐会。（拿一支笔或许一根筷子能够解锁高级指挥家体会哈哈）
适配设备：一切 Quest 设备，支撑手势交互，不需求联网。
介绍：最后，也是被咱们议论最多的一个 MR 游戏。主要内容是去帮助一群迫降在房间内的心爱生物回家。经过射击，在有限的时间内帮助它们进入救生船，射偏的子弹还会打碎房间的墙壁，确实是一个虚拟与实际风趣结合的小游戏。假如你在日本的 Meta 线下店，就会看到这个游戏是店员引荐玩耍的 MR 游戏之一。
适配设备：Quest 3，支撑 Passthrough，不需求联网
运用 Passthrough AR 千里来相会
关键词：Passthrough AR、VRChat
推友 ShodahVR 运用 Quest3 的 Passthrough AR 功用制造了一个风趣的展现，将千里之外的网友带入了自己的国际中。从完成上，ShodahVR 首要打开了 Virtual Desktop 的 passthrough 功用，然后在 VRChat 中找到一个名为 greenscreen 的国际，然后完成了这种绿幕下叠加真实国际的作用。
Tools
Gaussian Splatting Web 运用再进化：特效 & WebXR
关键词：Gaussian Splatting、WebGL、WebXR
LumaAI 近期推出了 Luma WebGL Library ，这个结构能够将 Gaussian Splatting 的烘托结构与 three.js 的烘托管线进行了交融，然后能够方便地运用 Web 来分享各类 Luma splats 重建的结果，并增加一些风趣的特效。
例如，给重建的好莱坞场景增加云雾作用。
或许，将 Luma splats 的场景烘托成 cubemap，并当做 three.js 的场景的 HDRI 环境光（场景中的高反射飞船能够倒影出雪山的概括）。
乃至，咱们还能够运用定制的 Shader 对 Luma splats 的 vertex 和 fragment shader 进行 hook，然后完成一些独特的运动特效（如让整个山峦呈现出正弦波一般的滚动）。
值得一提的是，Luma splats 一同还支撑了 WebXR 上的烘托，这意味着咱们能够运用 Quest，PICO，Vision Pro 乃至是 Leia 全息显现器 上体会到立体的 Gaussian Splatting 了。
关于还没有这些设备的朋友，咱们也能够在 Vision Pro 模拟器的 Safari 中沉溺式预览 Luma splats。
注：需求预先在 Settings > Apps > Safari，在 Advanced 最底下找到 Feature Flags 打开 WebXR 相关功用。
从 2D 简笔画生成 3D 模型
关键词：Sketch-to-3D、AI、3D Assets Generation
咱们是否还记得在 Newsletters 第 12 期 的时分，咱们介绍了 CSM.ai 的单张图生成 3D 模型和实时 AI 绘画东西的大迸发。现在，CSM.ai 将这 两项功用强强联合，让用户能够直接在网页上经过 2D 简笔画和文字描述，实时绘制出具有洁净布景的物体图画，最后就能够生成 3D 模型。
Cognitive3D——XR 中的用户剖析东西
关键词：3D Analytics、Unity、Cognitive3D
在移动端，许多产品都会运用相似 Google Mobile App Analytics 这样的东西来帮助自己剖析用户的行为，以帮助其更好的迭代自己的 App。
那么，相同的工作，在 VR/AR 里头，应该怎么做呢？
这儿，咱们就要请出本次的主角——Cognitive3D，一款能够在 VR/AR 中度量用户行为的 3D 剖析渠道，它支撑在 Unity/Unreal/C++ 三个渠道中集成运用。
Cognitive3D 的集成和运用都十分简略。这儿咱们以 Unity 项目为例，在将对应的 Unity Package 引进项目并填写必要的 Developer Key 之后 ，你只需求将 Hierarchy Window 中的 Camera、Left/Right Controller 拖放到 Cognitive3D 的 Setup Window 中，然后将项目的 Geometry 上传，就完成了根本的设置。
接下来，在用户在 VR 设备中玩耍后，用户的一切的玩耍过程就会被记录并上传到 Cognitive3D 的后台，并且能够以回放的形式展现用户的一切操作（看到这么完整的场景，是不是瞬间就理解了为什么在前面咱们需求上传 Geometry）：
当然，除了可视化展现，根本的事件上报等一般剖析渠道拥有的才能，Cognitive3D 都拥有，你乃至能够设定一些自定义的用户行为组合（在 Cognitive3D 将其称之为一个 Objective），并直接在网页上查看玩耍的用户是否达到了既定方针。
假如你想快速得对 Cognitive3D 有一个直观的认识，那你能够快速查看一下 Valem Tutorials 的 这一期视频。更详细的运用方法能够参阅 Cognitive3D 的 官方文档。
Video & Code
SwiftUI + Metal – 经过构建自己的着色器来创立特殊作用
关键词：SwiftUI、Metal、Shader
该主题来自社区投稿，感谢 XR 栗 投稿本主题
Shader，游戏国际各种奇特作用的幕后顶梁柱，在众多客户端开发者的眼里却或许会有些生疏。
不过，这一切跟着 SwiftUI 和 Metal 的呈现，或许要逐渐有所变化了。在 Paul 的 这期视频 中，他为咱们由浅入深地介绍了如安在 Metal 中创立基础着色器并在 SwiftUI 中运用。一同，在视频的结束，他还引荐了 The Book Of Shaders 与 ShaderToy 这两个网站，前者以愈加系统和深化的方法讲解了 Shader，而后者则供给美观的 Shader 作用与源码。
除了该视频，Paul 还十分贴心地发起了 Inferno 这个项目，这个项目中汇聚了众多为 SwiftUI 所规划的各种 Shader，主张调配本视频食用。
Small News
嚯！这些手势操作现已完成了！
关键词：手势操作、手势截图、手势暂停/播映
早在 Newsletter 的 第 8 期，咱们就有想象期望在 Vision Pro 中完成一个手势截屏的操作，依据网友 Luna 的分享，这个操作现在在 Horizon 里现已完成了！
一同，在华为上呈现过的隔空手势操作，现在 Readdle 也支撑了！在运用内播映视频的时分就能够经过手势进行操作，比方从远到近是暂停或继续播映视频，手势向左或向右是快进视频，而这一切的手势辨认都是在设备端完成的。咱们也尝试了一下，暂停或继续播映的手势操作辨认灵敏度高，而快进视频的操作则有必定的灵敏度问题。
Xbox Cloud Gaming（beta）登陆 Quest
关键词：Quest、Xbox、Microsof、CloudGame
总算，总算，Quest 上总算能够用 Xbox Cloud Gaming 来玩各种 3A 大作了，你能够先尝试运用一下 Xbox Game Pass Ultimate。
依据 Meta 官方的说法， 现在这项功用支撑 Quest 2、Quest Pro 和 Quest 3。而在手柄方面，现在仅支撑 Xbox 控制器、PS4 控制器和 Nintendo Switch Pro 控制器，未来将会支撑 PS5 控制器。
假如你是一个 Xbox 的死忠粉，那就快去 Meta App Store 下载 Xbox Cloud Gaming （Beta） 吧！
本期贡献者
| Link | Image |
|---|---|
| 我便是御姐我摊牌了 |
 |
| 章子飏 |
 |
| 镑镑 |
 |
