visionOS 27 为空间开发者带来哪些新功能

visionOS 起步时，真正重要的上手途径只有一条：用 SwiftUI 与 RealityKit 打造原生 App，或者勾选「Designed for iPad」推出一个面板。visionOS 27 新增了第三扇门，并拓宽了第二扇。如今你完全不需要 visionOS 构建，就能直接从 Mac App 延伸空间内容，通过 Wi-Fi 从 PC 串流完整的 OpenXR 体验，并在 Safari 里的网站背后放上真正的 3D 环境。这个版本读起来不太像功能清单，反而更像是 Apple 在回答一个问题：你既有的成果如今落脚何处，然后就到那里与你会合。¹

贯穿所有这些公告的主线是触达。物体追踪以同一批训练好的参考物体触达 iOS。Spatial Preview 从 macOS 的「预览」触达 Vision Pro。Foveated Streaming 触达 Windows PC。空间网络触达一个网页。Apple 在这个周期里致力于缩短你既有内容与其空间呈现之间的距离，而这四个全新入口正是明证。以下各节逐一介绍，并配上 Apple 演示该功能的会议片段，以及为其定锚的具名说法。

在会议 287 中，Apple 的 Vision Products Group 将 M5 世代的 Apple Vision Pro 描述为桌面级的算力，每眼超过 4K 像素、90Hz 手部追踪，接着把全新的第三条路径定位成一种把既有 macOS 与 PC 体验带上平台、而非重新打造的方式。²

TL;DR／要点总结

• Spatial Preview 是 macOS 27 的全新框架，它通过 Quick Look 将空间照片、Apple Immersive Video 帧、PDF 与实时 USD 场景从 Mac 送到 Vision Pro，完全不需要 visionOS App，并内建 SharePlay 审阅功能。³⁴
• Foveated Streaming（于 visionOS 26.4 推出）将 Vision Pro 连到 PC，通过 Wi-Fi 串流 OpenXR 内容，利用 NVIDIA CloudXR 按视线压缩串流，并自动回传手部与控制器输入。⁵
• 物体追踪获得高帧率追踪、针对手持物体的扩展版 Create ML 训练模式，以及供测量使用的公制空间姿态 API，而且现在能以同一批参考物体在 iOS 上运行。⁶
• 现在任何人都能打造空间配件：一块载有追踪 LED、IMU 与 Bluetooth 的电路板，通过 GCSpatialAccessory 发现，并以 Create ML 套件训练成参考配件文件。⁶
• 空间网络日趋成熟：Safari 窗口变得更宽、会弯曲，Web Environments 默认开启，而一个（仿照全屏设计的）JavaScript requestImmersive API 能让网页把访客送进 3D 环境之中。²⁷
• RealityKit 新增 Projective Textures、Cloth Simulation、Custom Reverb Mesh 与 Gaussian Splatting；Reality Composer Pro 3 新增 AI 助手、Animation Graph、Script Graph 与导航网格。²

第三条路径：来自 Mac 的 Spatial Preview

这个版本中最低调却最重要的新增功能，完全不需要任何 visionOS 代码。Spatial Preview 是 macOS 27 的框架，能让 Mac App 把空间内容推送到已配对的 Vision Pro 并实时更新。visionOS 端由 Quick Look 接收内容，因此创作者能以实际尺寸在 3D 场景中移动、切换摄影机视角、应用材质覆盖并留下批注，全程无须任何人写下一行 visionOS UI。³

在会议 282 中，Apple 的 visionOS 团队说明该框架提供两种会话类型：用于空间照片、视频与 PDF 等文档类型的文档预览会话，以及用于 3D 内容的 USD 预览会话，Quick Look 会在 Vision Pro 上启动，visionOS 端无须任何代码。⁸ 端点可以是已通过 Mac Virtual Display 连接的设备，也可以是同一 iCloud 账号下、通过设备选择器挑选的任一就近 Vision Pro。⁸

3D 路径才是这个框架真正展现价值之处。USD 预览会话会接收一个 USD stage，在 Vision Pro 的立体视图中打开，并让人以实际尺寸踏入完整的沉浸式视图。编辑会通过实时 USD stage 双向流动，因此在 Mac App 里所做的布局变更会在 Vision Pro 上以空间方式呈现，而在头戴设备里加入的批注也会反映回 Mac。Apple 指出，该框架会在分享前先优化沉重的 USD 场景，采用网格简化、纹理降采样，必要时还会进行完整场景重建，而重建后的场景即使不再可编辑，仍可查看与批注。⁹ SharePlay 支持意味着第二位审阅者能加入同一个实时会话，这把资产审阅从「渲染再发邮件」的循环变成共处一室。Apple 举 Cinema 4D 与 SketchUp 为这套工作流程所瞄准的那类内容工具。³⁹

Foveated Streaming：把 PC 装进头戴设备

第二条拓宽的路径走的是相反方向：你不是从 Mac 推送内容，而是从 Windows PC 串流完整的 OpenXR 体验。Foveated Streaming 由 Apple 于 visionOS 26.4 推出，能让 Vision Pro 连上外部设备、回传输入（手部、控制器位置、麦克风），并接收在远端渲染的视频与音频。⁵ 这个名字道出了其中诀窍：系统按视线压缩串流，把你专注的区域以较高细节传送，周边则以较低带宽传送，靠的是 Vision Pro 的眼动追踪。⁵

在会议 286 中，Apple 的工程团队表示，NVIDIA CloudXR 已内建于 visionOS，性能足以无线缆地通过 Wi-Fi 从本地 PC 或云端串流，而团队大约一天就能让 OpenXR 应用串流起来，并在一周内加上 visionOS 专属功能。¹⁰ 这套架构有两半：一个建立在 FoveatedStreamingSession API 之上的 visionOS 接收端 App，以及一个实现 Apple Foveated Streaming Protocol（一条负责认证与条码配对的轻量 TCP 连接）并使用 CloudXR OpenXR 运行时的 OpenXR 主机 App。¹⁰

让这项功能不只是远程桌面的关键细节，在于它与原生框架的集成。接收端 App 通过 ImmersiveSpace 呈现串流内容，而 Apple 建议采用渐进式沉浸风格，让体验通过一个锚定于室内的入口显现。¹⁰ 会话上的 message-channels API 能双向承载不透明数据，因此 SwiftUI 的关卡选单可在 PC 上触发加载，而来自头戴设备的 ARKit 数据能把串流场景对齐到实体设备上。Laminar Research 的 X-Plane 12 用的正是这一招：ARKit 找到实体飞行模拟器，message channels 把它的位置同步到 PC，真实与虚拟的座舱便对齐吻合。⁵¹⁰ 只要提供深度缓冲区，甚至能让串流内容与设备端的 RealityKit 内容彼此遮挡。¹⁰

沉浸式环境与空间网络

有两场会议从相反两端探讨环境这件事：打造照片级逼真环境的工艺，以及把环境放到网页背后的全新能力。两者都重要，因为 visionOS 27 把 Web Environments 默认开启，于是 Safari 窗口如今能像原生 App 一样坐落于某个背景之中。²

在会议 320 中，Apple 的 visionOS Safari 团队介绍了一个仿照 JavaScript 全屏 API 设计的沉浸式 API：原本你会在视频上调用 requestFullscreen，现在则在 HTML model 元素上调用 requestImmersive，把它送出浏览器范围之外，同时页面仍保持可见。⁷ 工程师演示了一个场馆网站，先就地预览从选定座位看出去的视野，再轻点一下沉浸式地进入剧院，并强调两条值得内化的参考系规则：内联模型以 CSS 比例居中于其图层，而沉浸式模型则以真实世界比例锚定于人的脚边；沉浸式环境会从 Safari 窗口后方打开，因此你的主要焦点仍留在窗口不会遮住的地方。⁷ 一项实用的优化让整个流程更完整：在模型元素上设置 display: none 会隐藏内联预览，并把资产的下载与解码延后到沉浸式请求触发之时，为那些从不进入的访客节省带宽。⁷

打造一个令人信服的环境，背后的设计功夫自成一门学问，而这些原则可直接迁移到网络环境上。

在会议 234 中，Apple 的环境设计团队指出，完全沉浸的观看者在其视野中可见场景约 81 度，理想的 360 度全景以 14,400 乘 7,200 像素为目标（在每度 40 像素下保持锐利），而昂贵的动态（不断变化的云、摇曳的棕榈叶、Bora Bora 环境里拍碎的浪）则以低成本近似呈现，靠的是 UV flow map、滚动的阴影遮罩与分层的正弦波顶点动画，而非实时模拟。¹¹ 这场会议的结语建议也可当作任何空间工作的准则：对于你加入或移除的一切都要心怀意图，并且在信任自己的设计之前，先试着亲手把它打破。¹¹

物体追踪日趋成熟并跨足 iOS

物体追踪在 visionOS 2.0 问世，它把实体物体变成虚拟锚点：你从一个 USDZ 模型起步，在 Mac 上以 Create ML 训练出参考物体，再把它交给追踪 API 以接收位置与方向更新。⁶ visionOS 27 从三个方面强化了这项能力，并把它扩展到第二个平台。

在会议 283 中，Apple 的 visionOS 团队详述了这三项升级：针对在空间中移动之物体的高帧率追踪；针对手持物体提升准确度与鲁棒性的扩展版 Create ML 训练模式（代价是训练时间明显拉长）；以及一个坐标空间校正 API，它返回的姿态可以是已渲染的（含显示校正，让虚拟内容在视觉上与物体对齐），也可以是真正的公制空间、不含任何校正——正是手术训练探针这类测量场景所需。¹² 这场会议也确认了一个实用的备选方案：当你无法获得照片级逼真的 3D 模型时，可以 3D 打印一个标记、把它装到物体上，并把该标记当作参考物体使用。¹²

跨平台这一步才是重头戏。物体追踪如今通过 ARKit 在 iOS 上运行，而由于 Create ML 训练与平台无关，同一个训练好的参考物体能在 iOS 与 visionOS 上以相同的追踪质量运作。⁶¹² 在 iOS 上，你把参考物体加载进世界追踪配置，为每个物体指派静态检测或高帧率追踪，并在会话委托中处理产生的物体锚点。¹²

与之相伴的是空间配件这条故事线。visionOS 26 推出了 Logitech Muse 与 PSVR2 Sense 控制器；visionOS 27 则让任何人都能自己打造一个。空间配件是一块电路板，上面载有一组追踪 LED 的星座排列、一个用于方向与加速度的 IMU，以及一颗 Bluetooth 芯片，外加选配的按钮、触控板与触觉反馈，安装进你想追踪的任何物体。⁶ 你可在开发者设置中用 ARKit 的配件追踪调试视图验证成品，以 Create ML 套件（一个标注了 LED 与 IMU 位置的 USDZ）将其训练成参考配件文件，再通过全新的 GCSpatialAccessory 类发现它，并运行一个配件追踪提供者。¹² Apple 表示，制造商 DFRobot 与 MikroE 将于今年稍晚推出现成的参考硬件与开发套件，因此对于不想自制电路板的团队而言，已有即插即用的零件可用。²¹² 与物体追踪之间的取舍，从会议中可一目了然：物体追踪在测量精度上胜出，而空间配件则在快速移动物体的刷新率与延迟上胜出，并额外带来实体按钮与触觉反馈。¹²

RealityKit 与 Reality Composer Pro 3

原生路径也没有原地踏步。RealityKit 新增了 Projective Textures（带纹理的聚光灯，可呈现彩绘玻璃投影或水下焦散等效果）、能实时让布料垂坠与折叠的 Cloth Simulation、可模拟声音在空间中如何被木头、金属与石材散射的 Custom Reverb Mesh，以及能扫描实体物体并以 3D splat 形式导入的 Gaussian Splatting。² Reality Composer Pro 3 则是一次更大规模的翻新：一个能依描述生成 3D 模型的 AI 助手、用于运行时转场的 Animation Graph 状态机、用于交互逻辑且可在 Vision Pro 上实时预览的节点式 Script Graph，以及让角色绕过障碍物寻路的导航网格——这一切都无须打开 Xcode。² 对于早已投入原生技术栈的团队而言，编辑器这部分的改进对日常开发速度的影响最大。

该先采用哪一个

一个带有四个全新入口的版本，奖励懂得分流取舍的人。请从距离你既有成果最近的地方着手。

1. 若你有一个 Mac 内容 App，就先做 Spatial Preview 的原型。 它内建于 macOS「预览」，以 API 形式开放同一批功能，且无须 visionOS 构建，因此打造第一套空间审阅工作流程的成本几近于零。³⁸
2. 若你推出的是网络产品，就开启 Web Environment 并测试 requestImmersive。 Web Environments 默认开启，这个沉浸式 API 呼应你早已熟悉的全屏 API，而单个 model 元素加上一次调用，就足以把访客送进一个场景。²⁷
3. 若你有 OpenXR 或 PC 体验，就把它串流出来。 Apple 的开源示例与参考协议实现让一条 Foveated Streaming 连接在一天之内即可达成，而 SwiftUI、ARKit 与 RealityKit 的原生集成则是从那里再往上叠加。¹⁰
4. 若你的 App 已经在做物体追踪，就采用公制空间姿态与 iOS 移植版。 坐标空间校正 API 让测量成为可能，而同一批参考物体如今无须重新训练即可在 iPhone 与 iPad 上运行。⁶¹²
5. 把自制空间配件当作较晚的赌注。 打造一块电路板是投入最高的路径；除非带触觉反馈的快速动态输入是你体验的核心，否则请静待 DFRobot 与 MikroE 的参考套件。¹²

这条主线与整个版本一致：采用那条能在你既有内容所在之处与其会合的路径，并把那条要求你打造全新硬件的路径往后延。

常见问答

visionOS 27 中的 Spatial Preview 框架是什么？

Spatial Preview 是 macOS 27 的框架，能让 Mac App 把空间内容（空间照片、Apple Immersive Video 帧、PDF、普通图像，以及实时 USD 3D 场景）送到已配对的 Apple Vision Pro，由 Quick Look 显示，完全不需要 visionOS App。³⁸ 它为媒体与文档类型提供文档预览会话，为 3D 内容提供 USD 预览会话，支持 USD stage 的实时双向编辑，并内含 SharePlay，让协作者能一同审阅同一个场景。⁸⁹

Foveated Streaming 如何运作，又需要哪些条件？

Foveated Streaming 把 Vision Pro 连到 Windows PC 之类的外部设备，以视频与音频串流 OpenXR 内容，同时 visionOS 会自动回传输入（手部、控制器位置、麦克风）。⁵ 它利用 Vision Pro 的眼动追踪按视线压缩串流，运行于内建在 visionOS 的 NVIDIA CloudXR 之上，并能在无线缆的情况下通过 Wi-Fi 运作。你在 FoveatedStreamingSession 上建立一个 visionOS 接收端，并打造一个实现 Apple Foveated Streaming Protocol 与 CloudXR OpenXR 运行时的主机 App。⁵¹⁰

我现在能在 iPhone 上使用物体追踪吗？

可以。visionOS 27 通过 ARKit 把物体追踪带上 iOS，而由于 Create ML 训练与平台无关，你为 visionOS 训练的参考物体能在 iOS 上以相同的追踪质量运作。⁶¹² 在 iOS 上，你把参考物体加载进世界追踪配置，为每个物体指派静态检测或高帧率追踪，并在会话委托中处理物体锚点。¹²

我要怎么在 Safari 里把 3D 环境放到网站背后？

使用搭配 USDZ 资产的 HTML model 元素，并在响应用户交互时调用 JavaScript requestImmersive API，这呼应了全屏 API 的模式。⁷ 在 visionOS 27 的 Safari 中，Web Environments 默认启用，因此网页能像 App 一样拥有 3D 背景。² 请记得，沉浸式模型会以真实世界比例锚定于人的脚边，并从 Safari 窗口后方打开，而在模型上设置 display: none 会把资产下载延后到沉浸式请求触发之时。⁷

什么是空间配件，我必须自己打造硬件吗？

空间配件是一种电子设备，载有一组追踪 LED 的星座排列、一个 IMU 与一颗 Bluetooth 芯片（外加选配的按钮、触控板与触觉反馈），Apple Vision Pro 会以高频率、低延迟追踪它。⁶¹² visionOS 27 让任何人都能打造一个，通过 GCSpatialAccessory 发现，并以 Create ML 套件训练成参考配件文件。¹² 你不必自制电路板：Apple 表示 DFRobot 与 MikroE 将于今年稍晚推出现成的参考硬件与开发套件。²¹²

完整的 Apple Ecosystem 系列：visionOS 空间模式，点名了这些新路径会渲染进去的 Windows、Volumes 与 Immersive Spaces；RealityKit 空间心智模型，位于 Spatial Preview 与 Foveated Streaming 所组合的 3D 内容层之下；用一个 SwiftUI App 横跨五大 Apple 平台的功夫，如今因物体追踪触达 iOS 与 visionOS 而更显延伸；以及Apple 平台对照表，标示出每项能力的落脚之处。系列的中枢位于 Apple Ecosystem 系列。若想了解更广泛的「iOS 结合 AI 代理」背景，请参阅 iOS 代理开发指南。

参考资料