visionOS 27 為空間開發者帶來哪些新功能

visionOS 起步時，真正重要的上手途徑只有一條：用 SwiftUI 與 RealityKit 打造原生 App，或者勾選「Designed for iPad」推出一個面板。visionOS 27 新增了第三扇門，並拓寬了第二扇。如今您完全不需要 visionOS 建置，就能直接從 Mac App 延伸空間內容，透過 Wi-Fi 從 PC 串流完整的 OpenXR 體驗，並在 Safari 裡的網站背後放上真正的 3D 環境。這個版本讀起來不太像功能清單，反而更像是 Apple 在回答一個問題：您既有的成果如今落腳何處，然後就到那裡與您會合。¹

貫穿所有這些公告的主軸是觸及。物件追蹤以同一批訓練好的參考物件觸及 iOS。Spatial Preview 從 macOS 的「預覽程式」觸及 Vision Pro。Foveated Streaming 觸及 Windows PC。空間網路觸及一個網頁。Apple 在這個週期裡致力於縮短您既有內容與其空間呈現之間的距離，而這四個全新入口正是明證。以下各節逐一介紹，並搭配 Apple 展示該功能的議程片段，以及為其定錨的具名說法。

在議程 287 中，Apple 的 Vision Products Group 將 M5 世代的 Apple Vision Pro 描述為桌面等級的運算能力，每眼超過 4K 像素、90Hz 手部追蹤，接著把全新的第三條路徑定位成一種把既有 macOS 與 PC 體驗帶上平台、而非重新打造的方式。²

TL;DR／重點摘要

• Spatial Preview 是 macOS 27 的全新框架，它透過 Quick Look 將空間照片、Apple Immersive Video 影格、PDF 與即時 USD 場景從 Mac 送到 Vision Pro，完全不需要 visionOS App，並內建 SharePlay 審閱功能。³⁴
• Foveated Streaming（於 visionOS 26.4 推出）將 Vision Pro 連到 PC，透過 Wi-Fi 串流 OpenXR 內容，利用 NVIDIA CloudXR 依視線壓縮串流，並自動回傳手部與控制器輸入。⁵
• 物件追蹤獲得高影格率追蹤、針對手持物件的擴充版 Create ML 訓練模式，以及供測量使用的公制空間姿態 API，而且現在能以同一批參考物件在 iOS 上運行。⁶
• 現在任何人都能打造空間配件：一塊載有追蹤 LED、IMU 與 Bluetooth 的電路板，透過 GCSpatialAccessory 探索，並以 Create ML 套件訓練成參考配件檔。⁶
• 空間網路日趨成熟：Safari 視窗變得更寬、會彎曲，Web Environments 預設開啟，而一個（仿照全螢幕設計的）JavaScript requestImmersive API 能讓網頁將訪客送進 3D 環境之中。²⁷
• RealityKit 新增 Projective Textures、Cloth Simulation、Custom Reverb Mesh 與 Gaussian Splatting；Reality Composer Pro 3 新增 AI 助理、Animation Graph、Script Graph 與導航網格。²

第三條路徑：來自 Mac 的 Spatial Preview

這個版本中最低調卻最重要的新增功能，完全不需要任何 visionOS 程式碼。Spatial Preview 是 macOS 27 的框架，能讓 Mac App 把空間內容推送到已配對的 Vision Pro 並即時更新。visionOS 端由 Quick Look 接收內容，因此創作者能以實際尺寸在 3D 場景中移動、切換攝影機視角、套用材質覆寫並留下註解，全程無須任何人寫下一行 visionOS UI。³

在議程 282 中，Apple 的 visionOS 團隊說明該框架提供兩種工作階段類型：用於空間照片、影片與 PDF 等文件類型的文件預覽工作階段，以及用於 3D 內容的 USD 預覽工作階段，Quick Look 會在 Vision Pro 上啟動，visionOS 端無須任何程式碼。⁸ 端點可以是已透過 Mac Virtual Display 連線的裝置，也可以是同一 iCloud 帳號下、透過裝置選擇器挑選的任一鄰近 Vision Pro。⁸

3D 路徑才是這個框架真正展現價值之處。USD 預覽工作階段會接收一個 USD stage，在 Vision Pro 的立體視圖中開啟，並讓人以實際尺寸踏入完整的沉浸式視圖。編輯會透過即時 USD stage 雙向流動，因此在 Mac App 裡所做的版面變更會在 Vision Pro 上以空間方式呈現，而在頭戴裝置裡加入的註解也會反映回 Mac。Apple 指出，該框架會在分享前先最佳化沉重的 USD 場景，採用網格簡化、紋理降採樣，必要時還會進行完整場景重建，而重建後的場景即使不再可編輯，仍可檢視與註解。⁹ SharePlay 支援意謂著第二位審閱者能加入同一個即時工作階段，這把資產審閱從「算圖再寄電郵」的循環變成共處一室。Apple 舉 Cinema 4D 與 SketchUp 為這套工作流程所瞄準的那類內容工具。³⁹

Foveated Streaming：把 PC 裝進頭戴裝置

第二條拓寬的路徑走的是相反方向：您不是從 Mac 推送內容，而是從 Windows PC 串流完整的 OpenXR 體驗。Foveated Streaming 由 Apple 於 visionOS 26.4 推出，能讓 Vision Pro 連上外部裝置、回傳輸入（手部、控制器位置、麥克風），並接收於遠端算繪的影像與音訊。⁵ 這個名稱道出了其中訣竅：系統依視線壓縮串流，把您專注的區域以較高細節傳送，周邊則以較低頻寬傳送，靠的是 Vision Pro 的眼動追蹤。⁵

在議程 286 中，Apple 的工程團隊表示，NVIDIA CloudXR 已內建於 visionOS，效能足以無纜線地透過 Wi-Fi 從本地 PC 或雲端串流，而團隊大約一天就能讓 OpenXR 應用程式串流起來，並在一週內加上 visionOS 專屬功能。¹⁰ 這套架構有兩半：一個建立在 FoveatedStreamingSession API 之上的 visionOS 接收端 App，以及一個實作 Apple Foveated Streaming Protocol（一條負責驗證與條碼配對的輕量 TCP 連線）並使用 CloudXR OpenXR 執行階段的 OpenXR 主機 App。¹⁰

讓這項功能不只是遠端桌面的關鍵細節，在於它與原生框架的整合。接收端 App 透過 ImmersiveSpace 呈現串流內容，而 Apple 建議採用漸進式沉浸風格，讓體驗透過一個錨定於室內的入口顯現。¹⁰ 工作階段上的 message-channels API 能雙向承載不透明資料，因此 SwiftUI 的關卡選單可在 PC 上觸發載入，而來自頭戴裝置的 ARKit 資料能把串流場景對齊到實體設備上。Laminar Research 的 X-Plane 12 用的正是這一招：ARKit 找到實體飛行模擬器，message channels 把它的位置同步到 PC，真實與虛擬的座艙便對齊吻合。⁵¹⁰ 只要提供深度緩衝區，甚至能讓串流內容與裝置端的 RealityKit 內容彼此遮擋。¹⁰

沉浸式環境與空間網路

有兩場議程從相反兩端探討環境這件事：打造照片級擬真環境的工藝，以及把環境放到網頁背後的全新能力。兩者都重要，因為 visionOS 27 把 Web Environments 預設開啟，於是 Safari 視窗如今能像原生 App 一樣坐落於某個背景之中。²

在議程 320 中，Apple 的 visionOS Safari 團隊介紹了一個仿照 JavaScript 全螢幕 API 設計的沉浸式 API：原本您會在影片上呼叫 requestFullscreen，現在則在 HTML model 元素上呼叫 requestImmersive，把它送出瀏覽器範圍之外，同時頁面仍保持可見。⁷ 工程師示範了一個場館網站，先就地預覽從選定座位看出去的視野，再輕點一下沉浸式地進入劇院，並強調兩條值得內化的參考框架規則：行內模型以 CSS 比例置中於其圖層，而沉浸式模型則以真實世界比例錨定於人的腳邊；沉浸式環境會從 Safari 視窗後方開啟，因此您的主要焦點仍留在視窗不會遮住的地方。⁷ 一項實用的最佳化讓整個流程更完整：在模型元素上設定 display: none 會隱藏行內預覽，並把資產的下載與解碼延後到沉浸式請求觸發之時，為那些從未進入的訪客節省頻寬。⁷

打造一個令人信服的環境，背後的設計功夫自成一門學問，而這些原則可直接轉用到網路環境上。

在議程 234 中，Apple 的環境設計團隊指出，完全沉浸的觀者在其視野中可見場景約 81 度，理想的 360 度全景以 14,400 乘 7,200 像素為目標（在每度 40 像素下保持銳利），而昂貴的動態（不斷變化的雲、搖曳的棕櫚葉、Bora Bora 環境裡拍碎的浪）則以低成本近似呈現，靠的是 UV flow map、捲動的陰影遮罩與分層的正弦波頂點動畫，而非即時模擬。¹¹ 這場議程的結語建議也可當作任何空間工作的準則：對於您加入或移除的一切都要心懷意圖，並且在信任自己的設計之前，先試著親手把它打破。¹¹

物件追蹤日趨成熟並跨足 iOS

物件追蹤在 visionOS 2.0 問世，它把實體物件變成虛擬錨點：您從一個 USDZ 模型起步，在 Mac 上以 Create ML 訓練出參考物件，再把它交給追蹤 API 以接收位置與方向更新。⁶ visionOS 27 從三個方面強化了這項能力，並把它擴展到第二個平台。

在議程 283 中，Apple 的 visionOS 團隊詳述了這三項升級：針對在空間中移動之物件的高影格率追蹤；針對手持物件提升準確度與穩健度的擴充版 Create ML 訓練模式（代價是訓練時間明顯拉長）；以及一個座標空間校正 API，它回傳的姿態可以是已算繪的（含顯示校正，讓虛擬內容在視覺上與物件對齊），也可以是真正的公制空間、不含任何校正——正是手術訓練探針這類測量情境所需。¹² 這場議程也確認了一個實用的備案：當您無法取得照片級擬真的 3D 模型時，可以 3D 列印一個標記、把它裝到物件上，並把該標記當作參考物件使用。¹²

跨平台這一步才是重頭戲。物件追蹤如今透過 ARKit 在 iOS 上運行，而由於 Create ML 訓練與平台無關，同一個訓練好的參考物件能在 iOS 與 visionOS 上以相同的追蹤品質運作。⁶¹² 在 iOS 上，您把參考物件載入世界追蹤組態，為每個物件指派靜態偵測或高影格率追蹤，並在工作階段委派中處理產生的物件錨點。¹²

與之相伴的是空間配件這條故事線。visionOS 26 推出了 Logitech Muse 與 PSVR2 Sense 控制器；visionOS 27 則讓任何人都能自己打造一個。空間配件是一塊電路板，上面載有一組追蹤 LED 的星座排列、一個用於方向與加速度的 IMU，以及一顆 Bluetooth 晶片，外加選配的按鈕、觸控板與觸覺回饋，安裝進您想追蹤的任何物件。⁶ 您可在開發者設定中用 ARKit 的配件追蹤除錯視圖驗證成品，以 Create ML 套件（一個標註了 LED 與 IMU 位置的 USDZ）將其訓練成參考配件檔，再透過全新的 GCSpatialAccessory 類別探索它，並執行一個配件追蹤提供者。¹² Apple 表示，製造商 DFRobot 與 MikroE 將於今年稍晚推出現成的參考硬體與開發套件，因此對於不想自製電路板的團隊而言，已有隨插即用的零件可用。²¹² 與物件追蹤之間的取捨，從議程中可一目了然：物件追蹤在測量精度上勝出，而空間配件則在快速移動物件的更新率與延遲上勝出，並額外帶來實體按鈕與觸覺回饋。¹²

RealityKit 與 Reality Composer Pro 3

原生路徑也沒有原地踏步。RealityKit 新增了 Projective Textures（帶紋理的聚光燈，可呈現彩繪玻璃投影或水下焦散等效果）、能即時讓布料垂墜與摺疊的 Cloth Simulation、可模擬聲音在空間中如何被木頭、金屬與石材散射的 Custom Reverb Mesh，以及能掃描實體物件並以 3D splat 形式匯入的 Gaussian Splatting。² Reality Composer Pro 3 則是一次更大規模的翻新：一個能依描述生成 3D 模型的 AI 助理、用於執行階段轉場的 Animation Graph 狀態機、用於互動邏輯且可在 Vision Pro 上即時預覽的節點式 Script Graph，以及讓角色繞過障礙物尋路的導航網格——這一切都無須開啟 Xcode。² 對於早已投入原生技術堆疊的團隊而言，編輯器這部分的改進對日常開發速度的影響最大。

該先採用哪一個

一個帶有四個全新入口的版本，獎勵懂得分流取捨的人。請從距離您既有成果最近的地方著手。

1. 若您有一個 Mac 內容 App，就先做 Spatial Preview 的原型。 它內建於 macOS「預覽程式」，以 API 形式開放同一批功能，且無須 visionOS 建置，因此打造第一套空間審閱工作流程的成本幾近於零。³⁸
2. 若您推出的是網路產品，就開啟 Web Environment 並測試 requestImmersive。 Web Environments 預設開啟，這個沉浸式 API 呼應您早已熟悉的全螢幕 API，而單一個 model 元素加上一次呼叫，就足以把訪客送進一個場景。²⁷
3. 若您有 OpenXR 或 PC 體驗，就把它串流出來。 Apple 的開源範例與參考協定實作讓一條 Foveated Streaming 連線在一天之內即可達成，而 SwiftUI、ARKit 與 RealityKit 的原生整合則是從那裡再往上疊加。¹⁰
4. 若您的 App 已經在做物件追蹤，就採用公制空間姿態與 iOS 移植版。 座標空間校正 API 讓測量成為可能，而同一批參考物件如今無須重新訓練即可在 iPhone 與 iPad 上運行。⁶¹²
5. 把自製空間配件當作較晚的賭注。 打造一塊電路板是投入最高的路徑；除非帶觸覺回饋的快速動態輸入是您體驗的核心，否則請靜待 DFRobot 與 MikroE 的參考套件。¹²

這條主線與整個版本一致：採用那條能在您既有內容所在之處與其會合的路徑，並把那條要求您打造全新硬體的路徑往後延。

常見問答

visionOS 27 中的 Spatial Preview 框架是什麼？

Spatial Preview 是 macOS 27 的框架，能讓 Mac App 把空間內容（空間照片、Apple Immersive Video 影格、PDF、一般影像，以及即時 USD 3D 場景）送到已配對的 Apple Vision Pro，由 Quick Look 顯示，完全不需要 visionOS App。³⁸ 它為媒體與文件類型提供文件預覽工作階段，為 3D 內容提供 USD 預覽工作階段，支援 USD stage 的即時雙向編輯，並內含 SharePlay，讓協作者能一同審閱同一個場景。⁸⁹

Foveated Streaming 如何運作，又需要哪些條件？

Foveated Streaming 把 Vision Pro 連到 Windows PC 之類的外部裝置，以影像與音訊串流 OpenXR 內容，同時 visionOS 會自動回傳輸入（手部、控制器位置、麥克風）。⁵ 它利用 Vision Pro 的眼動追蹤依視線壓縮串流，運行於內建在 visionOS 的 NVIDIA CloudXR 之上，並能在無纜線的情況下透過 Wi-Fi 運作。您在 FoveatedStreamingSession 上建立一個 visionOS 接收端，並打造一個實作 Apple Foveated Streaming Protocol 與 CloudXR OpenXR 執行階段的主機 App。⁵¹⁰

我現在能在 iPhone 上使用物件追蹤嗎？

可以。visionOS 27 透過 ARKit 把物件追蹤帶上 iOS，而由於 Create ML 訓練與平台無關，您為 visionOS 訓練的參考物件能在 iOS 上以相同的追蹤品質運作。⁶¹² 在 iOS 上，您把參考物件載入世界追蹤組態，為每個物件指派靜態偵測或高影格率追蹤，並在工作階段委派中處理物件錨點。¹²

我要怎麼在 Safari 裡把 3D 環境放到網站背後？

使用搭配 USDZ 資產的 HTML model 元素，並在回應使用者互動時呼叫 JavaScript requestImmersive API，這呼應了全螢幕 API 的模式。⁷ 在 visionOS 27 的 Safari 中，Web Environments 預設啟用，因此網頁能像 App 一樣擁有 3D 背景。² 請記得，沉浸式模型會以真實世界比例錨定於人的腳邊，並從 Safari 視窗後方開啟，而在模型上設定 display: none 會把資產下載延後到沉浸式請求觸發之時。⁷

什麼是空間配件，我必須自己打造硬體嗎？

空間配件是一種電子裝置，載有一組追蹤 LED 的星座排列、一個 IMU 與一顆 Bluetooth 晶片（外加選配的按鈕、觸控板與觸覺回饋），Apple Vision Pro 會以高頻率、低延遲追蹤它。⁶¹² visionOS 27 讓任何人都能打造一個，透過 GCSpatialAccessory 探索，並以 Create ML 套件訓練成參考配件檔。¹² 您不必自製電路板：Apple 表示 DFRobot 與 MikroE 將於今年稍晚推出現成的參考硬體與開發套件。²¹²

完整的 Apple Ecosystem 系列：visionOS 空間模式，點名了這些新路徑會算繪進去的 Windows、Volumes 與 Immersive Spaces；RealityKit 空間心智模型，位於 Spatial Preview 與 Foveated Streaming 所組合的 3D 內容層之下；用一個 SwiftUI App 橫跨五大 Apple 平台的功夫，如今因物件追蹤觸及 iOS 與 visionOS 而更顯延伸；以及Apple 平台對照表，標示出每項能力的落腳之處。系列的中樞位於 Apple Ecosystem 系列。若想了解更廣泛的「iOS 結合 AI 代理」脈絡，請參閱 iOS 代理開發指南。

參考資料