visionOS 27の新機能 — 空間開発者向け完全ガイド

visionOSは、当初このプラットフォームで意味のある入口を1つだけ持っていました。SwiftUIとRealityKitでネイティブアプリを作るか、あるいは「Designed for iPad」にチェックを入れてパネルとして出すか、です。visionOS 27は3つ目の入口を加え、2つ目を大きく広げました。visionOSのビルドを一切作らずにMacアプリから空間コンテンツをそのまま拡張したり、PCからWi-Fi経由でフルのOpenXR体験をストリーミングしたり、Safariでウェブサイトの背後に本物の3D環境を置いたりできるようになったのです。今回のリリースは機能リストというよりも、「あなたの既存の仕事はすでにどこにあるのか」というAppleの問いかけと、その場所まで歩み寄ってくる回答のように読めます。¹

一連の発表に共通するテーマは「リーチ」です。オブジェクトトラッキングは、同じ学習済み参照オブジェクトを使ってiOSへと届きます。Spatial PreviewはmacOSのPreviewからVision Proへと届きます。Foveated StreamingはWindows PCへと届きます。Spatial Webはウェブページへと届きます。Appleはこのサイクルで、すでに手元にあるコンテンツと、その空間表現との間の距離を縮めることに力を注ぎました。4つの新しい入口がその証拠です。以下のセクションでは、Appleがそれを実演しているセッションの場面と、その裏付けとなる出典付きの主張を添えながら、1つずつ順に取り上げていきます。

セッション287でApple（Vision Products Group）は、M5世代のApple Vision Proを、片目あたり4Kを超えるピクセルと90Hzのハンドトラッキングを備えたデスクトップ級の演算性能として紹介し、新しい3つ目の経路を、既存のmacOSやPCの体験を作り直すのではなくプラットフォームに持ち込む方法として位置づけています。²

TL;DR / 要点

• Spatial Previewは新しいmacOS 27のフレームワークで、空間写真、Apple Immersive Videoのフレーム、PDF、ライブのUSDシーンをMacからVision ProへQuick Look経由で送れます。visionOSアプリは不要で、SharePlayによるレビュー機能も組み込まれています。³⁴
• Foveated Streaming（visionOS 26.4で導入）は、Vision ProをPCに接続してOpenXRコンテンツをWi-Fi経由でストリーミングします。NVIDIA CloudXRを使って視線に応じてストリームを圧縮し、手やコントローラーの入力は自動的に送り返されます。⁵
• オブジェクトトラッキングには、高フレームレートのトラッキング、手持ちオブジェクト向けに拡張されたCreate MLの学習モード、計測用のメートル空間ポーズAPIが加わりました。さらに、同じ参照オブジェクトを使ってiOSでも動作するようになりました。⁶
• 誰でも空間アクセサリーを自作できるようになりました。トラッキング用LED、IMU、Bluetoothを備えたボードを作り、GCSpatialAccessoryで発見し、Create MLバンドルで学習させて参照アクセサリーファイルにします。⁶
• Spatial Webが成熟しました。Safariのウィンドウは横に広がって湾曲し、Web Environmentsはデフォルトで有効になり、（Fullscreenをモデルにした）JavaScript requestImmersive APIによって、ウェブページが訪問者を3D環境の内側へと運べるようになりました。²⁷
• RealityKitにはProjective Textures、Cloth Simulation、Custom Reverb Mesh、Gaussian Splattingが追加され、Reality Composer Pro 3にはAIアシスタント、Animation Graph、Script Graph、ナビゲーションメッシュが加わりました。²

3つ目の経路：MacからのSpatial Preview

今回のリリースで最も静かに重要な追加機能は、visionOSのコードをまったく必要としません。Spatial PreviewはmacOS 27のフレームワークで、Macアプリからペアリング済みのVision Proへ空間コンテンツを送り込み、それをライブで更新できます。visionOS側ではQuick Lookがそのコンテンツを受け取るため、制作者はvisionOSのUIを1行も書かずに、実寸の3Dシーンの中を動き回り、カメラ視点を切り替え、マテリアルのオーバーライドを適用し、注釈を残せます。³

セッション282でAppleのvisionOSチームは、このフレームワークが2種類のセッションを提供すると説明しています。空間写真、動画、PDFなどのドキュメントタイプ向けのドキュメントプレビューセッションと、3Dコンテンツ向けのUSDプレビューセッションです。Vision Pro側ではQuick Lookが立ち上がり、visionOS側にコードは要りません。⁸ 接続先には、Mac Virtual Displayですでに接続されているデバイスを使うことも、デバイスピッカーで選んだ同じiCloudアカウントの近くにある任意のVision Proを使うこともできます。⁸

このフレームワークの真価が問われるのは3Dの経路です。USDプレビューセッションはUSDステージを受け取り、それをVision Pro上のボリュメトリックビューで開き、利用者が実寸の没入ビューの中へ足を踏み入れられるようにします。編集はライブのUSDステージを通じて双方向に流れるので、Macアプリで加えたレイアウトの変更はVision Pro上に空間的に現れ、ヘッドセットで加えた注釈はMacに反映されます。Appleによれば、このフレームワークは共有前に重いUSDシーンを最適化し、必要に応じてメッシュの間引き、テクスチャのダウンサンプリング、シーン全体の再構築を行います。そして再構築されたシーンは、もはや編集できなくなった後も、表示と注釈付けは引き続き可能なままです。⁹ SharePlayに対応しているため、2人目のレビュアーが同じライブセッションに参加でき、アセットのレビューはレンダリングしてメールで送る往復作業から、共有された一室での作業へと変わります。Appleは、このワークフローが対象とするコンテンツツールの例としてCinema 4DとSketchUpを挙げています。³⁹

Foveated Streaming：ヘッドセットの中のPC

広げられた2つ目の経路は、逆方向に進みます。Macからコンテンツを送り込むのではなく、Windows PCからフルのOpenXR体験をストリーミングするのです。AppleがvisionOS 26.4で導入したFoveated Streamingでは、Vision Proを外部デバイスに接続し、入力（手、コントローラーの位置、マイク）を送り返しながら、リモートでレンダリングされた映像と音声を受け取れます。⁵ この名前は仕掛けそのものを表しています。システムはVision Proのアイトラッキングを使い、視線に応じてストリームを圧縮します。注視している領域は高精細に、周辺は低帯域で送るのです。⁵

セッション286でAppleのエンジニアリングチームは、NVIDIA CloudXRがvisionOSに組み込まれており、ケーブルなしでローカルPCやクラウドからWi-Fi経由でストリーミングできるほどの性能を持つこと、そしてチームは約1日でOpenXRアプリケーションのストリーミングを動かし始め、1週間以内にvisionOS固有の機能を追加できると述べています。¹⁰ アーキテクチャは2つの半分から成ります。FoveatedStreamingSession APIの上に構築されるvisionOSのレシーバーアプリと、AppleのFoveated Streaming Protocol（認証とバーコードによるペアリングを処理する軽量なTCP接続）を実装し、CloudXRのOpenXRランタイムを使うOpenXRのホストアプリです。¹⁰

これを単なるリモートデスクトップ以上のものにしているのは、ネイティブフレームワークとの統合です。レシーバーはストリーミングされたコンテンツをImmersiveSpaceを通じて提示し、Appleは体験が部屋に根ざしたポータルを通して現れるよう、プログレッシブな没入スタイルを推奨しています。¹⁰ セッション上のメッセージチャネルAPIは不透明なデータを双方向に運ぶので、SwiftUIのレベル選択がPC側のロードをトリガーでき、ヘッドセットからのARKitデータでストリーミングされたシーンを物理的な機材に合わせられます。Laminar ResearchのX-Plane 12はまさにこれを使っています。ARKitが物理的なフライトシミュレーターを見つけ、メッセージチャネルがその位置をPCと同期し、現実と仮想のコックピットがぴたりと重なるのです。⁵¹⁰ 深度バッファを供給すれば、ストリーミングされたコンテンツとデバイス上のRealityKitコンテンツが互いを遮蔽することさえできます。¹⁰

没入型環境とSpatial Web

2つのセッションが、環境にまつわる物語を両極から扱っています。フォトリアルな環境を作り上げる職人技と、それをウェブページの背後に置く新しい機能です。どちらも重要なのは、visionOS 27がWeb Environmentsをデフォルトで有効にし、Safariのウィンドウがネイティブアプリと同じように背景の中に収まるようになったからです。²

セッション320でAppleのvisionOS Safariチームは、JavaScriptのFullscreen APIをモデルにした没入型APIを紹介しています。動画に対してrequestFullscreenを呼ぶのと同じ要領で、HTMLのmodel要素に対してrequestImmersiveを呼び、ページを表示したまま、その要素をブラウザの境界の外へと運ぶのです。⁷ 登壇したエンジニアは、選んだ座席からの眺めをインラインでプレビューし、タップすると劇場の中へ没入的に入っていく会場サイトを順を追って示しながら、頭に入れておくべき2つの参照フレームのルールを強調しています。インラインのモデルはレイヤー内でCSSスケールで中央に配置されるのに対し、没入型のモデルは実寸スケールで人の足元にアンカーされること、そして没入型環境はSafariウィンドウの背後から開くので、ウィンドウが隠さない位置に主な焦点を保てること、です。⁷ 実用的な最適化が締めくくりとなります。モデル要素にdisplay: noneを設定すると、インラインプレビューが隠れ、没入リクエストが発火するまでアセットのダウンロードとデコードが遅延されます。中に入らない訪問者のために帯域を節約できるのです。⁷

説得力ある環境を支える設計の規律はそれ自体が1つのテーマであり、その原則はウェブ環境にもそのまま当てはまります。

セッション234でAppleの環境デザインチームは、完全に没入した視聴者が視野の中でシーンを約81度見ること、理想的な360度パノラマは14,400×7,200ピクセル（40ピクセル/度で鮮明）を目標とすること、そしてコストの高い動き（移ろう雲、揺れるヤシの葉、Bora Bora環境で砕ける波）は、リアルタイムシミュレーションではなくUVフローマップ、スクロールするシャドウマスク、レイヤー化したサイン波の頂点アニメーションで安価に近似されることを指摘しています。¹¹ セッションの締めくくりの助言は、あらゆる空間制作のルールとしても通用します。加えるものも取り除くものもすべてに意図を持つこと、そして信頼する前に自分のデザインを自分で壊してみること、です。¹¹

オブジェクトトラッキングの成熟とiOSへの展開

visionOS 2.0で登場したオブジェクトトラッキングは、物理オブジェクトを仮想アンカーへと変えます。USDZモデルから始め、Mac上のCreate MLで参照オブジェクトを学習させ、それをトラッキングAPIに渡して位置と向きの更新を受け取るのです。⁶ visionOS 27はこの機能を3つの面で研ぎ澄まし、さらに2つ目のプラットフォームへ広げました。

セッション283でAppleのvisionOSチームは、3つのアップグレードを詳しく説明しています。空間を移動するオブジェクト向けの高フレームレートトラッキング、手持ちオブジェクトの精度と頑健性を向上させる拡張されたCreate MLの学習モード（学習時間が大幅に長くなる代償を伴います）、そして座標空間補正APIです。後者は、レンダリング済み（仮想コンテンツがオブジェクトと視覚的に揃うよう表示補正をかけたもの）か、補正なしの真のメートル空間か、いずれかのポーズを返します。外科手術トレーニング用プローブのような計測ユースケースが必要とするのは後者です。¹² セッションは有用なフォールバックも確認しています。フォトリアルな3Dモデルを用意できない場合は、マーカーを3Dプリントしてオブジェクトに取り付け、そのマーカーを参照オブジェクトとして使えるのです。¹²

見出しを飾るのはクロスプラットフォーム展開です。オブジェクトトラッキングはARKitを通じてiOSでも動作するようになり、Create MLの学習はプラットフォームに依存しないため、同じ学習済み参照オブジェクトがiOSとvisionOSの両方で同じトラッキング品質で機能します。⁶¹² iOSでは、参照オブジェクトをワールドトラッキング構成に読み込み、それぞれを静止検出か高フレームレートトラッキングのいずれかに割り当て、結果として得られるオブジェクトアンカーをセッションデリゲートで処理します。¹²

これと対になる話が空間アクセサリーです。visionOS 26ではLogitech MuseとPSVR2 Senseコントローラーが出荷されましたが、visionOS 27では誰でも自作できるようになりました。空間アクセサリーは、トラッキング用LEDの星座配置、向きと加速度を測るIMU、Bluetoothチップを載せたボードに、任意でボタン、タッチパッド、ハプティクスを加えたもので、トラッキングしたい任意のオブジェクトに組み込みます。⁶ ビルドはデベロッパ設定のARKitアクセサリートラッキングのデバッグビューで検証し、Create MLバンドル（LEDとIMUの位置を注釈したUSDZ）で学習させて参照アクセサリーファイルにし、新しいGCSpatialAccessoryクラスを通じて発見してアクセサリートラッキングプロバイダーを実行します。¹² Appleによれば、メーカーのDFRobotとMikroEが既製の参照ハードウェアと開発キットを今年後半に出荷する予定なので、ボードを自作したくないチーム向けのプラグアンドプレイ部品も存在することになります。²¹² オブジェクトトラッキングとのトレードオフはセッションから明確です。オブジェクトトラッキングは計測精度で勝り、空間アクセサリーは高速で動くオブジェクトのリフレッシュレートとレイテンシで勝り、物理ボタンとハプティクスを加えられます。¹²

RealityKitとReality Composer Pro 3

ネイティブの経路も止まってはいませんでした。RealityKitにはProjective Textures（ステンドグラスの投影や水中のコースティクスのような効果のためのテクスチャ付きスポットライト）、布をリアルタイムで垂らして折りたたむCloth Simulation、空間内で木材・金属・石に音がどう散乱するかをモデル化するCustom Reverb Mesh、そして実物をスキャンして3Dスプラットとして取り込むGaussian Splattingが加わりました。² Reality Composer Pro 3はより大きな刷新です。説明文から3Dモデルを生成するAIアシスタント、ランタイムでの遷移を扱うAnimation Graphのステートマシン、Vision Pro上でライブプレビューしながらインタラクションロジックを組むノードベースのScript Graph、そしてキャラクターが障害物を避けて経路を取るためのナビゲーションメッシュが、すべてXcodeを開かずに使えます。² すでにネイティブのスタックに投資しているチームにとっては、このエディターまわりの作業こそが日々の開発速度を最も大きく変える部分です。

何から採り入れるべきか

4つの新しい入口を持つリリースは、優先順位づけに報いてくれます。既存の仕事からの距離が最も短いところから始めましょう。

1. Macのコンテンツアプリを持っているなら、Spatial Previewを試作する。 macOSのPreviewアプリに同梱され、同じ機能をAPIとして公開し、visionOSのビルドを必要としないので、最初の空間レビューワークフローのコストはほぼゼロです。³⁸
2. ウェブ製品を出しているなら、Web Environmentを有効にしてrequestImmersiveを試す。 Web Environmentsはデフォルトで有効で、没入型APIはすでに知っているFullscreen APIを踏襲しており、1つのmodel要素と1回の呼び出しだけで訪問者をシーンの中へ降り立たせられます。²⁷
3. OpenXRやPCの体験を持っているなら、それをストリーミングする。 Appleのオープンソースのサンプルと参照プロトコル実装により、Foveated Streamingの接続は1日で手の届く範囲に収まります。ネイティブのSwiftUI、ARKit、RealityKitとの統合は、そこから上乗せしていけます。¹⁰
4. すでにオブジェクトトラッキングを使っているアプリなら、メートル空間ポーズとiOS移植を採り入れる。 座標空間補正APIは計測を可能にし、同じ参照オブジェクトが再学習なしでiPhoneとiPadでも動くようになりました。⁶¹²
5. カスタム空間アクセサリーは後の賭けとして扱う。 ボードを自作するのは最も労力のかかる経路です。ハプティクス付きの高速モーション入力が体験の核でない限り、DFRobotとMikroEの参照キットを待ちましょう。¹²

貫く筋は、このリリースそのものと一致します。既存のコンテンツがある場所まで歩み寄ってくる経路を採り入れ、新しいハードウェアの自作を求めてくる経路は後回しにすること、です。

FAQ

visionOS 27のSpatial Previewフレームワークとは何ですか？

Spatial PreviewはmacOS 27のフレームワークで、Macアプリから空間コンテンツ（空間写真、Apple Immersive Videoのフレーム、PDF、標準的な画像、ライブのUSD 3Dシーン）をペアリング済みのApple Vision Proへ送り、そこでvisionOSアプリなしにQuick Lookが表示します。³⁸ メディアやドキュメントタイプ向けのドキュメントプレビューセッションと、3Dコンテンツ向けのUSDプレビューセッションを提供し、USDステージの双方向ライブ編集に対応し、共同作業者が同じシーンを一緒にレビューできるSharePlayを含みます。⁸⁹

Foveated Streamingはどのように動作し、何が必要ですか？

Foveated StreamingはVision ProをWindows PCなどの外部デバイスに接続してOpenXRコンテンツを映像と音声としてストリーミングし、その一方でvisionOSは入力（手、コントローラーの位置、マイク）を自動的に送り返します。⁵ Vision Proのアイトラッキングを使って視線に応じてストリームを圧縮し、visionOSに組み込まれたNVIDIA CloudXR上で動作し、ケーブルなしのWi-Fiで機能します。FoveatedStreamingSessionの上にvisionOSのレシーバーを、AppleのFoveated Streaming ProtocolとCloudXRのOpenXRランタイムを実装したホストアプリを構築します。⁵¹⁰

オブジェクトトラッキングはもうiPhoneで使えますか？

はい。visionOS 27はARKitを通じてオブジェクトトラッキングをiOSにもたらし、Create MLの学習がプラットフォームに依存しないため、visionOS向けに学習した参照オブジェクトが同じトラッキング品質でiOSでも機能します。⁶¹² iOSでは、参照オブジェクトをワールドトラッキング構成に読み込み、それぞれを静止検出か高フレームレートトラッキングに割り当て、オブジェクトアンカーをセッションデリゲートで処理します。¹²

Safariでウェブサイトの背後に3D環境を置くにはどうすればよいですか？

USDZアセットを持つHTMLのmodel要素を使い、ユーザー操作に応じてJavaScriptのrequestImmersive APIを呼びます。これはFullscreen APIのパターンを踏襲しています。⁷ visionOS 27のSafariではWeb Environmentsがデフォルトで有効なので、ウェブページもアプリのように3D背景を持てます。² 没入型のモデルは実寸スケールで人の足元にアンカーされ、Safariウィンドウの背後から開くこと、そしてモデルへのdisplay: noneが没入リクエストの発火までアセットのダウンロードを遅延させることを覚えておきましょう。⁷

空間アクセサリーとは何ですか、またハードウェアを自作する必要がありますか？

空間アクセサリーは、トラッキング用LEDの星座配置、IMU、Bluetoothチップ（任意でボタン、タッチパッド、ハプティクス）を備えた電子デバイスで、Apple Vision Proが高頻度・低レイテンシでトラッキングします。⁶¹² visionOS 27では誰でも自作でき、GCSpatialAccessoryを通じて発見し、Create MLバンドルで学習させて参照アクセサリーファイルにします。¹² ボードを自作する必要はありません。Appleによれば、DFRobotとMikroEが既製の参照ハードウェアと開発キットを今年後半に出荷する予定です。²¹²

Apple Ecosystemクラスター全体はこうつながっています。これらの新しい経路が描き出す先であるWindows、Volumes、Immersive Spacesに名前を与えるvisionOSの空間パターン、Spatial PreviewとFoveated Streamingが組み合わさる3Dコンテンツレイヤーの土台となるRealityKitの空間メンタルモデル、オブジェクトトラッキングのiOSとvisionOSへのリーチが今広げている1つのSwiftUIアプリを5つのAppleプラットフォームに出荷する規律、そして各機能がどこに着地するかを地図にしたAppleプラットフォームマトリクスです。ハブはApple Ecosystemシリーズにあります。iOSとAIエージェントをめぐるより広い文脈については、iOSエージェント開発ガイドをご覧ください。

参考文献