Das ist neu in visionOS 27 für Spatial-Entwickler

visionOS begann mit einem einzigen Weg auf die Plattform, der zählte: eine native App mit SwiftUI und RealityKit bauen oder das Häkchen bei „Designed for iPad” setzen und ein Panel ausliefern. visionOS 27 fügt eine dritte Tür hinzu und erweitert die zweite. Sie können Spatial-Inhalte jetzt direkt aus einer Mac-App heraus erweitern, ganz ohne visionOS-Build, ein vollständiges OpenXR-Erlebnis von einem PC über Wi-Fi streamen und eine echte 3D-Umgebung hinter eine Website in Safari setzen. Das Release liest sich weniger wie eine Funktionsliste und mehr wie Apples Antwort auf die Frage, wo Ihre bestehende Arbeit bereits lebt, um Ihnen dann genau dort entgegenzukommen.¹

Das durchgehende Muster all dieser Ankündigungen ist Reichweite. Objekt-Tracking erreicht iOS mit denselben trainierten Referenzobjekten. Spatial Preview erreicht die Vision Pro aus der Vorschau unter macOS. Foveated Streaming erreicht einen Windows-PC. Das Spatial Web erreicht eine Webseite. Apple hat diesen Zyklus darauf verwendet, den Abstand zwischen Inhalten, die Sie ohnehin schon haben, und ihrer räumlichen Darstellung zu verringern, und die vier neuen Einstiegspunkte sind der Beleg dafür. Die folgenden Abschnitte nehmen sich jeden einzeln vor, jeweils mit dem Session-Moment, in dem Apple ihn vorführt, und der zugeschriebenen Aussage, die ihn verankert.

In Session 287 beschreibt Apple, die Vision Products Group, die Apple Vision Pro der M5-Generation als Rechenleistung der Desktop-Klasse mit über 4K Pixeln pro Auge und Hand-Tracking mit 90 Hz und stellt den neuen dritten Weg anschließend als Möglichkeit dar, bestehende macOS- und PC-Erlebnisse auf die Plattform zu bringen, statt sie neu zu bauen.²

TL;DR / Die wichtigsten Erkenntnisse

• Spatial Preview, ein neues macOS-27-Framework, schickt Spatial-Fotos, Apple-Immersive-Video-Frames, PDFs und Live-USD-Szenen vom Mac über Quick Look an die Vision Pro, ganz ohne visionOS-App und mit eingebauter SharePlay-Begutachtung.³⁴
• Foveated Streaming (eingeführt in visionOS 26.4) verbindet die Vision Pro mit einem PC, um OpenXR-Inhalte über Wi-Fi zu streamen, komprimiert den Stream blickabhängig mithilfe von NVIDIA CloudXR und sendet Hand- und Controller-Eingaben automatisch zurück.⁵
• Objekt-Tracking erhält Tracking mit hoher Bildrate, einen erweiterten Create-ML-Trainingsmodus für handgehaltene Objekte und eine Pose-API im metrischen Raum für Messungen, und es läuft nun auch unter iOS mit denselben Referenzobjekten.⁶
• Jeder kann jetzt ein Spatial-Zubehör bauen: eine Platine mit Tracking-LEDs, einer IMU und Bluetooth, die über GCSpatialAccessory erkannt und mit einem Create-ML-Bundle zu einer Referenz-Zubehördatei trainiert wird.⁶
• Das Spatial Web wird erwachsen: Safari-Fenster werden breiter und gekrümmt, Web Environments sind standardmäßig aktiviert, und eine JavaScript-API namens requestImmersive (am Vollbildmodus orientiert) befördert Besucher einer Webseite in eine 3D-Umgebung.²⁷
• RealityKit ergänzt Projective Textures, Cloth Simulation, ein Custom Reverb Mesh und Gaussian Splatting; Reality Composer Pro 3 ergänzt einen KI-Assistenten, einen Animation Graph, einen Script Graph und Navigationsnetze.²

Der dritte Weg: Spatial Preview vom Mac

Die leiseste, aber bedeutsamste Ergänzung des Releases kommt ganz ohne visionOS-Code aus. Spatial Preview ist ein macOS-27-Framework, mit dem eine Mac-App Spatial-Inhalte auf eine gekoppelte Vision Pro schiebt und sie live aktualisiert. Auf der visionOS-Seite empfängt Quick Look die Inhalte, sodass Gestaltende sich in voller Größe durch eine 3D-Szene bewegen, Kameraperspektiven wechseln, Material-Overrides anwenden und Anmerkungen hinterlassen können, ohne dass jemand eine Zeile visionOS-UI schreibt.³

In Session 282 erläutert Apples visionOS-Team, dass das Framework zwei Sitzungstypen bietet: Dokument-Vorschausitzungen für Spatial-Fotos, Videos und Dokumenttypen wie PDF sowie USD-Vorschausitzungen für 3D-Inhalte, wobei Quick Look auf der Vision Pro startet und auf der visionOS-Seite kein Code erforderlich ist.⁸ Der Endpunkt kann das bereits über Mac Virtual Display verbundene Gerät sein oder jede nahegelegene Vision Pro im selben iCloud-Account, die über eine Geräteauswahl gewählt wird.⁸

Beim 3D-Weg verdient sich das Framework sein Geld. Eine USD-Vorschausitzung nimmt eine USD-Stage entgegen, öffnet sie in einer volumetrischen Ansicht auf der Vision Pro und lässt die Person in eine immersive Ansicht in voller Größe eintreten. Bearbeitungen fließen über eine Live-USD-Stage in beide Richtungen, sodass eine in der Mac-App vorgenommene Layoutänderung räumlich auf der Vision Pro erscheint und eine im Headset hinzugefügte Anmerkung sich auf dem Mac widerspiegelt. Apple weist darauf hin, dass das Framework aufwendige USD-Szenen vor dem Teilen optimiert, mit Mesh-Dezimierung, Textur-Downsampling und bei Bedarf vollständiger Szenenrekonstruktion, und dass eine rekonstruierte Szene betracht- und kommentierbar bleibt, selbst wenn sie sich nicht mehr bearbeiten lässt.⁹ SharePlay-Unterstützung bedeutet, dass eine zweite begutachtende Person derselben Live-Sitzung beitreten kann, was die Asset-Begutachtung aus einer Render-und-E-Mail-Schleife in einen gemeinsamen Raum verwandelt. Apple nennt Cinema 4D und SketchUp als die Art von Content-Werkzeugen, auf die der Workflow abzielt.³⁹

Foveated Streaming: Ein PC im Headset

Der zweite erweiterte Weg verläuft in die andere Richtung: Statt Inhalte von einem Mac zu schieben, streamen Sie ein vollständiges OpenXR-Erlebnis von einem Windows-PC. Foveated Streaming, das Apple in visionOS 26.4 einführte, lässt die Vision Pro sich mit einem externen Gerät verbinden, Eingaben zurücksenden (Hände, Controller-Positionen, Mikrofon) und entfernt gerendertes Video und Audio empfangen.⁵ Der Name beschreibt den Kniff: Das System komprimiert den Stream blickabhängig, überträgt den Bereich, auf den Sie sich konzentrieren, in höherem Detailgrad und die Peripherie mit geringerer Bandbreite, und nutzt dafür das Eye-Tracking der Vision Pro.⁵

In Session 286 erklärt Apples Engineering-Team, dass NVIDIA CloudXR in visionOS eingebaut ist, leistungsfähig genug, um ohne Kabel über Wi-Fi von einem lokalen PC oder aus der Cloud zu streamen, und dass ein Team eine OpenXR-Anwendung in etwa einem Tag zum Streamen bringen und innerhalb einer Woche visionOS-spezifische Funktionen ergänzen kann.¹⁰ Die Architektur hat zwei Hälften: eine visionOS-Empfänger-App auf Basis der API FoveatedStreamingSession und eine OpenXR-Host-App, die Apples Foveated Streaming Protocol implementiert (eine schlanke TCP-Verbindung, die Authentifizierung und Barcode-Kopplung übernimmt) und die CloudXR-OpenXR-Runtime verwendet.¹⁰

Das Detail, das daraus mehr macht als ein Remote-Desktop, ist die Integration mit nativen Frameworks. Die Empfänger-App präsentiert gestreamte Inhalte über einen ImmersiveSpace, und Apple empfiehlt einen progressiven Immersionsstil, damit das Erlebnis durch ein im Raum verankertes Portal erscheint.¹⁰ Eine Message-Channels-API der Sitzung trägt undurchsichtige Daten in beide Richtungen, sodass eine SwiftUI-Levelauswahl einen Ladevorgang auf dem PC auslösen kann und ARKit-Daten aus dem Headset die gestreamte Szene an physischer Ausrüstung ausrichten können. X-Plane 12 von Laminar Research macht genau das: ARKit findet einen physischen Flugsimulator, Message Channels synchronisieren dessen Position mit dem PC, und das reale und das virtuelle Cockpit fluchten miteinander.⁵¹⁰ Wird ein Tiefenpuffer bereitgestellt, können sich gestreamte Inhalte und gerätelokale RealityKit-Inhalte sogar gegenseitig verdecken.¹⁰

Immersive Umgebungen und das Spatial Web

Zwei Sessions behandeln das Thema Umgebungen von zwei entgegengesetzten Enden: das Handwerk, eine fotorealistische Umgebung zu bauen, und die neue Möglichkeit, eine hinter eine Webseite zu setzen. Beides ist von Belang, weil visionOS 27 Web Environments standardmäßig aktiviert, sodass ein Safari-Fenster nun in einem Hintergrund sitzen kann wie eine native App.²

In Session 320 stellt Apples visionOS-Safari-Team eine immersive API vor, die der JavaScript-Fullscreen-API nachempfunden ist: Wo Sie bei einem Video requestFullscreen aufrufen würden, rufen Sie bei einem HTML-model-Element requestImmersive auf, um es über die Grenzen des Browsers hinaus zu befördern, während die Seite sichtbar bleibt.⁷ Der Entwickler führt durch eine Veranstaltungsort-Website, die die Sicht von einem gewählten Sitz inline vorschaut und dann auf Tipp immersiv das Theater betritt, und betont zwei verinnerlichenswerte Bezugssystem-Regeln: Ein Inline-Modell ist in seiner Ebene mittig im CSS-Maßstab platziert, während ein immersives Modell zu Füßen der Person im realen Maßstab verankert wird, und die immersive Umgebung öffnet sich hinter dem Safari-Fenster, sodass der Hauptfokus dort bleibt, wo das Fenster ihn nicht verdeckt.⁷ Eine praktische Optimierung schließt den Kreis: Setzt man display: none auf das Modell-Element, blendet das die Inline-Vorschau aus und verzögert das Herunterladen und Dekodieren des Assets, bis die immersive Anfrage ausgelöst wird, was Bandbreite für Besucher spart, die nie eintreten.⁷

Die gestalterische Disziplin hinter einer überzeugenden Umgebung ist ein Thema für sich, und die Prinzipien lassen sich unmittelbar auf Web-Umgebungen übertragen.

In Session 234 merkt Apples Umgebungsdesign-Team an, dass eine vollständig immersierte betrachtende Person rund 81 Grad der Szene in ihrem Sichtfeld sieht, dass ein ideales 360-Grad-Panorama auf 14.400 mal 7.200 Pixel zielt (scharf bei 40 Pixeln pro Grad) und dass aufwendige Bewegung (sich verändernde Wolken, schwingende Palmwedel, brechende Wellen in der Bora-Bora-Umgebung) günstig angenähert wird, durch UV-Flow-Maps, scrollende Schattenmasken und geschichtete Sinuswellen-Vertex-Animation statt durch Echtzeitsimulation.¹¹ Der abschließende Rat der Session taugt zugleich als Regel für jede Spatial-Arbeit: Gehen Sie bewusst mit allem um, was Sie hinzufügen oder entfernen, und versuchen Sie, Ihr eigenes Design zu brechen, bevor Sie ihm vertrauen.¹¹

Objekt-Tracking wird erwachsen und wechselt zu iOS

Objekt-Tracking, das mit visionOS 2.0 kam, verwandelt ein physisches Objekt in einen virtuellen Anker: Sie beginnen mit einem USDZ-Modell, trainieren ein Referenzobjekt in Create ML auf einem Mac und übergeben es der Tracking-API, um Positions- und Orientierungs-Updates zu erhalten.⁶ visionOS 27 schärft die Fähigkeit auf drei Arten und erweitert sie auf eine zweite Plattform.

In Session 283 schildert Apples visionOS-Team die drei Verbesserungen: Tracking mit hoher Bildrate für Objekte, die sich durch den Raum bewegen, einen erweiterten Create-ML-Trainingsmodus, der Genauigkeit und Robustheit bei handgehaltenen Objekten verbessert (auf Kosten deutlich längerer Trainingszeit), und eine Koordinatenraum-Korrektur-API, die eine Pose entweder gerendert zurückgibt (mit Display-Korrekturen, damit virtuelle Inhalte visuell mit dem Objekt fluchten) oder im echten metrischen Raum ohne Korrekturen, was Messanwendungen wie eine Sonde für das chirurgische Training erfordern.¹² Die Session bestätigt außerdem einen nützlichen Ausweichplan: Wenn Sie kein fotorealistisches 3D-Modell bekommen, können Sie einen Marker per 3D-Druck herstellen, ihn am Objekt befestigen und den Marker als Referenzobjekt verwenden.¹²

Der plattformübergreifende Schritt ist die Schlagzeile. Objekt-Tracking läuft jetzt über ARKit unter iOS, und weil das Create-ML-Training plattformunabhängig ist, funktioniert dasselbe trainierte Referenzobjekt sowohl unter iOS als auch unter visionOS mit derselben Tracking-Qualität.⁶¹² Unter iOS laden Sie Referenzobjekte in eine World-Tracking-Konfiguration, weisen jedem entweder die stationäre Erkennung oder das Tracking mit hoher Bildrate zu und behandeln die resultierenden Objektanker in Ihrem Session-Delegate.¹²

Die begleitende Geschichte ist Spatial-Zubehör. visionOS 26 lieferte die Controller Logitech Muse und PSVR2 Sense aus; visionOS 27 lässt jeden eines bauen. Ein Spatial-Zubehör ist eine Platine, die eine Konstellation aus Tracking-LEDs, eine IMU für Orientierung und Beschleunigung sowie einen Bluetooth-Chip trägt, dazu optionale Tasten, Touchpads und Haptik, eingebaut in jedes Objekt, das Sie tracken möchten.⁶ Sie validieren den Aufbau mit einer ARKit-Debug-Ansicht für Zubehör-Tracking in den Entwicklereinstellungen, trainieren ihn mit einem Create-ML-Bundle (einer USDZ-Datei, die mit LED- und IMU-Positionen annotiert ist) zu einer Referenz-Zubehördatei und erkennen ihn dann über die neue Klasse GCSpatialAccessory und betreiben einen Accessory-Tracking-Provider.¹² Apple sagt, die Hersteller DFRobot und MikroE werden noch dieses Jahr fertige Referenzhardware und Entwicklungskits ausliefern, sodass für Teams, die keine Platine fertigen wollen, Plug-and-Play-Teile existieren.²¹² Der Kompromiss gegenüber Objekt-Tracking geht aus der Session klar hervor: Objekt-Tracking gewinnt bei der Messpräzision, während ein Spatial-Zubehör bei Bildwiederholrate und Latenz für schnell bewegte Objekte gewinnt und physische Tasten und Haptik hinzufügt.¹²

RealityKit und Reality Composer Pro 3

Der native Weg stand nicht still. RealityKit erhält Projective Textures (texturierte Spotlights für Effekte wie Buntglasprojektion oder Unterwasser-Kaustiken), Cloth Simulation, die Stoff in Echtzeit fallen und falten lässt, ein Custom Reverb Mesh, das modelliert, wie Schall im Raum von Holz, Metall und Stein gestreut wird, und Gaussian Splatting, um ein reales Objekt zu scannen und als 3D-Splat einzubringen.² Reality Composer Pro 3 ist eine größere Auffrischung: ein KI-Assistent, der 3D-Modelle aus einer Beschreibung erzeugt, eine Animation-Graph-Zustandsmaschine für Laufzeitübergänge, ein knotenbasierter Script Graph für Interaktionslogik mit Live-Vorschau auf der Vision Pro und Navigationsnetze, damit Charaktere um Hindernisse herum einen Pfad finden, alles ohne Xcode zu öffnen.² Für Teams, die bereits in den nativen Stack investiert haben, ist die Arbeit am Editor der Teil, der die tägliche Geschwindigkeit am meisten verändert.

Was zuerst zu übernehmen ist

Ein Release mit vier neuen Einstiegspunkten belohnt eine Triage. Beginnen Sie dort, wo der Abstand zu Ihrer bestehenden Arbeit am kürzesten ist.

1. Wenn Sie eine Mac-Content-App haben, prototypisieren Sie Spatial Preview. Es ist in der macOS-App Vorschau enthalten, stellt dieselben Funktionen als API bereit und braucht keinen visionOS-Build, sodass die Kosten für einen ersten Spatial-Review-Workflow nahezu null sind.³⁸
2. Wenn Sie ein Web-Produkt ausliefern, aktivieren Sie ein Web Environment und testen Sie requestImmersive. Web Environments sind standardmäßig aktiviert, die immersive API spiegelt die Ihnen bereits bekannte Fullscreen-API wider, und ein einziges model-Element plus ein Aufruf genügt, um eine Besucherin in eine Szene zu versetzen.²⁷
3. Wenn Sie ein OpenXR- oder PC-Erlebnis haben, streamen Sie es. Apples quelloffene Beispiele und die Referenzimplementierung des Protokolls rücken eine Foveated-Streaming-Verbindung in Reichweite eines Tages, und die native Integration von SwiftUI, ARKit und RealityKit ist von dort an additiv.¹⁰
4. Wenn Ihre App bereits Objekt-Tracking nutzt, holen Sie sich die Pose im metrischen Raum und den iOS-Port. Die Koordinatenraum-Korrektur-API ermöglicht Messungen, und dieselben Referenzobjekte laufen jetzt ohne Neutraining auf iPhone und iPad.⁶¹²
5. Behandeln Sie individuelles Spatial-Zubehör als spätere Wette. Eine Platine zu bauen ist der aufwendigste Weg; warten Sie auf die Referenzkits von DFRobot und MikroE, es sei denn, Eingaben bei schnellen Bewegungen mit Haptik sind zentral für Ihr Erlebnis.¹²

Der rote Faden passt zum Release: Übernehmen Sie den Weg, der Ihren bestehenden Inhalten dort entgegenkommt, wo sie leben, und verschieben Sie den, der Sie zum Bau neuer Hardware auffordert.

FAQ

Was ist das Spatial-Preview-Framework in visionOS 27?

Spatial Preview ist ein macOS-27-Framework, mit dem eine Mac-App Spatial-Inhalte (Spatial-Fotos, Apple-Immersive-Video-Frames, PDFs, Standardbilder und Live-USD-3D-Szenen) an eine gekoppelte Apple Vision Pro senden kann, wo Quick Look sie ganz ohne visionOS-App anzeigt.³⁸ Es bietet Dokument-Vorschausitzungen für Medien- und Dokumenttypen sowie USD-Vorschausitzungen für 3D-Inhalte, unterstützt die bidirektionale Live-Bearbeitung einer USD-Stage und beinhaltet SharePlay, sodass Mitwirkende dieselbe Szene gemeinsam begutachten können.⁸⁹

Wie funktioniert Foveated Streaming und was wird dafür benötigt?

Foveated Streaming verbindet die Vision Pro mit einem externen Gerät wie einem Windows-PC, um OpenXR-Inhalte als Video und Audio zu streamen, während visionOS Eingaben (Hände, Controller-Positionen, Mikrofon) automatisch zurücksendet.⁵ Es komprimiert den Stream blickabhängig mithilfe des Eye-Trackings der Vision Pro, läuft auf dem in visionOS eingebauten NVIDIA CloudXR und funktioniert ohne Kabel über Wi-Fi. Sie bauen einen visionOS-Empfänger auf FoveatedStreamingSession und eine Host-App, die Apples Foveated Streaming Protocol und die CloudXR-OpenXR-Runtime implementiert.⁵¹⁰

Kann ich Objekt-Tracking jetzt auf dem iPhone nutzen?

Ja. visionOS 27 bringt Objekt-Tracking über ARKit auf iOS, und weil das Create-ML-Training plattformunabhängig ist, funktioniert ein Referenzobjekt, das Sie für visionOS trainiert haben, mit derselben Tracking-Qualität auf iOS.⁶¹² Unter iOS laden Sie Referenzobjekte in eine World-Tracking-Konfiguration, weisen jedem die stationäre Erkennung oder das Tracking mit hoher Bildrate zu und behandeln die Objektanker in Ihrem Session-Delegate.¹²

Wie setze ich eine 3D-Umgebung hinter meine Website in Safari?

Verwenden Sie das HTML-model-Element mit einem USDZ-Asset und rufen Sie als Reaktion auf eine Nutzerinteraktion die JavaScript-API requestImmersive auf, was dem Muster der Fullscreen-API entspricht.⁷ Web Environments sind in Safari unter visionOS 27 standardmäßig aktiviert, sodass eine Webseite wie eine App einen 3D-Hintergrund haben kann.² Denken Sie daran, dass ein immersives Modell zu Füßen der Person im realen Maßstab verankert wird und sich hinter dem Safari-Fenster öffnet, und dass display: none auf dem Modell den Asset-Download verzögert, bis die immersive Anfrage ausgelöst wird.⁷

Was ist ein Spatial-Zubehör, und muss ich die Hardware selbst bauen?

Ein Spatial-Zubehör ist ein elektronisches Gerät mit einer Konstellation aus Tracking-LEDs, einer IMU und einem Bluetooth-Chip (dazu optionale Tasten, Touchpads und Haptik), das die Apple Vision Pro mit hoher Frequenz und niedriger Latenz trackt.⁶¹² visionOS 27 lässt jeden eines bauen, erkannt über GCSpatialAccessory und mit einem Create-ML-Bundle zu einer Referenz-Zubehördatei trainiert.¹² Sie müssen keine Platine fertigen: Apple sagt, DFRobot und MikroE werden noch dieses Jahr fertige Referenzhardware und Entwicklungskits ausliefern.²¹²

Das vollständige Apple-Ecosystem-Cluster: die visionOS-Spatial-Patterns, die die Windows, Volumes und Immersive Spaces benennen, in die diese neuen Wege rendern; das räumliche RealityKit-Mentalmodell unter der 3D-Content-Schicht, mit der sich Spatial Preview und Foveated Streaming kombinieren; die Disziplin, eine SwiftUI-App über fünf Apple-Plattformen auszuliefern, die die iOS-und-visionOS-Reichweite des Objekt-Trackings nun erweitert; und die Apple-Plattform-Matrix, die abbildet, wo jede Fähigkeit landet. Der Hub findet sich in der Apple Ecosystem Series. Für breiteren Kontext zu iOS mit KI-Agenten siehe den Leitfaden zur iOS-Agent-Entwicklung.

Referenzen