RealityKit und Reality Composer Pro 3 im Jahr 2026

Reality Composer Pro 3 hat das Xcode-Paket verlassen und erscheint nun als eigene App, die Sie aus dem Programme-Ordner starten. Dieses Detail liest sich wie eine Randnotiz zur Auslieferung, ist aber das deutlichste Signal der gesamten räumlichen Geschichte der WWDC26: Das Autorenwerkzeug ist nun ein eigenständiges Ziel und kein bloßes Anhängsel mehr, und die Engine darunter ist mitgewachsen.¹

Mit der Version 2026 bewegen sich beide Hälften der Pipeline zugleich. RealityKit erhält die Rendering- und Simulationsfunktionen, die eine Szene echt wirken lassen: weiche Schatten, gebackene Lightmaps, projektive Texturen, die auf Ihre tatsächlichen Wände überlaufen, Stoffsimulation, Navigationsnetze, Gaussian Splats und raytraced Akustik. Reality Composer Pro 3 erhält den Workflow, der diese Funktionen ohne Build-Zyklus miteinander verdrahtet: Live-Vorschau auf einem Headset, Prototypen und Instanzen, knotenbasierte Graphen und einen KI-Assistenten, der 3D-Inhalte generiert. Ein dritter Faden verbindet beides – Code: Xcode-Plug-ins führen Ihre eigenen Komponenten innerhalb des Autorenwerkzeugs aus, und ein neues Toolkit für strukturierte Modelle treibt Apps für die gemeinsame Design-Begutachtung an. Die einzelnen Teile sind keine separaten Demos mehr, sondern eine in sich stimmige Arbeitsweise geworden.

Dieser Beitrag geht die fünf WWDC26-Sessions durch, welche die räumliche Autoren-Pipeline dieses Jahres definieren – jeweils mit dem Clip, der sie greifbar macht, und der Erkenntnis, die Ihre Arbeitsweise verändert.

TL;DR / Wichtigste Erkenntnisse

• Beleuchtung und Simulation in RealityKit sind gereift: weiche Schatten, gesteuert über lightSize, gebackene Lightmaps, projektive Texturen plus Physical Space Lighting in Ihren echten Raum hinein, Stoffsimulation, Navigationsnetze, Gaussian Splats und raytraced Nachhall.²
• Reality Composer Pro 3 erscheint als eigenständige App (kein Xcode-Entwicklerwerkzeug mehr), gebaut für schnelle Iteration: ein andockbarer Simulations-Tab, Prototypen und Instanzen mit Overrides, On-Device-Live-Vorschau, gebackene Lightmaps und ein generativer KI-Assistent.³
• Den Editor erweitern Sie über Xcode-Plug-ins: Komponenten und Systeme laufen über das RealityComposerProPlugin-Protokoll darin, eigene Animationsaktionen fügen sich über EntityAction in den Sequencer ein, und das @Scriptable-Makro stellt Komponenten dem Script Graph zur Verfügung.⁴
• Visuelle, knotenbasierte Werkzeuge (Animation Graph, Behavior Tree, Script Graph, Compute Graph, Shader Graph) lassen Designer Charakterverhalten, GPU-Partikel und Materialien ohne Build-Zyklus erstellen.⁵
• visionOS 27 ergänzt ein Toolkit für strukturierte 3D-Modelle zur gemeinsamen Design-Begutachtung: hierarchiegesteuerte Platzierung der ManipulationComponent, eine neue ClippingComponent für Querschnitte und volumengewichtete Varianz, um Baugruppen automatisch auseinanderzuziehen.⁶

RealityKit erhielt die Funktionen, die Realismus verkaufen

RealityKit ist seit 2019 Apples plattformübergreifende 3D-Engine – die Schicht, die Sie einmal bauen und auf visionOS, iOS, iPadOS, macOS und tvOS ausliefern.² Die Neuerungen von 2026 schließen die Lücke zwischen „rendert korrekt” und „sieht echt aus”, demonstriert innerhalb eines einzigen Spiels, Chaparral Village, das der Session einen roten Faden statt einer Funktions-Checkliste gibt.

Beginnen wir mit den Schatten, denn die Wahl der API verrät, wie das Team denkt. RealityKit-Schatten haben standardmäßig harte Kanten – korrekt nur dann, wenn die Lichtquelle unendlich klein ist. Ein reales Licht hat eine Fläche, und diese Fläche erzeugt einen Halbschatten, den weichen Übergang, in dem das Licht nur teilweise blockiert wird. RealityKit modelliert das mit einem einzigen intuitiv geformten Regler: dem lightSize eines Schattens, dem Durchmesser des Lichts in Metern. Setzen Sie ihn auf 0,7 und die Kanten werden weicher; je größer das Licht, desto breiter der Halbschatten. Eine begleitende quality-Einstellung tauscht Samples gegen Performance (niedrig erzwingt einen harten Schatten; mittel genügt bei typischer Betrachtungsdistanz).² Die Steuerungen bilden physikalische Größen ab – das Muster, das es sich zu verinnerlichen lohnt.

Zwei Funktionen treiben Licht über die virtuelle Grenze hinaus. Projektive Texturen ahmen das Durchscheinen einer Taschenlampe durch ein Stück Film nach und werfen ein Muster auf alles, worauf der Spotlight zeigt – animierte Kaustiken oder die Sterne und Nebel eines Planetariums. Physical Space Lighting lässt diese virtuellen Lichter dann über das Scene-Understanding-Mesh von RealityKit mit dem echten Raum interagieren, sodass sich die projizierten Sterne an Ihre tatsächlichen Wände anpassen. Die Aktivierung ist beinahe unspektakulär: Sie fügen dem Spotlight eine SurroundingsLight-Komponente hinzu (derzeit Spotlights und Punktlichter).² Aus einem virtuellen Licht ein Raumlicht zu machen, ist eine Komponente, die Sie anhängen – kein separater Rendering-Pfad.

Der Rest der Session führt durch Simulation und Capture. Die Stoffsimulation beschreibt Stoff als ein Netz aus Partikel-Vertices, verbunden durch Feder-Kanten; das Anpinnen eines Vorhangs markiert bestimmte Vertices als kinematisch. Navigationsnetze definieren begehbare Bereiche mit flächenbezogenen Traversierungskosten und Off-Mesh-Verbindungen, eingespeist über eine NavigationComponent und abgefragt durch einen NavigationController. Gaussian Splats rendern reale Aufnahmen als Ellipsoide, definiert durch Position, Skalierung, Rotation, Opazität und sphärische Harmonische, zusammengesetzt zu einer GaussianSplatComponent. Immersives Audio erhält ein eigenes Nachhall-Mesh, das auf raytraced geometrischer Akustik aufbaut, wobei eine ReverbMeshResource die Raumgeometrie und die materialbezogene Akustik definiert.² Der rote Faden: Jede Fähigkeit ist eine Komponente, die Sie auf eine Entity komponieren – genau die Entity-Component-System-Form, die RealityKit schon immer hatte.

Reality Composer Pro 3 schließt die Iterationsschleife

Die folgenreichste Änderung am Editor hat überhaupt keine API. Reality Composer Pro 3 ist kein Xcode-Entwicklerwerkzeug mehr; Sie starten es aus dem Programme-Ordner, und die gesamte Version dreht sich darum, die Zeit zwischen einer Änderung und ihrem sichtbaren Ergebnis zu verkürzen.³

Der Editor behält das Entity-und-Komponenten-Modell bei. Sie importieren eine USD-Datei als optimiertes Bundle, ziehen sie als Entity in den Viewport und formen sie über Komponenten im Inspektor. Was sich ändert, ist die Rückmeldung. Drücken Sie auf Play und die Szene läuft; docken Sie den Simulations-Tab neben den Szenen-Tab und Sie arbeiten weiter, während das Spiel läuft – Sie passen einen Graphen an und sehen das Ergebnis ohne jeden Deployment-Schritt. JPs Formulierung sollten Sie sich merken: Der Simulations-Tab entfernt den Deployment-Prozess aus der inneren Schleife, sodass die Reibung zwischen Ihnen und dem fertigen Erlebnis nahezu verschwindet.³

Drei Systeme erweitern diese Schleife. Prototypen verwandeln eine Entity in ein wiederverwendbares Asset, das in den Project Browser gezogen wird; Sie instanziieren es vielfach, überschreiben jede beliebige Instanz, setzen ein Override zurück oder propagieren es zurück zur Quelle – und nichts ändert sich dauerhaft, sofern Sie es nicht so entscheiden. Die Live-Vorschau richtet sich an eine verbundene Vision Pro über eine Companion-App (erscheint später in diesem Jahr), sodass Sie auf dem Mac arbeiten und Aktualisierungen sofort auf dem Gerät sehen – dort, wo Physical Space Lighting tatsächlich beurteilt werden muss.³ Lightmaps übernehmen die statische Beleuchtung: Eine Lightmap-Komponente berechnet indirekte Beleuchtung, Ambient Occlusion oder das fertige Erscheinungsbild im Voraus in eine Textur, mit einem Vorschau-Tab, der die Wirkung vor einem vollständigen Bake zeigt. Die Session schließt mit dem Reality Composer Pro Assistant, einem KI-Panel, das 3D-Objekte und Materialien auf Abruf generiert.³ Das Muster wiederholt sich: Sehen Sie die Folge einer Änderung, bevor Sie dafür bezahlen.

Den Editor mit Xcode erweitern

Der eigenständige Editor wäre für ernsthafte Teams eine Sackgasse, könnten Künstler nur eingebaute Komponenten nutzen. Das Plug-in-System ist die Antwort und macht aus Reality Composer Pro vom Werkzeug, das Sie benutzen, ein Werkzeug, das Sie programmieren. Es erscheint später in diesem Jahr.⁴

Die Teamstruktur ist die Prämisse. Ein Projekt im Stil von Chaparral Village kombiniert ein Reality-Composer-Pro-Projekt (Künstler und Designer) mit einem Xcode-Projekt (Ingenieure) im selben Git-Repository. Importierte Dateien werden auf der Festplatte in internes JSON konvertiert, sodass Standard-Git-Werkzeuge sie zusammenführen, und der Editor bringt ein eigenes Merge-Werkzeug mit, das weniger Konflikte erzeugt als ein einfacher Git-Merge.⁴ Ingenieure bauen zwei Schemes aus gemeinsamem Code: die App und ein RCPCustomComponents.framework-Plug-in, das ihre Komponenten und Systeme dem Editor zur Verfügung stellt. Szenen werden in eine Reality File exportiert, das Serialisierungsformat von RealityKit, das die App lädt. Code fließt als Plug-in in den Editor; Inhalt fließt als Reality File in die App.

Der Mechanismus ist ein Registrierungs-Handshake. Sie schreiben eine Klasse, die RealityComposerProPlugin entspricht (aus dem RealityComposerPro-Swift-Package, das automatisch hinzugefügt wird, wenn Sie das Projekt verknüpfen), und in deren setup-Methode registrieren Sie Ihre Komponenten und Systeme mit dem Kontext, den der Editor Ihnen übergibt. Eine createRealityComposerProPlugin()-Funktion, als C-Symbol exportiert, damit der Loader sie finden kann, gibt das Plug-in zurück. Bauen Sie das Plug-in-Scheme, öffnen Sie das Projekt, bestätigen Sie die Vertrauensabfrage – und Ihre eigene Komponente erscheint im Inspektor; ein Künstler zieht den Wasserstand-Schieberegler und die Oberfläche reagiert, weil Ihr Swift-System innerhalb des Editors läuft.⁴ Sie können sogar den Xcode-Debugger anhängen und in Plug-in-Code an Breakpoints anhalten. Die ehrliche Randbemerkung der Session ist es wert, festgehalten zu werden: Script Graph und Code tun Ähnliches, und der eigentliche Grund, zu Code zu greifen, ist, dass große Script Graphs schwer wartbar werden und Code Apple-APIs (SwiftUI darunter) aufrufen kann, die Script Graph nicht erreicht.⁴

Die Plug-in-Oberfläche reicht an drei Editor-Systeme heran. Eigene Komponenten und Systeme sind der Grundfall. Eigene Animationsaktionen implementieren EntityAction (und Codable) und werden dann mit editierbaren Parametern auf den Sequencer gezogen. Und das @Scriptable-Makro expandiert eine Komponente in ein Schema, das Sie registrieren, sodass Designer sie direkt in Script-Graph-Knoten verdrahten.⁴ Dieselben eigenen Daten, erreichbar aus dem Code, der Timeline und der visuellen Skripting-Schicht zugleich.

Die Knotengraphen, die Verhalten ohne Code aufbauen

Wenn Session 281 die Code-Geschichte ist, dann ist Session 393 ihr Spiegelbild: wie weit ein Designer ohne Code kommt, allein mit den visuellen Graphen des Editors. Die Antwort von 2026 lautet: fast bis zu einem interaktiven Charakter.

Der Aufbau stapelt vier Graph-Typen. Der Animation Graph ist ein knotenbasierter Laufzeit-Editor mit einem Final-Pose-Knoten an seiner Wurzel; Vincent setzt eine State Machine ein, definiert die Zustände Idle und Walk mit bedingten Übergängen und steuert die Überblendung über einen einzigen isWalking-Boolean, der zur Laufzeit umgeschaltet wird. Der Behavior Tree erstellt die autonome Routine: Ein Sequence-Composite führt die Knoten Rotate To Face, Move To und Wait der Reihe nach aus, Parameter-Setter-Knoten schalten isWalking rund um die Bewegung um, und eine Precondition lässt den Alchemisten warten, bis ein readyToBrew-Flag wahr wird. Script Graph liefert den ereignisgesteuerten Klebstoff – ein On-Tap-Knoten setzt readyToBrew, sodass ein Tippen den Charakter zum Kessel schickt.⁵ Die für die Team-Geschwindigkeit entscheidende Erkenntnis: Weil die Graphen visuell und ereignisgesteuert sind, baut und testet jeder im Team Verhalten direkt im Editor ohne Build-Zyklus.⁵

Die Session füllt zwei Teile aus, die Session 279 von der Code-Seite her beschrieben hatte. Die Navigation-Mesh-Komponente ist das Autoren-Gegenstück zu dieser API: Eine Shapes-Bounding-Box wählt aus, welche Geometrie abgetastet wird, Off-Mesh Connections verbinden getrennte Bereiche, und Generation Parameters wie die Zellengröße steuern die Sampling-Auflösung. Einmal erstellt, speist das Netz einen Behavior Tree, einen Animation Graph oder ein eigenes Swift-System.⁵ Der Compute Graph baut Metal-gestützte GPU-Partikelsimulationen über vier Phasen hinweg (Emitter, Initialize, Simulate, Output), und der Rauch des Kessels nutzt eine negative Gravitationskraft, damit der Dampf nach oben treibt. Der Shader Graph ergänzt RealityKit PBR Surface 2 (Sheen und Subsurface Scattering), eine eigene Haar-Surface sowie editierbare Portal-Surface und -Geometrie.⁵

Zusammenarbeit an strukturierten 3D-Modellen

Die letzte Session ist der Lohn – das, was Sie bauen, wenn Engine und Editor derart leistungsfähig sind. visionOS 27 liefert ein Toolkit für die gemeinsame Design-Begutachtung, bei der Personen in einem SharePlay-Anruf dieselbe komplexe Baugruppe manipulieren, sie öffnen, im Querschnitt betrachten und Teile herauslösen – in derselben Detailtreue, im selben Raum.⁶

Das Fundament ist die Struktur, und der schärfste Punkt der Session lautet: Geometrie ohne Hierarchie ist für Code nutzlos. Ein Motorblock, der auf die Wurzel flachgedrückt ist, rendert einwandfrei, bietet aber nichts zum Greifen oder Animieren – die Kolben begraben in einer flachen Liste von Namen im Stil InteriorPart_47. Eine verschachtelte Hierarchie macht jedes Teil auffindbar, die Voraussetzung für alles Weitere.⁶ Auf dieser Hierarchie ist Manipulation eine Frage der Platzierung: Setzen Sie eine ManipulationComponent an die Wurzel und die gesamte Baugruppe bewegt sich als ein Objekt; verschieben Sie sie hinab zu den Kindknoten (zusammen mit InputTargetComponent und CollisionComponent, releaseBehavior auf .stay gesetzt) und jedes Teil wird einzeln greifbar, während der Rest an seinem Platz bleibt. Bills Formulierung ist die klarste Aussage zur ECS-Philosophie in den fünf Sessions: Der Wechsel vom „Ding, das man ansieht” zum „Ding, das man erkundet” geschieht einzig und allein dadurch, wo die Komponente im Baum sitzt.⁶

Clipping ist die wirklich neue Fähigkeit von RealityKit. Die ClippingComponent verwirft pro Frame jede Geometrie außerhalb einer achsenausgerichteten bounds (shouldClipChildren ist standardmäßig false – der häufige Stolperstein; shouldClipSelf ist standardmäßig true) und legt das Innere ebenso bereitwillig frei wie das Äußere.⁶ Das Interaktionsmodell ist bewusst klein gehalten: Die sechs Flächen der Bounding-Box werden zu sechs ziehbaren Ebenen, von denen jede einen Skalar steuert. Damit sich dieses Ziehen natürlich anfühlt, kommt die Mathematik-Lektion der Session: Ein Zieh-Delta wird vom Welt- in den Modell-Frame transformiert und dann auf die Normale der Ebene projiziert, sodass sich die Bounds nur entlang der Achse ändern, die Sie gegriffen haben. Das automatische Auseinanderziehen nutzt dieselbe statistische Ehrlichkeit: Es berechnet eine volumengewichtete Positionsvarianz entlang jeder Achse und fächert die Unterbaugruppen entlang derjenigen mit der größten Varianz auseinander.⁶ Bills abschließende Lektion ist ungewöhnlich für einen Grafik-Vortrag: Machen Sie sich mit Varianz, Vektorprojektion und Koordinatensystem-Transformationen vertraut, denn die Interaktionen, die sich mühelos anfühlen, sind auf dieser Mathematik aufgebaut.

Wo Sie anfangen sollten

Alles auf einmal zu übernehmen ist der falsche Zug. Gehen Sie in der Reihenfolge dessen vor, was den Rest freischaltet.

1. Laden Sie zuerst den eigenständigen Editor herunter. Dass Reality Composer Pro 3 das Xcode-Paket verlässt, ist die Änderung, von der jeder andere Workflow abhängt; importieren Sie eine Szene neu, damit Sie den Simulations-Tab, Prototypen und die Lightmap-Vorschau zur Hand haben.³
2. Holen Sie sich die Iterationsschleife vor den Funktionen. Docken Sie den Simulations-Tab an, um zu arbeiten, während die Szene läuft, und verdrahten Sie dann die On-Device-Live-Vorschau mit einer Vision Pro. Physical Space Lighting oder weiche Schatten auf einem flachen Mac-Bildschirm zu beurteilen, führt Sie in die Irre.³²
3. Greifen Sie zu RealityKit-Funktionen als Komponenten, nicht als Neuschreibungen. Weiche Schatten, eine gebackene Lightmap und eine SurroundingsLight auf einem Spotlight sind jeweils eine Komponente oder Eigenschaft – und jede bringt ein überproportionales Maß an Realismus.²
4. Fügen Sie das Xcode-Plug-in erst dann hinzu, wenn Künstler Ihre Daten brauchen. Die RealityComposerProPlugin-Registrierung zahlt sich in dem Moment aus, in dem ein Designer eine eigene Komponente live einstellen will; bis dahin decken eingebaute Komponenten und Script Graph viel Boden ab.⁴⁵
5. Bauen Sie für die Design-Begutachtung auf Hierarchie auf. Das Toolkit für strukturierte Modelle funktioniert nur auf einem gut verschachtelten Asset – richten Sie also die Hierarchie ein, bevor Sie Interaktionscode schreiben.⁶

Der rote Faden über die fünf Sessions hinweg: Die räumliche Pipeline dieses Jahres belohnt Komposition vor Konstruktion. Realismus ist eine Komponente, die Sie anhängen, Iteration ein Tab, den Sie andocken, Zusammenarbeit eine Hierarchie, die Sie respektieren.

FAQ

Ist Reality Composer Pro 3 noch Teil von Xcode?

Nein. Reality Composer Pro 3 ist jetzt eine eigenständige App, die Sie von der Entwickler-Website herunterladen und aus Ihrem Programme-Ordner starten. Sie ist nach wie vor mit einem Xcode-Projekt verknüpft, um die App zu bauen und Plug-ins zu laden, aber der Editor läuft eigenständig.³

Wie funktionieren weiche Schatten in RealityKit im Jahr 2026?

Die Eigenschaft lightSize eines Schattens ist der Durchmesser des Lichts in Metern; der Standardwert 0 erzeugt einen harten Schatten, und ein größerer Wert (die Session verwendet 0,7) verbreitert den Halbschatten. Setzen Sie quality auf mittel oder hoch, da niedrig unabhängig von der Lichtgröße einen harten Schatten erzwingt – wobei mittel bei typischer Betrachtungsdistanz empfohlen wird, um die Kosten im Griff zu behalten.²

Kann ich meinen eigenen Swift-Code innerhalb des Reality-Composer-Pro-Editors ausführen?

Ja. Bauen Sie ein Plug-in, das dem RealityComposerProPlugin-Protokoll entspricht, und registrieren Sie Ihre Komponenten und Systeme in dessen setup-Methode; der Editor führt diesen Code live aus, sodass ein Künstler eine Eigenschaft anpasst und das System reagieren sieht, ohne die App neu zu bauen. Sie können den Xcode-Debugger anhängen, um in Plug-in-Code an Breakpoints anzuhalten. Die Funktion erscheint später im Jahr 2026.⁴

Was ist die neue Clipping-Funktion in visionOS 27?

ClippingComponent verwirft pro Frame jede Geometrie außerhalb einer achsenausgerichteten Bounding-Box (bounds) und lässt Sie durch eine komplexe Baugruppe hindurch in ihr Inneres blicken. Beachten Sie, dass shouldClipChildren standardmäßig false ist, sodass eine übergeordnete Baugruppe ihre Kinder erst dann beschneidet, wenn Sie es auf true setzen.⁶

Muss ich Code schreiben, damit ein Charakter animiert und auf Tippen reagiert?

Nein. Die visuellen Graphen von Reality Composer Pro 3 decken das ab: Eine Animation-Graph-Zustandsmaschine blendet zwischen Idle- und Walk-Animationen über, ein Behavior Tree reiht die Routine aneinander und steuert sie über einen Boolean, und ein Script Graph verdrahtet einen On-Tap-Knoten so, dass er diesen Boolean umschaltet – alles erstellt ohne Build-Zyklus.⁵

Der vollständige Cluster der Apple-Ecosystem-Reihe: das räumliche mentale Modell, das erklärt, warum RealityKit ein Entity-Component-System ist und nicht SwiftUI in 3D; die räumlichen Muster von visionOS zum Strukturieren von Szenen und Immersionsstilen; was neu ist in visionOS 27 zu den Plattformfunktionen rund um diese Werkzeuge; und die Apple-Plattform-Matrix dazu, wie RealityKit über visionOS, iOS, iPadOS, macOS und tvOS ausgeliefert wird. Der zentrale Anlaufpunkt ist die Apple Ecosystem Series. Für einen breiteren Kontext zu iOS mit KI-Agenten siehe den Leitfaden zur iOS-Agentenentwicklung.

Referenzen