Les nouveautés de visionOS 27 pour les développeurs spatiaux

visionOS a débuté avec une seule voie d’accès vraiment significative à la plateforme : créer une application native avec SwiftUI et RealityKit, ou cocher la case « Designed for iPad » et publier un panneau. visionOS 27 ajoute une troisième porte et élargit la deuxième. Vous pouvez désormais étendre du contenu spatial directement depuis une application Mac sans aucune compilation visionOS, diffuser une expérience OpenXR complète depuis un PC via Wi-Fi, et placer un véritable environnement 3D derrière un site web dans Safari. Cette version ressemble moins à une liste de fonctionnalités qu’à la réponse d’Apple à la question de savoir où vit déjà votre travail existant, puis à sa façon de venir vous y rejoindre.¹

Le fil conducteur de toutes ces annonces, c’est la portée. Le suivi d’objets atteint iOS avec les mêmes objets de référence entraînés. Spatial Preview atteint Vision Pro depuis Preview sur macOS. Foveated Streaming atteint un PC Windows. Le Spatial Web atteint une page web. Apple a consacré ce cycle à réduire la distance entre le contenu que vous possédez déjà et sa présentation spatiale, et les quatre nouveaux points d’entrée en sont la preuve. Les sections ci-dessous abordent chacun d’eux tour à tour, avec le moment de la session où Apple le démontre et l’affirmation attribuée qui l’étaye.

Lors de la session 287, Apple, le Vision Products Group, décrit l’Apple Vision Pro de génération M5 comme une puissance de calcul de classe bureau, avec plus de 4K pixels par œil et un suivi des mains à 90 Hz, puis présente la nouvelle troisième voie comme un moyen d’amener des expériences macOS et PC existantes sur la plateforme plutôt que de les reconstruire.²

TL;DR / Points clés à retenir

• Spatial Preview, un nouveau framework de macOS 27, envoie des photos spatiales, des images Apple Immersive Video, des PDF et des scènes USD en direct depuis un Mac vers Vision Pro via Quick Look, sans application visionOS requise et avec une révision SharePlay intégrée.³⁴
• Foveated Streaming (introduit dans visionOS 26.4) connecte Vision Pro à un PC pour diffuser du contenu OpenXR via Wi-Fi, en compressant le flux selon le regard grâce à NVIDIA CloudXR, les entrées des mains et de la manette étant renvoyées automatiquement.⁵
• Le suivi d’objets gagne un suivi à haute fréquence d’images, un mode d’entraînement Create ML étendu pour les objets tenus en main et une API de pose en metric space pour la mesure ; il fonctionne désormais sur iOS avec les mêmes objets de référence.⁶
• N’importe qui peut désormais fabriquer un accessoire spatial : une carte dotée de LED de suivi, d’une IMU et du Bluetooth, détectée via GCSpatialAccessory et entraînée avec un bundle Create ML pour produire un fichier d’accessoire de référence.⁶
• Le Spatial Web mûrit : les fenêtres Safari s’élargissent et se courbent, les Web Environments sont activés par défaut, et une API JavaScript requestImmersive (calquée sur Fullscreen) permet à une page web de transporter les visiteurs à l’intérieur d’un environnement 3D.²⁷
• RealityKit ajoute Projective Textures, Cloth Simulation, un Custom Reverb Mesh et le Gaussian Splatting ; Reality Composer Pro 3 ajoute un assistant IA, un Animation Graph, un Script Graph et des navigation meshes.²

La troisième voie : Spatial Preview depuis le Mac

L’ajout le plus discrètement marquant de cette version ne nécessite aucun code visionOS. Spatial Preview est un framework de macOS 27 qui permet à une application Mac d’envoyer du contenu spatial vers un Vision Pro associé et de le mettre à jour en direct. Quick Look reçoit le contenu côté visionOS, de sorte qu’un créateur peut se déplacer dans une scène 3D à pleine échelle, changer de point de vue caméra, appliquer des material overrides et laisser des annotations sans que personne n’écrive une ligne d’interface visionOS.³

Lors de la session 282, l’équipe visionOS d’Apple explique que le framework propose deux types de sessions : les sessions document preview pour les photos spatiales, les vidéos et les types de documents comme le PDF, et les sessions USD preview pour le contenu 3D, Quick Look se lançant sur Vision Pro sans aucun code requis côté visionOS.⁸ Le point de terminaison peut être l’appareil déjà connecté via Mac Virtual Display, ou n’importe quel Vision Pro à proximité sur le même compte iCloud, choisi via un sélecteur d’appareils.⁸

C’est sur la voie 3D que le framework prend toute sa valeur. Une session USD preview prend une USD stage, l’ouvre dans une vue volumétrique sur Vision Pro et permet à la personne d’entrer dans une vue immersive à pleine échelle. Les modifications circulent dans les deux sens via une USD stage en direct : un changement de disposition effectué dans l’application Mac apparaît spatialement sur Vision Pro, et une annotation ajoutée dans le casque se reflète sur le Mac. Apple précise que le framework optimise les scènes USD lourdes avant le partage, avec décimation de mesh, sous-échantillonnage de texture et reconstruction complète de la scène si nécessaire, et qu’une scène reconstruite reste consultable et annotable même lorsqu’elle n’est plus modifiable.⁹ La prise en charge de SharePlay signifie qu’un deuxième relecteur peut rejoindre la même session en direct, ce qui transforme la révision d’assets d’une boucle « rendu puis e-mail » en une pièce partagée. Apple cite Cinema 4D et SketchUp comme le type d’outils de contenu visés par ce flux de travail.³⁹

Foveated Streaming : un PC à l’intérieur du casque

La deuxième voie élargie fonctionne dans l’autre sens : au lieu d’envoyer du contenu depuis un Mac, vous diffusez une expérience OpenXR complète depuis un PC Windows. Foveated Streaming, qu’Apple a introduit dans visionOS 26.4, permet à Vision Pro de se connecter à un appareil externe, de renvoyer des entrées (mains, positions de manette, microphone) et de recevoir de la vidéo et de l’audio rendus à distance.⁵ Le nom décrit l’astuce : le système compresse le flux selon le regard, envoyant la région sur laquelle vous êtes concentré avec plus de détails et la périphérie avec une bande passante moindre, grâce au suivi oculaire de Vision Pro.⁵

Lors de la session 286, l’équipe d’ingénierie d’Apple indique que NVIDIA CloudXR est intégré à visionOS, suffisamment performant pour diffuser via Wi-Fi depuis un PC local ou le cloud sans câbles, et qu’une équipe peut faire diffuser une application OpenXR en une journée environ et ajouter des capacités propres à visionOS en une semaine.¹⁰ L’architecture comporte deux moitiés : une application réceptrice visionOS construite sur l’API FoveatedStreamingSession, et une application hôte OpenXR qui implémente le Foveated Streaming Protocol d’Apple (une connexion TCP légère gérant l’authentification et l’appairage par code-barres) et utilise le runtime OpenXR de CloudXR.¹⁰

Le détail qui fait de cela bien plus qu’un bureau à distance, c’est l’intégration avec les frameworks natifs. Le récepteur présente le contenu diffusé via un ImmersiveSpace, et Apple recommande un style progressive immersion afin que l’expérience apparaisse à travers un portail ancré dans la pièce.¹⁰ Une API message-channels de la session transporte des données opaques dans les deux sens : ainsi, un sélecteur de niveau en SwiftUI peut déclencher un chargement sur le PC, et les données ARKit du casque peuvent aligner la scène diffusée sur un équipement physique. X-Plane 12 de Laminar Research fait exactement cela : ARKit repère un simulateur de vol physique, les message channels synchronisent sa position avec le PC, et les cockpits réel et virtuel s’alignent.⁵¹⁰ Fournir un depth buffer permet même au contenu diffusé et au contenu RealityKit local de s’occulter mutuellement.¹⁰

Environnements immersifs et Spatial Web

Deux sessions couvrent l’histoire des environnements depuis deux extrémités opposées : l’art de créer un environnement photoréaliste, et la nouvelle possibilité d’en placer un derrière une page web. Les deux comptent, car visionOS 27 active les Web Environments par défaut : une fenêtre Safari peut désormais s’installer dans un arrière-plan comme le fait une application native.²

Lors de la session 320, l’équipe Safari visionOS d’Apple présente une API immersive calquée sur l’API JavaScript Fullscreen : là où vous appelleriez requestFullscreen sur une vidéo, vous appelez requestImmersive sur un élément HTML model pour le transporter au-delà des limites du navigateur tout en gardant la page visible.⁷ L’ingénieur fait la démonstration d’un site de salle qui prévisualise en inline la vue depuis un siège choisi, puis entre dans le théâtre de façon immersive d’une simple touche, et insiste sur deux règles de référentiel qu’il vaut la peine d’intégrer : un modèle inline est centré dans son calque à l’échelle CSS, tandis qu’un modèle immersif est ancré aux pieds de la personne à l’échelle réelle, et l’environnement immersif s’ouvre derrière la fenêtre Safari, de sorte que vous gardez le focus principal là où la fenêtre ne le cache pas.⁷ Une optimisation pratique boucle la boucle : définir display: none sur l’élément model masque l’aperçu inline et reporte le téléchargement et le décodage de l’asset jusqu’au déclenchement de la requête immersive, économisant de la bande passante pour les visiteurs qui n’entrent jamais.⁷

La discipline de conception derrière un environnement convaincant est un sujet à part entière, et ses principes se transposent directement aux environnements web.

Lors de la session 234, l’équipe de conception d’environnements d’Apple note qu’un spectateur pleinement immergé voit environ 81 degrés de la scène dans son champ de vision, qu’un panorama 360 degrés idéal vise 14 400 sur 7 200 pixels (net à 40 pixels par degré), et qu’un mouvement coûteux (nuages évoluant, frondes de palmier oscillant, vagues se brisant dans l’environnement Bora Bora) est approximé à moindre coût grâce à des UV flow maps, des masques d’ombre défilants et une animation de sommets en sinusoïdes superposées, plutôt que par une simulation en temps réel.¹¹ Le conseil de clôture de la session vaut aussi comme règle pour tout travail spatial : soyez intentionnel pour tout ce que vous ajoutez ou retirez, et essayez de casser votre propre conception avant de lui faire confiance.¹¹

Le suivi d’objets mûrit et passe à iOS

Le suivi d’objets, arrivé dans visionOS 2.0, transforme un objet physique en ancre virtuelle : vous partez d’un modèle USDZ, entraînez un objet de référence dans Create ML sur un Mac, puis le transmettez à l’API de suivi pour recevoir des mises à jour de position et d’orientation.⁶ visionOS 27 affine cette capacité de trois manières et l’étend à une deuxième plateforme.

Lors de la session 283, l’équipe visionOS d’Apple détaille les trois améliorations : un suivi à haute fréquence d’images pour les objets se déplaçant dans l’espace, un mode d’entraînement Create ML étendu qui améliore la précision et la robustesse des objets tenus en main (au prix d’un temps d’entraînement nettement plus long), et une API de correction d’espace de coordonnées qui renvoie une pose soit rendered (avec des corrections d’affichage pour que le contenu virtuel s’aligne visuellement avec l’objet), soit en true metric space sans corrections, ce qu’exigent les cas d’usage de mesure comme une sonde de formation chirurgicale.¹² La session confirme aussi une solution de repli utile : lorsque vous ne pouvez pas obtenir de modèle 3D photoréaliste, vous pouvez imprimer un marqueur en 3D, le fixer sur l’objet et utiliser ce marqueur comme objet de référence.¹²

C’est le passage multiplateforme qui fait la une. Le suivi d’objets fonctionne désormais sur iOS via ARKit, et comme l’entraînement Create ML est indépendant de la plateforme, le même objet de référence entraîné fonctionne sur iOS et visionOS avec la même qualité de suivi.⁶¹² Sur iOS, vous chargez les objets de référence dans une world-tracking configuration, assignez chacun soit à la détection stationnaire, soit au suivi à haute fréquence d’images, et gérez les object anchors qui en résultent dans votre session delegate.¹²

L’histoire complémentaire concerne les accessoires spatiaux. visionOS 26 a livré les manettes Logitech Muse et PSVR2 Sense ; visionOS 27 permet à quiconque d’en fabriquer une. Un accessoire spatial est une carte portant une constellation de LED de suivi, une IMU pour l’orientation et l’accélération, et une puce Bluetooth, plus des boutons, pavés tactiles et retours haptiques optionnels, installée dans tout objet que vous voulez suivre.⁶ Vous validez la fabrication avec une vue de débogage du suivi d’accessoires ARKit dans les réglages développeur, l’entraînez avec un bundle Create ML (un USDZ annoté des positions des LED et de l’IMU) pour produire un fichier d’accessoire de référence, puis la détectez via la nouvelle classe GCSpatialAccessory et exécutez un fournisseur de suivi d’accessoires.¹² Apple indique que les fabricants DFRobot et MikroE livreront du matériel de référence prêt à l’emploi et des kits de développement plus tard cette année, de sorte que des composants plug-and-play existent pour les équipes qui ne veulent pas fabriquer de carte.²¹² Le compromis face au suivi d’objets ressort clairement de la session : le suivi d’objets l’emporte sur la précision de mesure, tandis qu’un accessoire spatial l’emporte sur la fréquence de rafraîchissement et la latence pour les objets se déplaçant vite, et ajoute des boutons physiques et des retours haptiques.¹²

RealityKit et Reality Composer Pro 3

La voie native n’est pas restée immobile. RealityKit gagne Projective Textures (des spots texturés pour des effets comme la projection de vitrail ou les caustiques sous-marines), Cloth Simulation qui drape et plie le tissu en temps réel, un Custom Reverb Mesh qui modélise la façon dont le son se disperse sur le bois, le métal et la pierre dans un espace, et le Gaussian Splatting pour scanner un objet réel et l’importer sous forme de splat 3D.² Reality Composer Pro 3 est une refonte plus large : un assistant IA qui génère des modèles 3D à partir d’une description, une machine à états Animation Graph pour les transitions à l’exécution, un Script Graph basé sur des nœuds pour la logique d’interaction avec aperçu en direct sur Vision Pro, et des navigation meshes pour que les personnages contournent les obstacles, le tout sans ouvrir Xcode.² Pour les équipes déjà investies dans la pile native, c’est le travail sur l’éditeur qui change le plus la vélocité au quotidien.

Que faut-il adopter en premier ?

Une version avec quatre nouveaux points d’entrée récompense le tri. Commencez là où la distance par rapport à votre travail existant est la plus courte.

1. Si vous avez une application de contenu Mac, prototypez Spatial Preview. Elle est livrée dans l’application Preview de macOS, expose les mêmes fonctionnalités sous forme d’API et ne nécessite aucune compilation visionOS : le coût d’un premier flux de révision spatiale est donc proche de zéro.³⁸
2. Si vous publiez un produit web, activez un Web Environment et testez requestImmersive. Les Web Environments sont activés par défaut, l’API immersive reflète l’API Fullscreen que vous connaissez déjà, et un seul élément model plus un appel suffisent à plonger un visiteur dans une scène.²⁷
3. Si vous avez une expérience OpenXR ou PC, diffusez-la. Les exemples open source d’Apple et l’implémentation de référence du protocole mettent une connexion Foveated Streaming à portée d’une journée, et l’intégration native de SwiftUI, ARKit et RealityKit s’y ajoute ensuite.¹⁰
4. Si votre application fait déjà du suivi d’objets, adoptez la pose en metric space et le portage iOS. L’API de correction d’espace de coordonnées permet la mesure, et les mêmes objets de référence fonctionnent désormais sur iPhone et iPad sans réentraînement.⁶¹²
5. Considérez les accessoires spatiaux personnalisés comme un pari pour plus tard. Fabriquer une carte est la voie qui demande le plus d’efforts ; attendez les kits de référence DFRobot et MikroE, sauf si une entrée à mouvement rapide avec retour haptique est au cœur de votre expérience.¹²

Le fil conducteur correspond à la version : adoptez la voie qui rejoint votre contenu existant là où il vit, et reportez celle qui vous demande de fabriquer du nouveau matériel.

FAQ

Qu’est-ce que le framework Spatial Preview dans visionOS 27 ?

Spatial Preview est un framework de macOS 27 qui permet à une application Mac d’envoyer du contenu spatial (photos spatiales, images Apple Immersive Video, PDF, images standard et scènes 3D USD en direct) vers un Apple Vision Pro associé, où Quick Look l’affiche sans qu’aucune application visionOS soit requise.³⁸ Il propose des sessions document preview pour les médias et types de documents et des sessions USD preview pour le contenu 3D, prend en charge l’édition bidirectionnelle en direct d’une USD stage et inclut SharePlay pour que les collaborateurs puissent réviser la même scène ensemble.⁸⁹

Comment fonctionne Foveated Streaming et de quoi a-t-il besoin ?

Foveated Streaming connecte Vision Pro à un appareil externe comme un PC Windows pour diffuser du contenu OpenXR sous forme de vidéo et d’audio, tandis que visionOS renvoie automatiquement les entrées (mains, positions de manette, microphone).⁵ Il compresse le flux selon le regard grâce au suivi oculaire de Vision Pro, s’appuie sur NVIDIA CloudXR intégré à visionOS et fonctionne via Wi-Fi sans câbles. Vous construisez un récepteur visionOS sur FoveatedStreamingSession et une application hôte qui implémente le Foveated Streaming Protocol d’Apple et le runtime OpenXR de CloudXR.⁵¹⁰

Puis-je utiliser le suivi d’objets sur iPhone maintenant ?

Oui. visionOS 27 apporte le suivi d’objets à iOS via ARKit, et comme l’entraînement Create ML est indépendant de la plateforme, un objet de référence que vous avez entraîné pour visionOS fonctionne sur iOS avec la même qualité de suivi.⁶¹² Sur iOS, vous chargez les objets de référence dans une world-tracking configuration, assignez chacun à la détection stationnaire ou au suivi à haute fréquence d’images, et gérez les object anchors dans votre session delegate.¹²

Comment placer un environnement 3D derrière mon site web dans Safari ?

Utilisez l’élément HTML model avec un asset USDZ et appelez l’API JavaScript requestImmersive en réponse à une interaction de l’utilisateur, ce qui reproduit le modèle de l’API Fullscreen.⁷ Les Web Environments sont activés par défaut dans Safari sur visionOS 27, de sorte qu’une page web peut avoir un arrière-plan 3D comme une application.² Rappelez-vous qu’un modèle immersif s’ancre aux pieds de la personne à l’échelle réelle et s’ouvre derrière la fenêtre Safari, et que display: none sur le modèle reporte le téléchargement de l’asset jusqu’au déclenchement de la requête immersive.⁷

Qu’est-ce qu’un accessoire spatial et dois-je fabriquer le matériel ?

Un accessoire spatial est un appareil électronique doté d’une constellation de LED de suivi, d’une IMU et d’une puce Bluetooth (plus des boutons, pavés tactiles et retours haptiques optionnels) qu’Apple Vision Pro suit à haute fréquence avec une faible latence.⁶¹² visionOS 27 permet à quiconque d’en fabriquer un, détecté via GCSpatialAccessory et entraîné en un fichier d’accessoire de référence avec un bundle Create ML.¹² Vous n’avez pas à fabriquer de carte : Apple indique que DFRobot et MikroE livreront du matériel de référence prêt à l’emploi et des kits de développement plus tard cette année.²¹²

L’ensemble du cluster Apple Ecosystem : les patterns spatiaux de visionOS qui nomment les Windows, Volumes et Immersive Spaces dans lesquels ces nouvelles voies effectuent leur rendu ; le modèle mental spatial de RealityKit qui sous-tend la couche de contenu 3D avec laquelle Spatial Preview et Foveated Streaming se composent ; la discipline qui consiste à publier une seule application SwiftUI sur cinq plateformes Apple que la portée iOS-et-visionOS du suivi d’objets étend désormais ; et la matrice des plateformes Apple qui cartographie où chaque capacité atterrit. Le hub se trouve dans la série Apple Ecosystem. Pour un contexte plus large sur iOS avec des agents IA, consultez le guide de développement d’agents iOS.

Références