Novedades de visionOS 27 para desarrolladores espaciales

visionOS empezó con una sola vía de entrada realmente relevante a la plataforma: crear una app nativa con SwiftUI y RealityKit, o marcar la casilla «Designed for iPad» y publicar un panel. visionOS 27 añade una tercera puerta y ensancha la segunda. Ahora puedes extender contenido espacial directamente desde una app de Mac sin ninguna compilación de visionOS, transmitir una experiencia OpenXR completa desde un PC por Wi-Fi y colocar un entorno 3D real detrás de un sitio web en Safari. Esta versión se lee menos como una lista de funciones y más como Apple respondiendo a la pregunta de dónde vive ya tu trabajo existente, para luego salir a tu encuentro allí mismo.¹

El patrón que recorre todos los anuncios es el alcance. El seguimiento de objetos llega a iOS con los mismos objetos de referencia entrenados. Spatial Preview llega a Vision Pro desde Preview en macOS. Foveated Streaming llega a un PC con Windows. La Spatial Web llega a una página web. Apple dedicó este ciclo a reducir la distancia entre el contenido que ya tienes y su presentación espacial, y los cuatro nuevos puntos de entrada son la prueba. Las secciones siguientes abordan cada uno por turno, con el momento de la sesión en que Apple lo demuestra y la afirmación atribuida que lo respalda.

En la sesión 287, Apple, el Vision Products Group, describe el Apple Vision Pro de generación M5 como una potencia de cómputo de clase escritorio, con más de 4K píxeles por ojo y seguimiento de manos a 90 Hz, y luego plantea la nueva tercera ruta como una forma de llevar experiencias existentes de macOS y PC a la plataforma en lugar de reconstruirlas.²

TL;DR / Puntos clave

• Spatial Preview, un nuevo framework de macOS 27, envía fotos espaciales, fotogramas de Apple Immersive Video, PDF y escenas USD en vivo desde un Mac a Vision Pro a través de Quick Look, sin necesidad de una app de visionOS y con revisión SharePlay integrada.³⁴
• Foveated Streaming (introducido en visionOS 26.4) conecta Vision Pro a un PC para transmitir contenido OpenXR por Wi-Fi, comprimiendo el flujo según la mirada mediante NVIDIA CloudXR, con la entrada de manos y mando enviada de vuelta automáticamente.⁵
• El seguimiento de objetos gana seguimiento a alta tasa de fotogramas, un modo de entrenamiento ampliado de Create ML para objetos sostenidos en la mano y una API de pose en metric space para medición, y ahora se ejecuta en iOS con los mismos objetos de referencia.⁶
• Ahora cualquiera puede construir un accesorio espacial: una placa con LED de seguimiento, una IMU y Bluetooth, detectada mediante GCSpatialAccessory y entrenada con un bundle de Create ML hasta producir un archivo de accesorio de referencia.⁶
• La Spatial Web madura: las ventanas de Safari se ensanchan y se curvan, los Web Environments están activados por defecto y una API de JavaScript requestImmersive (modelada sobre Fullscreen) permite que una página web transporte a los visitantes dentro de un entorno 3D.²⁷
• RealityKit añade Projective Textures, Cloth Simulation, un Custom Reverb Mesh y Gaussian Splatting; Reality Composer Pro 3 añade un asistente de IA, un Animation Graph, un Script Graph y navigation meshes.²

La tercera ruta: Spatial Preview desde el Mac

La incorporación más silenciosamente significativa de la versión no necesita nada de código de visionOS. Spatial Preview es un framework de macOS 27 que permite a una app de Mac enviar contenido espacial a un Vision Pro emparejado y actualizarlo en vivo. Quick Look recibe el contenido del lado de visionOS, así que un creador puede moverse por una escena 3D a escala completa, cambiar puntos de vista de cámara, aplicar material overrides y dejar anotaciones sin que nadie escriba una línea de interfaz de visionOS.³

En la sesión 282, el equipo de visionOS de Apple explica que el framework ofrece dos tipos de sesión: sesiones document preview para fotos espaciales, videos y tipos de documento como PDF, y sesiones USD preview para contenido 3D, con Quick Look abriéndose en Vision Pro y sin código requerido del lado de visionOS.⁸ El endpoint puede ser el dispositivo ya conectado mediante Mac Virtual Display, o cualquier Vision Pro cercano en la misma cuenta de iCloud elegido mediante un selector de dispositivos.⁸

La ruta 3D es donde el framework se gana su lugar. Una sesión USD preview toma una USD stage, la abre en una vista volumétrica en Vision Pro y permite que la persona entre en una vista inmersiva a escala completa. Las ediciones fluyen en ambas direcciones sobre una USD stage en vivo, así que un cambio de disposición hecho en la app de Mac aparece espacialmente en Vision Pro, y una anotación añadida en el visor se refleja de vuelta en el Mac. Apple señala que el framework optimiza las escenas USD pesadas antes de compartirlas, con diezmado de mesh, submuestreo de textura y reconstrucción completa de la escena cuando es necesario, y que una escena reconstruida sigue siendo visible y anotable incluso cuando ya no es editable.⁹ La compatibilidad con SharePlay significa que un segundo revisor puede unirse a la misma sesión en vivo, lo que convierte la revisión de assets de un ciclo de «renderizar y enviar por correo» en una sala compartida. Apple cita Cinema 4D y SketchUp como el tipo de herramientas de contenido a las que apunta este flujo de trabajo.³⁹

Foveated Streaming: un PC dentro del visor

La segunda ruta ensanchada corre en sentido contrario: en lugar de enviar contenido desde un Mac, transmites una experiencia OpenXR completa desde un PC con Windows. Foveated Streaming, que Apple introdujo en visionOS 26.4, permite que Vision Pro se conecte a un dispositivo externo, envíe de vuelta la entrada (manos, posiciones del mando, micrófono) y reciba video y audio renderizados de forma remota.⁵ El nombre describe el truco: el sistema comprime el flujo según la mirada, enviando la región en la que estás concentrado con más detalle y la periferia con menor ancho de banda, usando el seguimiento ocular de Vision Pro.⁵

En la sesión 286, el equipo de ingeniería de Apple afirma que NVIDIA CloudXR está integrado en visionOS, con suficiente rendimiento para transmitir por Wi-Fi desde un PC local o desde la nube sin cables, y que un equipo puede poner una aplicación OpenXR a transmitir en alrededor de un día y añadir capacidades exclusivas de visionOS en una semana.¹⁰ La arquitectura tiene dos mitades: una app receptora de visionOS construida sobre la API FoveatedStreamingSession, y una app anfitriona OpenXR que implementa el Foveated Streaming Protocol de Apple (una conexión TCP ligera que gestiona la autenticación y el emparejamiento por código de barras) y usa el runtime OpenXR de CloudXR.¹⁰

El detalle que hace de esto algo más que un escritorio remoto es la integración con los frameworks nativos. El receptor presenta el contenido transmitido mediante un ImmersiveSpace, y Apple recomienda un estilo progressive immersion para que la experiencia aparezca a través de un portal anclado en la habitación.¹⁰ Una API message-channels en la sesión transporta datos opacos en ambos sentidos, así que un selector de nivel en SwiftUI puede disparar una carga en el PC, y los datos de ARKit del visor pueden alinear la escena transmitida con un equipo físico. X-Plane 12 de Laminar Research usa exactamente eso: ARKit encuentra un simulador de vuelo físico, los message channels sincronizan su posición con el PC, y las cabinas real y virtual se alinean.⁵¹⁰ Suministrar un depth buffer permite incluso que el contenido transmitido y el contenido RealityKit en el dispositivo se ocluyan entre sí.¹⁰

Entornos inmersivos y la Spatial Web

Dos sesiones cubren la historia de los entornos desde extremos opuestos: el oficio de construir un entorno fotorrealista y la nueva capacidad de colocar uno detrás de una página web. Ambas importan porque visionOS 27 activa los Web Environments por defecto, así que una ventana de Safari ya puede asentarse dentro de un fondo como lo hace una app nativa.²

En la sesión 320, el equipo de Safari para visionOS de Apple presenta una API inmersiva modelada sobre la API de JavaScript Fullscreen: donde llamarías a requestFullscreen en un video, llamas a requestImmersive en un elemento HTML model para transportarlo más allá de los límites del navegador mientras la página permanece visible.⁷ El ingeniero recorre un sitio de un recinto que previsualiza en inline la vista desde un asiento elegido y luego entra al teatro de forma inmersiva con un toque, y subraya dos reglas de marco de referencia que vale la pena interiorizar: un modelo inline se centra en su capa a escala CSS, mientras que un modelo inmersivo se ancla a los pies de la persona a escala real, y el entorno inmersivo se abre desde detrás de la ventana de Safari, así que mantienes el foco principal donde la ventana no lo oculta.⁷ Una optimización práctica cierra el círculo: poner display: none en el elemento model oculta la vista previa inline y aplaza la descarga y decodificación del asset hasta que se dispara la solicitud inmersiva, ahorrando ancho de banda para los visitantes que nunca entran.⁷

La disciplina de diseño detrás de un entorno convincente es un tema en sí mismo, y sus principios se transfieren directamente a los entornos web.

En la sesión 234, el equipo de diseño de entornos de Apple señala que un espectador plenamente inmerso ve aproximadamente 81 grados de la escena en su campo de visión, que un panorama ideal de 360 grados apunta a 14.400 por 7.200 píxeles (nítido a 40 píxeles por grado), y que el movimiento costoso (nubes que evolucionan, frondas de palmera que se mecen, olas que rompen en el entorno de Bora Bora) se aproxima de forma barata mediante UV flow maps, máscaras de sombra que se desplazan y animación de vértices con ondas sinusoidales en capas, en lugar de simulación en tiempo real.¹¹ El consejo de cierre de la sesión sirve también como regla para cualquier trabajo espacial: sé intencional con todo lo que añades o quitas, e intenta romper tu propio diseño antes de confiar en él.¹¹

El seguimiento de objetos madura y cruza a iOS

El seguimiento de objetos, que llegó en visionOS 2.0, convierte un objeto físico en un ancla virtual: empiezas con un modelo USDZ, entrenas un objeto de referencia en Create ML en un Mac y lo pasas a la API de seguimiento para recibir actualizaciones de posición y orientación.⁶ visionOS 27 afina esta capacidad de tres maneras y la extiende a una segunda plataforma.

En la sesión 283, el equipo de visionOS de Apple detalla las tres mejoras: seguimiento a alta tasa de fotogramas para objetos que se mueven por el espacio, un modo de entrenamiento ampliado de Create ML que mejora la precisión y la robustez de los objetos sostenidos en la mano (a costa de un tiempo de entrenamiento bastante mayor), y una API de corrección de espacio de coordenadas que devuelve una pose ya sea rendered (con correcciones de visualización para que el contenido virtual se alinee visualmente con el objeto) o en true metric space sin correcciones, que es lo que exigen los casos de uso de medición como una sonda de entrenamiento quirúrgico.¹² La sesión también confirma una alternativa útil: cuando no puedes conseguir un modelo 3D fotorrealista, puedes imprimir un marcador en 3D, montarlo sobre el objeto y usar el marcador como objeto de referencia.¹²

El salto multiplataforma es el titular. El seguimiento de objetos ahora se ejecuta en iOS mediante ARKit, y como el entrenamiento de Create ML es independiente de la plataforma, el mismo objeto de referencia entrenado funciona tanto en iOS como en visionOS con la misma calidad de seguimiento.⁶¹² En iOS cargas los objetos de referencia en una world-tracking configuration, asignas cada uno a detección estacionaria o a seguimiento a alta tasa de fotogramas, y manejas los object anchors resultantes en tu session delegate.¹²

La historia complementaria son los accesorios espaciales. visionOS 26 lanzó los mandos Logitech Muse y PSVR2 Sense; visionOS 27 permite que cualquiera construya uno. Un accesorio espacial es una placa que lleva una constelación de LED de seguimiento, una IMU para orientación y aceleración y un chip Bluetooth, más botones, paneles táctiles y respuesta háptica opcionales, instalada en cualquier objeto que quieras rastrear.⁶ Validas la construcción con una vista de depuración del seguimiento de accesorios de ARKit en los ajustes de desarrollador, lo entrenas con un bundle de Create ML (un USDZ anotado con las posiciones de los LED y la IMU) hasta producir un archivo de accesorio de referencia, luego lo detectas mediante la nueva clase GCSpatialAccessory y ejecutas un proveedor de seguimiento de accesorios.¹² Apple dice que los fabricantes DFRobot y MikroE lanzarán hardware de referencia listo para usar y kits de desarrollo más adelante este año, así que existen piezas plug-and-play para los equipos que no quieren fabricar una placa.²¹² El compromiso frente al seguimiento de objetos queda claro en la sesión: el seguimiento de objetos gana en precisión de medición, mientras que un accesorio espacial gana en tasa de refresco y latencia para objetos que se mueven rápido, y añade botones físicos y respuesta háptica.¹²

RealityKit y Reality Composer Pro 3

La ruta nativa no se quedó quieta. RealityKit gana Projective Textures (focos texturizados para efectos como la proyección de vitrales o las cáusticas submarinas), Cloth Simulation que pliega y deja caer la tela en tiempo real, un Custom Reverb Mesh que modela cómo se dispersa el sonido sobre la madera, el metal y la piedra en un espacio, y Gaussian Splatting para escanear un objeto real e importarlo como un splat 3D.² Reality Composer Pro 3 es una renovación mayor: un asistente de IA que genera modelos 3D a partir de una descripción, una máquina de estados Animation Graph para transiciones en tiempo de ejecución, un Script Graph basado en nodos para la lógica de interacción con vista previa en vivo en Vision Pro, y navigation meshes para que los personajes tracen rutas alrededor de los obstáculos, todo sin abrir Xcode.² Para los equipos ya invertidos en la pila nativa, el trabajo en el editor es lo que más cambia la velocidad del día a día.

Qué adoptar primero

Una versión con cuatro nuevos puntos de entrada premia el triaje. Empieza donde la distancia respecto a tu trabajo existente sea más corta.

1. Si tienes una app de contenido de Mac, prototipa Spatial Preview. Viene en la app Preview de macOS, expone las mismas funciones como una API y no necesita una compilación de visionOS, así que el costo de un primer flujo de revisión espacial es casi cero.³⁸
2. Si publicas un producto web, activa un Web Environment y prueba requestImmersive. Los Web Environments están activados por defecto, la API inmersiva refleja la API Fullscreen que ya conoces, y un solo elemento model más una llamada bastan para meter a un visitante en una escena.²⁷
3. Si tienes una experiencia OpenXR o de PC, transmítela. Los ejemplos de código abierto de Apple y la implementación de referencia del protocolo ponen una conexión de Foveated Streaming al alcance de un día, y la integración nativa con SwiftUI, ARKit y RealityKit es aditiva a partir de ahí.¹⁰
4. Si tu app ya hace seguimiento de objetos, adopta la pose en metric space y el porte a iOS. La API de corrección de espacio de coordenadas habilita la medición, y los mismos objetos de referencia ahora se ejecutan en iPhone y iPad sin reentrenamiento.⁶¹²
5. Trata los accesorios espaciales personalizados como una apuesta para más adelante. Construir una placa es la ruta de mayor esfuerzo; espera los kits de referencia de DFRobot y MikroE a menos que la entrada de movimiento rápido con respuesta háptica sea central para tu experiencia.¹²

El hilo conductor coincide con la versión: adopta la ruta que sale al encuentro de tu contenido existente donde vive, y aplaza la que te pide construir hardware nuevo.

Preguntas frecuentes

¿Qué es el framework Spatial Preview en visionOS 27?

Spatial Preview es un framework de macOS 27 que permite a una app de Mac enviar contenido espacial (fotos espaciales, fotogramas de Apple Immersive Video, PDF, imágenes estándar y escenas 3D USD en vivo) a un Apple Vision Pro emparejado, donde Quick Look lo muestra sin necesidad de una app de visionOS.³⁸ Ofrece sesiones document preview para medios y tipos de documento, y sesiones USD preview para contenido 3D, admite edición bidireccional en vivo de una USD stage e incluye SharePlay para que los colaboradores puedan revisar juntos la misma escena.⁸⁹

¿Cómo funciona Foveated Streaming y qué necesita?

Foveated Streaming conecta Vision Pro a un dispositivo externo como un PC con Windows para transmitir contenido OpenXR como video y audio, mientras visionOS envía de vuelta la entrada (manos, posiciones del mando, micrófono) automáticamente.⁵ Comprime el flujo según la mirada usando el seguimiento ocular de Vision Pro, se ejecuta sobre NVIDIA CloudXR integrado en visionOS y funciona por Wi-Fi sin cables. Construyes un receptor de visionOS sobre FoveatedStreamingSession y una app anfitriona que implementa el Foveated Streaming Protocol de Apple y el runtime OpenXR de CloudXR.⁵¹⁰

¿Puedo usar el seguimiento de objetos en el iPhone ahora?

Sí. visionOS 27 lleva el seguimiento de objetos a iOS mediante ARKit, y como el entrenamiento de Create ML es independiente de la plataforma, un objeto de referencia que entrenaste para visionOS funciona en iOS con la misma calidad de seguimiento.⁶¹² En iOS cargas los objetos de referencia en una world-tracking configuration, asignas cada uno a detección estacionaria o a seguimiento a alta tasa de fotogramas, y manejas los object anchors en tu session delegate.¹²

¿Cómo coloco un entorno 3D detrás de mi sitio web en Safari?

Usa el elemento HTML model con un asset USDZ y llama a la API de JavaScript requestImmersive en respuesta a una interacción del usuario, lo que refleja el patrón de la API Fullscreen.⁷ Los Web Environments están activados por defecto en Safari en visionOS 27, así que una página web puede tener un fondo 3D como una app.² Recuerda que un modelo inmersivo se ancla a los pies de la persona a escala real y se abre desde detrás de la ventana de Safari, y que display: none en el modelo aplaza la descarga del asset hasta que se dispara la solicitud inmersiva.⁷

¿Qué es un accesorio espacial y tengo que construir el hardware?

Un accesorio espacial es un dispositivo electrónico con una constelación de LED de seguimiento, una IMU y un chip Bluetooth (más botones, paneles táctiles y respuesta háptica opcionales) que Apple Vision Pro rastrea a alta frecuencia con baja latencia.⁶¹² visionOS 27 permite que cualquiera construya uno, detectado mediante GCSpatialAccessory y entrenado hasta un archivo de accesorio de referencia con un bundle de Create ML.¹² No tienes que fabricar una placa: Apple dice que DFRobot y MikroE lanzarán hardware de referencia listo para usar y kits de desarrollo más adelante este año.²¹²

El clúster completo de Apple Ecosystem: los patrones espaciales de visionOS que nombran las Windows, Volumes e Immersive Spaces en las que estas nuevas rutas renderizan; el modelo mental espacial de RealityKit que subyace a la capa de contenido 3D con la que se componen Spatial Preview y Foveated Streaming; la disciplina de publicar una sola app de SwiftUI en cinco plataformas de Apple que el alcance iOS-y-visionOS del seguimiento de objetos ahora extiende; y la matriz de plataformas de Apple que mapea dónde aterriza cada capacidad. El hub está en la serie Apple Ecosystem. Para un contexto más amplio de iOS con agentes de IA, consulta la guía de desarrollo de agentes para iOS.

Referencias