O que há de novo no visionOS 27 para devs de experiências espaciais

O visionOS começou com um único caminho que importava para chegar à plataforma: criar um app nativo com SwiftUI e RealityKit, ou marcar a opção “Designed for iPad” e publicar um painel. O visionOS 27 adiciona uma terceira porta e amplia a segunda. Agora você pode estender conteúdo espacial direto de um app do Mac sem nenhuma build de visionOS, transmitir uma experiência OpenXR completa de um PC por Wi-Fi e colocar um ambiente 3D real atrás de um site no Safari. O lançamento se lê menos como uma lista de recursos e mais como a Apple respondendo à pergunta de onde o seu trabalho já vive, para então ir ao encontro dele ali mesmo.¹

O fio condutor de todos esses anúncios é alcance. O rastreamento de objetos chega ao iOS com os mesmos objetos de referência treinados. O Spatial Preview chega ao Vision Pro a partir do Preview no macOS. O Foveated Streaming chega a um PC com Windows. A web espacial chega a uma página. A Apple dedicou este ciclo a reduzir a distância entre o conteúdo que você já tem e uma apresentação espacial dele, e os quatro novos pontos de entrada são a prova disso. As seções a seguir tratam de cada um por vez, com o momento da sessão em que a Apple o demonstra e a afirmação atribuída que o ancora.

Na sessão 287, a Apple, por meio do Vision Products Group, descreve o Apple Vision Pro da geração M5 como computação de nível desktop, com mais de 4K pixels por olho e rastreamento das mãos a 90Hz, e em seguida apresenta o novo terceiro caminho como uma forma de trazer experiências existentes de macOS e PC para a plataforma, em vez de recriá-las.²

TL;DR / Principais conclusões

• O Spatial Preview, um novo framework do macOS 27, envia fotos espaciais, frames de Apple Immersive Video, PDFs e cenas USD ao vivo do Mac para o Vision Pro por meio do Quick Look, sem exigir um app de visionOS e com revisão via SharePlay já integrada.³⁴
• O Foveated Streaming (introduzido no visionOS 26.4) conecta o Vision Pro a um PC para transmitir conteúdo OpenXR por Wi-Fi, comprimindo a transmissão conforme o olhar com o NVIDIA CloudXR e devolvendo automaticamente a entrada das mãos e do controle.⁵
• O rastreamento de objetos ganha rastreamento em alta taxa de quadros, um modo estendido de treinamento no Create ML para objetos segurados na mão e uma API de pose em espaço métrico para medição, e agora roda no iOS com os mesmos objetos de referência.⁶
• Qualquer pessoa pode agora criar um acessório espacial: uma placa com LEDs de rastreamento, uma IMU e Bluetooth, descoberta por meio de GCSpatialAccessory e treinada com um bundle do Create ML para gerar um arquivo de acessório de referência.⁶
• A web espacial amadurece: as janelas do Safari ficam mais largas e curvas, os Web Environments vêm ativados por padrão, e uma API JavaScript requestImmersive (modelada na de tela cheia) permite que uma página leve seus visitantes para dentro de um ambiente 3D.²⁷
• O RealityKit adiciona Projective Textures, Cloth Simulation, um Custom Reverb Mesh e Gaussian Splatting; o Reality Composer Pro 3 adiciona um assistente de IA, Animation Graph, Script Graph e malhas de navegação.²

O terceiro caminho: Spatial Preview a partir do Mac

A adição mais discreta, porém mais significativa, do lançamento não exige nenhum código de visionOS. O Spatial Preview é um framework do macOS 27 que permite a um app do Mac enviar conteúdo espacial para um Vision Pro pareado e atualizá-lo ao vivo. O Quick Look recebe o conteúdo do lado do visionOS, de modo que quem cria pode se mover por uma cena 3D em escala real, alternar pontos de vista de câmera, aplicar substituições de material e deixar anotações sem que ninguém escreva uma linha de interface de visionOS.³

Na sessão 282, a equipe de visionOS da Apple explica que o framework oferece dois tipos de sessão: sessões de pré-visualização de documentos para fotos espaciais, vídeos e tipos de documento como PDF, e sessões de pré-visualização USD para conteúdo 3D, com o Quick Look abrindo no Vision Pro e sem código necessário do lado do visionOS.⁸ O destino pode ser o dispositivo já conectado por meio do Mac Virtual Display, ou qualquer Vision Pro próximo na mesma conta iCloud, escolhido por um seletor de dispositivos.⁸

É no caminho 3D que o framework justifica seu valor. Uma sessão de pré-visualização USD recebe um USD stage, abre-o em uma visualização volumétrica no Vision Pro e permite que a pessoa entre em uma visualização imersiva em escala real. As edições fluem nos dois sentidos por um USD stage ao vivo, de modo que uma mudança de layout feita no app do Mac aparece espacialmente no Vision Pro, e uma anotação adicionada no headset se reflete de volta no Mac. A Apple observa que o framework otimiza cenas USD pesadas antes de compartilhar, com decimação de malha, redução de resolução de texturas e reconstrução completa da cena quando necessário, e que uma cena reconstruída continua visível e anotável mesmo quando não pode mais ser editada.⁹ O suporte a SharePlay significa que um segundo revisor pode entrar na mesma sessão ao vivo, o que transforma a revisão de assets de um ciclo de renderizar-e-enviar-e-mail em uma sala compartilhada. A Apple cita o Cinema 4D e o SketchUp como o tipo de ferramenta de conteúdo a que o fluxo de trabalho se destina.³⁹

Foveated Streaming: um PC dentro do headset

O segundo caminho ampliado vai na direção oposta: em vez de enviar conteúdo de um Mac, você transmite uma experiência OpenXR completa de um PC com Windows. O Foveated Streaming, que a Apple introduziu no visionOS 26.4, permite que o Vision Pro se conecte a um dispositivo externo, envie a entrada de volta (mãos, posições do controle, microfone) e receba vídeo e áudio renderizados remotamente.⁵ O nome descreve o truque: o sistema comprime a transmissão conforme o olhar, enviando a região em que você está focado com mais detalhe e a periferia com menos largura de banda, usando o rastreamento ocular do Vision Pro.⁵

Na sessão 286, a equipe de engenharia da Apple afirma que o NVIDIA CloudXR vem integrado ao visionOS, com desempenho suficiente para transmitir por Wi-Fi de um PC local ou da nuvem sem cabos, e que uma equipe consegue colocar um aplicativo OpenXR transmitindo em cerca de um dia e adicionar recursos exclusivos de visionOS dentro de uma semana.¹⁰ A arquitetura tem duas metades: um app receptor de visionOS construído sobre a API FoveatedStreamingSession e um app host de OpenXR que implementa o Foveated Streaming Protocol da Apple (uma conexão TCP leve que cuida da autenticação e do pareamento por código de barras) e usa o runtime OpenXR do CloudXR.¹⁰

O detalhe que torna isso mais do que um desktop remoto é a integração com os frameworks nativos. O app receptor apresenta o conteúdo transmitido por meio de um ImmersiveSpace, e a Apple recomenda um estilo de imersão progressiva para que a experiência apareça através de um portal ancorado no cômodo.¹⁰ Uma API de message channels na sessão transporta dados opacos nos dois sentidos, de modo que uma seleção de fase em SwiftUI pode disparar um carregamento no PC, e os dados do ARKit do headset podem alinhar a cena transmitida a um equipamento físico. O X-Plane 12, da Laminar Research, faz exatamente isso: o ARKit encontra um simulador de voo físico, os message channels sincronizam a posição dele com o PC, e a cabine real e a virtual se alinham.⁵¹⁰ Fornecer um buffer de profundidade chega a permitir que o conteúdo transmitido e o conteúdo de RealityKit no dispositivo se ocultem mutuamente.¹⁰

Ambientes imersivos e a web espacial

Duas sessões cobrem a história dos ambientes por pontas opostas: o ofício de criar um ambiente fotorrealista e a nova capacidade de colocar um deles atrás de uma página web. Ambas importam porque o visionOS 27 ativa os Web Environments por padrão, de modo que uma janela do Safari agora pode ficar dentro de um plano de fundo como faz um app nativo.²

Na sessão 320, a equipe do Safari para visionOS da Apple apresenta uma API imersiva modelada na API JavaScript de tela cheia: onde você chamaria requestFullscreen em um vídeo, você chama requestImmersive em um elemento HTML model para transportá-lo além dos limites do navegador enquanto a página permanece visível.⁷ O engenheiro percorre um site de local de eventos que pré-visualiza em linha a vista de um assento escolhido e depois entra no teatro de forma imersiva com um toque, e enfatiza duas regras de referencial que vale a pena internalizar: um modelo em linha fica centralizado em sua camada na escala do CSS, enquanto um modelo imersivo é ancorado aos pés da pessoa em escala real, e o ambiente imersivo se abre por trás da janela do Safari, de modo que você mantém o foco principal onde a janela não o esconde.⁷ Uma otimização prática fecha o ciclo: definir display: none no elemento do modelo oculta a pré-visualização em linha e adia o download e a decodificação do asset até que a requisição imersiva dispare, economizando largura de banda para os visitantes que nunca entram.⁷

A disciplina de design por trás de um ambiente convincente é um assunto à parte, e os princípios se transferem diretamente para os ambientes web.

Na sessão 234, a equipe de design de ambientes da Apple observa que quem está totalmente imerso vê aproximadamente 81 graus da cena em seu campo de visão, que um panorama ideal de 360 graus tem como alvo 14.400 por 7.200 pixels (nítido a 40 pixels por grau) e que o movimento custoso (nuvens em evolução, folhas de palmeira balançando, ondas quebrando no ambiente de Bora Bora) é aproximado de forma barata por meio de mapas de fluxo UV, máscaras de sombra em rolagem e animação de vértices em ondas senoidais em camadas, em vez de simulação em tempo real.¹¹ O conselho final da sessão serve também como regra para qualquer trabalho espacial: seja intencional sobre tudo o que você adiciona ou remove, e tente quebrar o seu próprio design antes de confiar nele.¹¹

O rastreamento de objetos amadurece e chega ao iOS

O rastreamento de objetos, que chegou no visionOS 2.0, transforma um objeto físico em uma âncora virtual: você começa com um modelo USDZ, treina um objeto de referência no Create ML em um Mac e o passa para a API de rastreamento a fim de receber atualizações de posição e orientação.⁶ O visionOS 27 aprimora esse recurso de três maneiras e o estende a uma segunda plataforma.

Na sessão 283, a equipe de visionOS da Apple detalha as três melhorias: rastreamento em alta taxa de quadros para objetos que se movem pelo espaço, um modo estendido de treinamento no Create ML que melhora a precisão e a robustez para objetos segurados na mão (ao custo de um tempo de treinamento bem mais longo) e uma API de correção de espaço de coordenadas que retorna uma pose renderizada (com correções de exibição para que o conteúdo virtual se alinhe visualmente ao objeto) ou em espaço métrico verdadeiro, sem correções, que é o que casos de uso de medição como uma sonda de treinamento cirúrgico exigem.¹² A sessão também confirma uma alternativa útil: quando você não consegue um modelo 3D fotorrealista, pode imprimir um marcador em 3D, fixá-lo no objeto e usar o marcador como objeto de referência.¹²

O movimento multiplataforma é o destaque. O rastreamento de objetos agora roda no iOS por meio do ARKit e, como o treinamento no Create ML é independente de plataforma, o mesmo objeto de referência treinado funciona tanto no iOS quanto no visionOS com a mesma qualidade de rastreamento.⁶¹² No iOS, você carrega objetos de referência em uma configuração de rastreamento mundial, atribui cada um à detecção estacionária ou ao rastreamento em alta taxa de quadros e trata as âncoras de objeto resultantes no delegate da sua sessão.¹²

A história complementar é a dos acessórios espaciais. O visionOS 26 lançou os controles Logitech Muse e PSVR2 Sense; o visionOS 27 permite que qualquer pessoa crie um. Um acessório espacial é uma placa que carrega uma constelação de LEDs de rastreamento, uma IMU para orientação e aceleração e um chip Bluetooth, além de botões, touchpads e háptica opcionais, instalada em qualquer objeto que você queira rastrear.⁶ Você valida a montagem com uma visualização de depuração de rastreamento de acessório do ARKit nas configurações de desenvolvedor, treina-a com um bundle do Create ML (um USDZ anotado com as posições de LED e IMU) para gerar um arquivo de acessório de referência, depois a descobre por meio da nova classe GCSpatialAccessory e executa um provedor de rastreamento de acessórios.¹² A Apple diz que as fabricantes DFRobot e MikroE vão lançar hardware de referência e kits de desenvolvimento prontos ainda este ano, de modo que existem peças plug-and-play para equipes que não querem fabricar uma placa.²¹² O trade-off em relação ao rastreamento de objetos fica claro a partir da sessão: o rastreamento de objetos vence em precisão de medição, enquanto um acessório espacial vence em taxa de atualização e latência para objetos em movimento rápido, e acrescenta botões físicos e háptica.¹²

RealityKit e Reality Composer Pro 3

O caminho nativo não ficou parado. O RealityKit ganha Projective Textures (holofotes texturizados para efeitos como projeção de vitral ou cáusticas subaquáticas), Cloth Simulation que faz o tecido cair e dobrar em tempo real, um Custom Reverb Mesh que modela como o som se dispersa em madeira, metal e pedra em um espaço, e Gaussian Splatting para escanear um objeto real e trazê-lo como um splat 3D.² O Reality Composer Pro 3 é uma renovação maior: um assistente de IA que gera modelos 3D a partir de uma descrição, uma máquina de estados Animation Graph para transições em tempo de execução, um Script Graph baseado em nós para a lógica de interação com pré-visualização ao vivo no Vision Pro, e malhas de navegação para que personagens contornem obstáculos, tudo sem abrir o Xcode.² Para equipes já investidas na stack nativa, é o trabalho no editor que mais muda a velocidade do dia a dia.

O que adotar primeiro

Um lançamento com quatro novos pontos de entrada recompensa a triagem. Comece onde a distância em relação ao seu trabalho existente é mais curta.

1. Se você tem um app de conteúdo do Mac, prototipe o Spatial Preview. Ele vem no app Preview do macOS, expõe os mesmos recursos como uma API e não precisa de build de visionOS, de modo que o custo de um primeiro fluxo de revisão espacial é próximo de zero.³⁸
2. Se você publica um produto web, ative um Web Environment e teste o requestImmersive. Os Web Environments vêm ativados por padrão, a API imersiva espelha a API de tela cheia que você já conhece, e um único elemento model mais uma chamada bastam para levar um visitante para dentro de uma cena.²⁷
3. Se você tem uma experiência OpenXR ou de PC, transmita-a. Os exemplos de código aberto e a implementação de referência do protocolo da Apple colocam uma conexão de Foveated Streaming ao alcance de um dia, e a integração nativa com SwiftUI, ARKit e RealityKit é aditiva a partir daí.¹⁰
4. Se o seu app já faz rastreamento de objetos, adote a pose em espaço métrico e a versão para iOS. A API de correção de espaço de coordenadas viabiliza a medição, e os mesmos objetos de referência agora rodam no iPhone e no iPad sem retreinamento.⁶¹²
5. Trate os acessórios espaciais personalizados como uma aposta para depois. Criar uma placa é o caminho de maior esforço; espere pelos kits de referência da DFRobot e da MikroE, a menos que a entrada de movimento rápido com háptica seja central para a sua experiência.¹²

O fio condutor combina com o lançamento: adote o caminho que vai ao encontro do seu conteúdo existente onde ele vive, e deixe para depois aquele que pede que você crie hardware novo.

FAQ

O que é o framework Spatial Preview no visionOS 27?

O Spatial Preview é um framework do macOS 27 que permite a um app do Mac enviar conteúdo espacial (fotos espaciais, frames de Apple Immersive Video, PDFs, imagens comuns e cenas USD 3D ao vivo) para um Apple Vision Pro pareado, onde o Quick Look o exibe sem exigir um app de visionOS.³⁸ Ele oferece sessões de pré-visualização de documentos para tipos de mídia e documento e sessões de pré-visualização USD para conteúdo 3D, dá suporte à edição ao vivo bidirecional de um USD stage e inclui o SharePlay para que colaboradores revisem a mesma cena juntos.⁸⁹

Como funciona o Foveated Streaming e do que ele precisa?

O Foveated Streaming conecta o Vision Pro a um dispositivo externo, como um PC com Windows, para transmitir conteúdo OpenXR como vídeo e áudio, enquanto o visionOS devolve a entrada (mãos, posições do controle, microfone) automaticamente.⁵ Ele comprime a transmissão conforme o olhar usando o rastreamento ocular do Vision Pro, roda sobre o NVIDIA CloudXR integrado ao visionOS e funciona por Wi-Fi sem cabos. Você constrói um receptor de visionOS sobre o FoveatedStreamingSession e um app host que implementa o Foveated Streaming Protocol da Apple e o runtime OpenXR do CloudXR.⁵¹⁰

Já posso usar rastreamento de objetos no iPhone?

Sim. O visionOS 27 leva o rastreamento de objetos ao iOS por meio do ARKit e, como o treinamento no Create ML é independente de plataforma, um objeto de referência que você treinou para o visionOS funciona no iOS com a mesma qualidade de rastreamento.⁶¹² No iOS, você carrega os objetos de referência em uma configuração de rastreamento mundial, atribui cada um à detecção estacionária ou ao rastreamento em alta taxa de quadros e trata as âncoras de objeto no delegate da sua sessão.¹²

Como coloco um ambiente 3D atrás do meu site no Safari?

Use o elemento HTML model com um asset USDZ e chame a API JavaScript requestImmersive em resposta a uma interação do usuário, o que espelha o padrão da API de tela cheia.⁷ Os Web Environments vêm ativados por padrão no Safari do visionOS 27, de modo que uma página web pode ter um plano de fundo 3D como um app.² Lembre-se de que um modelo imersivo é ancorado aos pés da pessoa em escala real e se abre por trás da janela do Safari, e de que display: none no modelo adia o download do asset até que a requisição imersiva dispare.⁷

O que é um acessório espacial e eu preciso construir o hardware?

Um acessório espacial é um dispositivo eletrônico com uma constelação de LEDs de rastreamento, uma IMU e um chip Bluetooth (além de botões, touchpads e háptica opcionais) que o Apple Vision Pro rastreia em alta frequência e baixa latência.⁶¹² O visionOS 27 permite que qualquer pessoa crie um, descoberto por meio de GCSpatialAccessory e treinado para gerar um arquivo de acessório de referência com um bundle do Create ML.¹² Você não precisa fabricar uma placa: a Apple diz que a DFRobot e a MikroE vão lançar hardware de referência e kits de desenvolvimento prontos ainda este ano.²¹²

O cluster completo do Apple Ecosystem: os padrões espaciais do visionOS, que nomeiam as Windows, Volumes e Immersive Spaces nas quais esses novos caminhos renderizam; o modelo mental espacial do RealityKit sob a camada de conteúdo 3D com que o Spatial Preview e o Foveated Streaming se combinam; a disciplina de publicar um único app SwiftUI em cinco plataformas Apple, que o alcance do rastreamento de objetos no iOS e no visionOS agora estende; e a matriz de plataformas Apple, que mapeia onde cada recurso se encaixa. O hub está na Série Apple Ecosystem. Para um contexto mais amplo de iOS com agentes de IA, veja o guia de Desenvolvimento de Agentes para iOS.

Referências