Nowości w visionOS 27 dla deweloperów przestrzennych

visionOS zaczynał z jedną naprawdę istotną drogą wejścia na platformę: zbudować natywną aplikację za pomocą SwiftUI i RealityKit albo zaznaczyć pole „Designed for iPad” i opublikować panel. visionOS 27 dodaje trzecie drzwi i poszerza drugie. Treści przestrzenne można teraz rozszerzyć bezpośrednio z aplikacji na Macu zupełnie bez kompilacji dla visionOS, przesłać strumieniowo pełne doświadczenie OpenXR z PC przez Wi-Fi oraz umieścić prawdziwe środowisko 3D za stroną internetową w Safari. Ta wersja czyta się mniej jak lista funkcji, a bardziej jak odpowiedź Apple na pytanie, gdzie już teraz znajduje się Twoja istniejąca praca, a następnie wyjście jej naprzeciw właśnie tam.¹

Wzorcem przewijającym się przez wszystkie zapowiedzi jest zasięg. Śledzenie obiektów sięga iOS z tymi samymi wytrenowanymi obiektami referencyjnymi. Spatial Preview sięga Vision Pro z aplikacji Preview na macOS. Foveated Streaming sięga komputera z systemem Windows. Spatial Web sięga strony internetowej. Apple poświęciło ten cykl na skracanie dystansu między treściami, które już masz, a ich przestrzenną prezentacją, a cztery nowe punkty wejścia są tego dowodem. Poniższe sekcje omawiają każdy z nich po kolei, wraz z momentem sesji, w którym Apple go demonstruje, oraz przypisanym do źródła stwierdzeniem, które go zakotwicza.

W sesji 287 Apple, czyli Vision Products Group, opisuje Apple Vision Pro generacji M5 jako moc obliczeniową klasy desktopowej, z ponad 4K pikselami na oko i śledzeniem dłoni z częstotliwością 90 Hz, a następnie przedstawia nową trzecią ścieżkę jako sposób na przeniesienie istniejących doświadczeń z macOS i PC na platformę, zamiast budowania ich od nowa.²

TL;DR / Najważniejsze wnioski

• Spatial Preview, nowy framework w macOS 27, wysyła zdjęcia przestrzenne, klatki Apple Immersive Video, pliki PDF oraz scenę USD na żywo z Maca do Vision Pro za pośrednictwem Quick Look, bez wymaganej aplikacji visionOS i z wbudowanym przeglądem przez SharePlay.³⁴
• Foveated Streaming (wprowadzony w visionOS 26.4) łączy Vision Pro z komputerem PC, aby przesyłać strumieniowo treści OpenXR przez Wi-Fi, kompresując strumień według spojrzenia z użyciem NVIDIA CloudXR, przy czym dane wejściowe dłoni i kontrolera są odsyłane automatycznie.⁵
• Śledzenie obiektów zyskuje śledzenie z wysoką liczbą klatek na sekundę, rozszerzony tryb trenowania Create ML dla obiektów trzymanych w dłoni oraz API pozy w metric space do pomiarów, a teraz działa również na iOS z tymi samymi obiektami referencyjnymi.⁶
• Każdy może teraz zbudować akcesorium przestrzenne: płytkę ze śledzącymi diodami LED, czujnikiem IMU oraz Bluetooth, wykrywaną przez GCSpatialAccessory i trenowaną pakietem Create ML do postaci pliku akcesorium referencyjnego.⁶
• Spatial Web dojrzewa: okna Safari poszerzają się i zakrzywiają, Web Environments są domyślnie włączone, a JavaScriptowe API requestImmersive (wzorowane na Fullscreen) pozwala stronie internetowej przenieść odwiedzających do wnętrza środowiska 3D.²⁷
• RealityKit dodaje Projective Textures, Cloth Simulation, Custom Reverb Mesh oraz Gaussian Splatting; Reality Composer Pro 3 dodaje asystenta AI, Animation Graph, Script Graph oraz navigation meshes.²

Trzecia ścieżka: Spatial Preview z Maca

Najbardziej po cichu znaczący dodatek w tej wersji w ogóle nie potrzebuje kodu visionOS. Spatial Preview to framework w macOS 27, który pozwala aplikacji na Macu wypchnąć treści przestrzenne na sparowane Vision Pro i aktualizować je na żywo. Quick Look odbiera treści po stronie visionOS, więc twórca może poruszać się po scenie 3D w pełnej skali, zmieniać punkty widzenia kamery, stosować material overrides i zostawiać adnotacje, a nikt nie musi napisać ani jednej linijki interfejsu visionOS.³

W sesji 282 zespół visionOS w Apple wyjaśnia, że framework oferuje dwa typy sesji: sesje document preview dla zdjęć przestrzennych, filmów oraz typów dokumentów takich jak PDF, oraz sesje USD preview dla treści 3D, przy czym Quick Look uruchamia się na Vision Pro i nie jest wymagany żaden kod po stronie visionOS.⁸ Punktem końcowym może być urządzenie już połączone przez Mac Virtual Display albo dowolne pobliskie Vision Pro na tym samym koncie iCloud, wybrane za pomocą selektora urządzeń.⁸

To na ścieżce 3D framework zarabia na siebie. Sesja USD preview bierze USD stage, otwiera ją w widoku wolumetrycznym na Vision Pro i pozwala osobie wejść do immersyjnego widoku w pełnej skali. Edycje płyną w obie strony przez działającą na żywo USD stage, więc zmiana układu wprowadzona w aplikacji na Macu pojawia się przestrzennie na Vision Pro, a adnotacja dodana w zestawie nagłownym odbija się z powrotem na Macu. Apple zaznacza, że framework przed udostępnieniem optymalizuje ciężkie sceny USD za pomocą decymacji mesha, próbkowania w dół tekstur oraz pełnej rekonstrukcji sceny, gdy jest to konieczne, oraz że zrekonstruowana scena pozostaje możliwa do oglądania i opatrywania adnotacjami nawet wtedy, gdy nie da się już jej edytować.⁹ Obsługa SharePlay oznacza, że drugi recenzent może dołączyć do tej samej sesji na żywo, co zmienia przegląd assetów z pętli „wyrenderuj i wyślij mailem” we wspólne pomieszczenie. Apple wskazuje Cinema 4D oraz SketchUp jako rodzaj narzędzi do treści, do których celuje ten przepływ pracy.³⁹

Foveated Streaming: PC wewnątrz zestawu nagłownego

Druga poszerzona ścieżka biegnie w drugą stronę: zamiast wypychać treści z Maca, przesyłasz strumieniowo pełne doświadczenie OpenXR z komputera z systemem Windows. Foveated Streaming, który Apple wprowadziło w visionOS 26.4, pozwala Vision Pro połączyć się z urządzeniem zewnętrznym, odesłać dane wejściowe (dłonie, pozycje kontrolera, mikrofon) oraz odebrać wideo i dźwięk wyrenderowane zdalnie.⁵ Nazwa opisuje sztuczkę: system kompresuje strumień według spojrzenia, wysyłając obszar, na którym się skupiasz, w wyższej szczegółowości, a peryferia przy niższej przepustowości, korzystając ze śledzenia wzroku Vision Pro.⁵

W sesji 286 zespół inżynierski Apple stwierdza, że NVIDIA CloudXR jest wbudowane w visionOS, na tyle wydajne, aby przesyłać strumieniowo przez Wi-Fi z lokalnego PC lub z chmury bez kabli, oraz że zespół może uruchomić strumieniowanie aplikacji OpenXR w mniej więcej jeden dzień i dodać funkcje dostępne wyłącznie w visionOS w ciągu tygodnia.¹⁰ Architektura ma dwie połowy: aplikację odbiorczą visionOS zbudowaną na API FoveatedStreamingSession oraz hostującą aplikację OpenXR, która implementuje Foveated Streaming Protocol firmy Apple (lekkie połączenie TCP obsługujące uwierzytelnianie i parowanie za pomocą kodu kreskowego) i korzysta ze środowiska uruchomieniowego CloudXR OpenXR.¹⁰

Szczegółem, który czyni z tego coś więcej niż pulpit zdalny, jest integracja z natywnymi frameworkami. Odbiornik prezentuje przesyłaną treść przez ImmersiveSpace, a Apple zaleca styl progressive immersion, aby doświadczenie pojawiało się przez portal zakotwiczony w pomieszczeniu.¹⁰ API message-channels w sesji przenosi nieprzejrzyste dane w obie strony, więc wybór poziomu w SwiftUI może uruchomić ładowanie na PC, a dane ARKit z zestawu nagłownego mogą wyrównać przesyłaną scenę do fizycznego sprzętu. X-Plane 12 firmy Laminar Research wykorzystuje dokładnie to: ARKit odnajduje fizyczny symulator lotu, message channels synchronizują jego pozycję z PC, a kokpity rzeczywisty i wirtualny pokrywają się.⁵¹⁰ Dostarczenie depth buffer pozwala nawet, aby przesyłana treść i treść RealityKit działająca na urządzeniu wzajemnie się przesłaniały.¹⁰

Immersyjne środowiska i Spatial Web

Dwie sesje omawiają temat środowisk z dwóch przeciwnych stron: rzemiosło budowania fotorealistycznego środowiska oraz nową możliwość umieszczenia go za stroną internetową. Obie mają znaczenie, ponieważ visionOS 27 domyślnie włącza Web Environments, więc okno Safari może teraz osadzić się w tle tak, jak robi to natywna aplikacja.²

W sesji 320 zespół Safari dla visionOS w Apple przedstawia immersyjne API wzorowane na JavaScriptowym API Fullscreen: tam, gdzie wywoływałbyś requestFullscreen na wideo, wywołujesz requestImmersive na elemencie HTML model, aby przenieść go poza granice przeglądarki, podczas gdy strona pozostaje widoczna.⁷ Inżynier prezentuje witrynę obiektu, która podgląda w trybie inline widok z wybranego fotela, a następnie wchodzi do teatru w sposób immersyjny po dotknięciu, i podkreśla dwie warte zapamiętania reguły układu odniesienia: model inline jest wyśrodkowany w swojej warstwie w skali CSS, podczas gdy model immersyjny jest zakotwiczony u stóp osoby w skali rzeczywistej, a immersyjne środowisko otwiera się zza okna Safari, więc główny punkt skupienia pozostaje tam, gdzie okno go nie zasłania.⁷ Praktyczna optymalizacja zamyka tę pętlę: ustawienie display: none na elemencie model ukrywa podgląd inline i odracza pobieranie oraz dekodowanie assetu do momentu, aż uruchomi się żądanie immersyjne, oszczędzając przepustowość dla odwiedzających, którzy nigdy nie wchodzą.⁷

Dyscyplina projektowa stojąca za przekonującym środowiskiem to osobny temat, a jej zasady przenoszą się bezpośrednio na środowiska webowe.

W sesji 234 zespół projektowania środowisk w Apple zauważa, że w pełni zanurzony widz widzi w polu widzenia około 81 stopni sceny, że idealna panorama 360 stopni celuje w 14 400 na 7 200 pikseli (ostra przy 40 pikselach na stopień), a kosztowny ruch (ewoluujące chmury, kołyszące się liście palm, rozbijające się fale w środowisku Bora Bora) jest tanio aproksymowany za pomocą UV flow maps, przewijających się masek cieni oraz warstwowej animacji wierzchołków falą sinusoidalną, zamiast symulacji w czasie rzeczywistym.¹¹ Końcowa rada z sesji sprawdza się też jako reguła dla każdej pracy przestrzennej: bądź świadomy wszystkiego, co dodajesz lub usuwasz, i spróbuj zepsuć własny projekt, zanim mu zaufasz.¹¹

Śledzenie obiektów dojrzewa i przenosi się na iOS

Śledzenie obiektów, które pojawiło się w visionOS 2.0, zamienia obiekt fizyczny w wirtualną kotwicę: zaczynasz od modelu USDZ, trenujesz obiekt referencyjny w Create ML na Macu i przekazujesz go do API śledzenia, aby otrzymywać aktualizacje pozycji i orientacji.⁶ visionOS 27 wyostrza tę możliwość na trzy sposoby i rozszerza ją na drugą platformę.

W sesji 283 zespół visionOS w Apple szczegółowo opisuje trzy ulepszenia: śledzenie z wysoką liczbą klatek na sekundę dla obiektów poruszających się w przestrzeni, rozszerzony tryb trenowania Create ML, który poprawia dokładność i odporność dla obiektów trzymanych w dłoni (kosztem znacznie dłuższego czasu trenowania), oraz API korekcji przestrzeni współrzędnych, które zwraca pozę albo rendered (z korektami wyświetlania, aby treść wirtualna wyrównywała się wizualnie z obiektem), albo w true metric space bez korekt, czego wymagają przypadki użycia pomiarowego, takie jak sonda do szkolenia chirurgicznego.¹² Sesja potwierdza również przydatne rozwiązanie awaryjne: gdy nie możesz zdobyć fotorealistycznego modelu 3D, możesz wydrukować znacznik na drukarce 3D, zamocować go na obiekcie i użyć tego znacznika jako obiektu referencyjnego.¹²

Ruch międzyplatformowy to nagłówek. Śledzenie obiektów działa teraz na iOS przez ARKit, a ponieważ trenowanie Create ML jest niezależne od platformy, ten sam wytrenowany obiekt referencyjny działa zarówno na iOS, jak i visionOS z tą samą jakością śledzenia.⁶¹² Na iOS ładujesz obiekty referencyjne do world-tracking configuration, przypisujesz każdy z nich albo do detekcji stacjonarnej, albo do śledzenia z wysoką liczbą klatek na sekundę, a powstałe object anchors obsługujesz w swoim session delegate.¹²

Towarzysząca historia to akcesoria przestrzenne. visionOS 26 wprowadził kontrolery Logitech Muse oraz PSVR2 Sense; visionOS 27 pozwala zbudować je każdemu. Akcesorium przestrzenne to płytka niosąca konstelację śledzących diod LED, czujnik IMU do orientacji i przyspieszenia oraz układ Bluetooth, a do tego opcjonalne przyciski, gładziki i moduły haptyczne, zainstalowana w dowolnym obiekcie, który chcesz śledzić.⁶ Konstrukcję weryfikujesz za pomocą widoku debugowania śledzenia akcesoriów ARKit w ustawieniach deweloperskich, trenujesz ją pakietem Create ML (plik USDZ opatrzony adnotacjami z pozycjami diod LED oraz IMU) do postaci pliku akcesorium referencyjnego, a następnie wykrywasz ją przez nową klasę GCSpatialAccessory i uruchamiasz dostawcę śledzenia akcesoriów.¹² Apple podaje, że producenci DFRobot oraz MikroE jeszcze w tym roku dostarczą gotowy sprzęt referencyjny i zestawy deweloperskie, więc dla zespołów, które nie chcą wytwarzać płytki, istnieją części typu plug-and-play.²¹² Kompromis względem śledzenia obiektów jasno wynika z sesji: śledzenie obiektów wygrywa pod względem precyzji pomiaru, natomiast akcesorium przestrzenne wygrywa pod względem częstotliwości odświeżania i opóźnień dla szybko poruszających się obiektów oraz dodaje fizyczne przyciski i moduły haptyczne.¹²

RealityKit i Reality Composer Pro 3

Ścieżka natywna też nie stała w miejscu. RealityKit zyskuje Projective Textures (teksturowane reflektory do efektów takich jak projekcja witrażu czy podwodne kaustyki), Cloth Simulation, które układa i marszczy tkaninę w czasie rzeczywistym, Custom Reverb Mesh, który modeluje, jak dźwięk rozprasza się na drewnie, metalu i kamieniu w przestrzeni, oraz Gaussian Splatting do zeskanowania rzeczywistego obiektu i wprowadzenia go jako splata 3D.² Reality Composer Pro 3 to większe odświeżenie: asystent AI, który generuje modele 3D na podstawie opisu, maszyna stanów Animation Graph do przejść w czasie działania, oparty na węzłach Script Graph do logiki interakcji z podglądem na żywo na Vision Pro oraz navigation meshes, aby postacie wyznaczały ścieżki wokół przeszkód — wszystko bez otwierania Xcode.² Dla zespołów już zainwestowanych w stos natywny to właśnie praca w edytorze najbardziej zmienia codzienne tempo.

Co przyjąć najpierw

Wersja z czterema nowymi punktami wejścia nagradza segregację priorytetów. Zacznij tam, gdzie dystans od Twojej istniejącej pracy jest najkrótszy.

1. Jeśli masz aplikację z treściami na Macu, zbuduj prototyp Spatial Preview. Jest dostępna w aplikacji Preview w macOS, udostępnia te same funkcje jako API i nie wymaga kompilacji dla visionOS, więc koszt pierwszego przepływu przeglądu przestrzennego jest bliski zeru.³⁸
2. Jeśli publikujesz produkt webowy, włącz Web Environment i przetestuj requestImmersive. Web Environments są domyślnie włączone, immersyjne API odzwierciedla znane Ci już API Fullscreen, a pojedynczy element model plus jedno wywołanie wystarczą, aby przenieść odwiedzającego do sceny.²⁷
3. Jeśli masz doświadczenie OpenXR lub na PC, prześlij je strumieniowo. Otwartoźródłowe przykłady Apple oraz referencyjna implementacja protokołu sprawiają, że połączenie Foveated Streaming jest w zasięgu jednego dnia, a natywna integracja z SwiftUI, ARKit i RealityKit jest stamtąd dodatkowa.¹⁰
4. Jeśli Twoja aplikacja już śledzi obiekty, przyjmij pozę w metric space oraz port na iOS. API korekcji przestrzeni współrzędnych umożliwia pomiar, a te same obiekty referencyjne działają teraz na iPhone i iPad bez ponownego trenowania.⁶¹²
5. Niestandardowe akcesoria przestrzenne potraktuj jako późniejszy zakład. Zbudowanie płytki to ścieżka wymagająca najwięcej wysiłku; poczekaj na zestawy referencyjne DFRobot i MikroE, chyba że szybkie sterowanie ruchem z modułami haptycznymi jest kluczowe dla Twojego doświadczenia.¹²

Myśl przewodnia odpowiada tej wersji: przyjmij ścieżkę, która wychodzi naprzeciw Twoim istniejącym treściom tam, gdzie się znajdują, a tę, która każe Ci zbudować nowy sprzęt, odłóż na później.

FAQ

Czym jest framework Spatial Preview w visionOS 27?

Spatial Preview to framework w macOS 27, który pozwala aplikacji na Macu wysyłać treści przestrzenne (zdjęcia przestrzenne, klatki Apple Immersive Video, pliki PDF, standardowe obrazy oraz sceny 3D USD na żywo) do sparowanego Apple Vision Pro, gdzie Quick Look wyświetla je bez wymaganej aplikacji visionOS.³⁸ Oferuje sesje document preview dla mediów i typów dokumentów oraz sesje USD preview dla treści 3D, obsługuje dwukierunkową edycję USD stage na żywo i zawiera SharePlay, dzięki czemu współpracownicy mogą wspólnie przeglądać tę samą scenę.⁸⁹

Jak działa Foveated Streaming i czego potrzebuje?

Foveated Streaming łączy Vision Pro z urządzeniem zewnętrznym, takim jak komputer z systemem Windows, aby przesyłać strumieniowo treści OpenXR jako wideo i dźwięk, podczas gdy visionOS automatycznie odsyła dane wejściowe (dłonie, pozycje kontrolera, mikrofon).⁵ Kompresuje strumień według spojrzenia z użyciem śledzenia wzroku Vision Pro, działa na NVIDIA CloudXR wbudowanym w visionOS i funkcjonuje przez Wi-Fi bez kabli. Budujesz odbiornik visionOS na FoveatedStreamingSession oraz aplikację hostującą, która implementuje Foveated Streaming Protocol firmy Apple i środowisko uruchomieniowe CloudXR OpenXR.⁵¹⁰

Czy mogę teraz korzystać ze śledzenia obiektów na iPhonie?

Tak. visionOS 27 przenosi śledzenie obiektów na iOS przez ARKit, a ponieważ trenowanie Create ML jest niezależne od platformy, obiekt referencyjny wytrenowany dla visionOS działa na iOS z tą samą jakością śledzenia.⁶¹² Na iOS ładujesz obiekty referencyjne do world-tracking configuration, przypisujesz każdy z nich do detekcji stacjonarnej lub do śledzenia z wysoką liczbą klatek na sekundę i obsługujesz object anchors w swoim session delegate.¹²

Jak umieścić środowisko 3D za moją stroną internetową w Safari?

Użyj elementu HTML model z assetem USDZ i wywołaj JavaScriptowe API requestImmersive w odpowiedzi na interakcję użytkownika, co odzwierciedla wzorzec API Fullscreen.⁷ Web Environments są domyślnie włączone w Safari na visionOS 27, więc strona internetowa może mieć tło 3D jak aplikacja.² Pamiętaj, że model immersyjny zakotwicza się u stóp osoby w skali rzeczywistej i otwiera się zza okna Safari, oraz że display: none na modelu odracza pobieranie assetu do momentu uruchomienia żądania immersyjnego.⁷

Czym jest akcesorium przestrzenne i czy muszę zbudować sprzęt?

Akcesorium przestrzenne to urządzenie elektroniczne z konstelacją śledzących diod LED, czujnikiem IMU oraz układem Bluetooth (plus opcjonalnymi przyciskami, gładzikami i modułami haptycznymi), które Apple Vision Pro śledzi z wysoką częstotliwością i niskimi opóźnieniami.⁶¹² visionOS 27 pozwala zbudować je każdemu — jest wykrywane przez GCSpatialAccessory i trenowane do postaci pliku akcesorium referencyjnego pakietem Create ML.¹² Nie musisz wytwarzać płytki: Apple podaje, że DFRobot oraz MikroE jeszcze w tym roku dostarczą gotowy sprzęt referencyjny i zestawy deweloperskie.²¹²

Pełny klaster Apple Ecosystem: przestrzenne wzorce visionOS, które nazywają Windows, Volumes oraz Immersive Spaces, w których renderują się te nowe ścieżki; przestrzenny model mentalny RealityKit leżący u podstaw warstwy treści 3D, z którą komponują się Spatial Preview i Foveated Streaming; dyscyplina publikowania jednej aplikacji SwiftUI na pięciu platformach Apple, którą rozszerza teraz zasięg śledzenia obiektów na iOS i visionOS; oraz macierz platform Apple, która mapuje, gdzie ląduje każda z możliwości. Centrum znajduje się w serii Apple Ecosystem. Aby uzyskać szerszy kontekst iOS z agentami AI, zobacz przewodnik po tworzeniu agentów na iOS.

Bibliografia