visionOS 27의 새로운 기능: 공간 컴퓨팅 개발자를 위한 가이드

visionOS는 플랫폼에 진입하는 단 하나의 의미 있는 방법으로 시작했습니다. 바로 SwiftUI와 RealityKit으로 네이티브 앱을 만들거나, “Designed for iPad”를 체크하고 패널을 출시하는 것이었습니다. visionOS 27은 세 번째 문을 추가하고 두 번째 문을 넓힙니다. 이제 visionOS 빌드를 전혀 하지 않고도 Mac 앱에서 공간 콘텐츠를 바로 확장할 수 있고, Wi-Fi를 통해 PC에서 전체 OpenXR 경험을 스트리밍할 수 있으며, Safari에서 웹사이트 뒤에 실제 3D 환경을 배치할 수 있습니다. 이번 릴리스는 기능 목록이라기보다는, 여러분의 기존 작업이 이미 어디에 있는지에 대한 질문에 Apple이 답하고 그곳에서 만나주는 것에 가깝습니다.¹

이번 발표 전반을 관통하는 패턴은 도달 범위입니다. 객체 추적은 동일하게 학습된 참조 객체로 iOS에 도달합니다. Spatial Preview는 macOS의 Preview에서 Vision Pro에 도달합니다. Foveated Streaming은 Windows PC에 도달합니다. Spatial Web은 웹페이지에 도달합니다. Apple은 이번 주기 동안 여러분이 이미 가지고 있는 콘텐츠와 그것의 공간적 표현 사이의 거리를 줄이는 데 집중했고, 네 가지 새로운 진입점이 그 증거입니다. 아래 섹션에서는 각각을 차례로 다루며, Apple이 이를 시연하는 세션 장면과 그것을 뒷받침하는 출처가 명시된 주장을 함께 살펴봅니다.

세션 287에서 Apple의 Vision Products Group은 M5 세대 Apple Vision Pro를 눈당 4K 이상의 픽셀과 90Hz 핸드 트래킹을 갖춘 데스크톱급 컴퓨팅으로 설명하고, 새로운 세 번째 경로를 기존 macOS 및 PC 경험을 재구축하지 않고 플랫폼으로 가져오는 방법으로 규정합니다.²

TL;DR / 핵심 요약

• Spatial Preview는 macOS 27의 새로운 프레임워크로, 공간 사진, Apple Immersive Video 프레임, PDF, 라이브 USD 장면을 Quick Look을 통해 Mac에서 Vision Pro로 보내며, visionOS 앱이 필요 없고 SharePlay 검토 기능이 내장되어 있습니다.³⁴
• Foveated Streaming(visionOS 26.4에서 도입)은 Vision Pro를 PC에 연결해 Wi-Fi로 OpenXR 콘텐츠를 스트리밍하며, NVIDIA CloudXR을 사용해 시선을 기준으로 스트림을 압축하고, 손과 컨트롤러 입력을 자동으로 다시 전송합니다.⁵
• 객체 추적에는 고프레임률 추적, 손에 든 객체를 위한 확장된 Create ML 학습 모드, 측정을 위한 metric-space 포즈 API가 추가되었으며, 이제 동일한 참조 객체로 iOS에서도 실행됩니다.⁶
• 이제 누구나 공간 액세서리를 만들 수 있습니다. 추적용 LED, IMU, Bluetooth를 갖춘 보드로, GCSpatialAccessory를 통해 검색되며 Create ML 번들로 학습되어 참조 액세서리 파일로 만들어집니다.⁶
• Spatial Web이 성장했습니다. Safari 창은 넓어지고 곡면을 이루며, Web Environments는 기본적으로 켜져 있고, JavaScript requestImmersive API(Fullscreen을 모델로 함)를 통해 웹페이지가 방문자를 3D 환경 안으로 데려갈 수 있습니다.²⁷
• RealityKit에는 Projective Textures, Cloth Simulation, Custom Reverb Mesh, Gaussian Splatting이 추가되었고, Reality Composer Pro 3에는 AI 어시스턴트, Animation Graph, Script Graph, 내비게이션 메시가 추가되었습니다.²

세 번째 경로: Mac에서의 Spatial Preview

이번 릴리스에서 가장 조용하지만 의미 있는 추가 기능은 visionOS 코드를 전혀 필요로 하지 않습니다. Spatial Preview는 macOS 27 프레임워크로, Mac 앱이 페어링된 Vision Pro에 공간 콘텐츠를 푸시하고 이를 실시간으로 업데이트할 수 있게 해줍니다. Quick Look이 visionOS 쪽에서 콘텐츠를 수신하므로, 제작자는 visionOS UI를 한 줄도 작성하지 않고도 3D 장면을 실제 크기로 둘러보고, 카메라 시점을 전환하고, 머티리얼 오버라이드를 적용하고, 주석을 남길 수 있습니다.³

세션 282에서 Apple의 visionOS 팀은 이 프레임워크가 두 가지 세션 유형을 제공한다고 설명합니다. 공간 사진, 비디오, PDF 같은 문서 유형을 위한 document preview 세션과, 3D 콘텐츠를 위한 USD preview 세션입니다. Quick Look이 Vision Pro에서 실행되며 visionOS 쪽에는 코드가 필요 없습니다.⁸ 엔드포인트는 Mac Virtual Display를 통해 이미 연결된 기기일 수도 있고, 기기 선택기를 통해 선택한 동일한 iCloud 계정의 근처에 있는 모든 Vision Pro일 수도 있습니다.⁸

3D 경로에서 이 프레임워크는 진가를 발휘합니다. USD preview 세션은 USD 스테이지를 가져와 Vision Pro의 볼류메트릭 뷰에서 열고, 사용자가 실제 크기의 몰입형 뷰 안으로 들어갈 수 있게 합니다. 편집 내용은 라이브 USD 스테이지를 통해 양방향으로 흐르므로, Mac 앱에서 변경한 레이아웃이 Vision Pro에 공간적으로 나타나고, 헤드셋에서 추가한 주석이 Mac에 다시 반영됩니다. Apple은 이 프레임워크가 공유하기 전에 무거운 USD 장면을 메시 데시메이션, 텍스처 다운샘플링, 그리고 필요한 경우 전체 장면 재구성으로 최적화한다고 언급하며, 재구성된 장면은 더 이상 편집할 수 없더라도 계속 보고 주석을 달 수 있다고 설명합니다.⁹ SharePlay 지원은 두 번째 검토자가 동일한 라이브 세션에 참여할 수 있음을 의미하며, 이는 에셋 검토를 렌더링 후 이메일을 주고받는 과정에서 함께하는 하나의 공간으로 바꿉니다. Apple은 이 워크플로가 겨냥하는 콘텐츠 도구의 예로 Cinema 4D와 SketchUp을 언급합니다.³⁹

Foveated Streaming: 헤드셋 안의 PC

두 번째로 넓어진 경로는 반대 방향으로 흐릅니다. Mac에서 콘텐츠를 푸시하는 대신, Windows PC에서 전체 OpenXR 경험을 스트리밍합니다. Apple이 visionOS 26.4에서 도입한 Foveated Streaming은 Vision Pro가 외부 기기에 연결되어 입력(손, 컨트롤러 위치, 마이크)을 다시 보내고 원격으로 렌더링된 비디오와 오디오를 받을 수 있게 합니다.⁵ 이 이름은 핵심 원리를 설명합니다. 시스템은 Vision Pro의 시선 추적을 사용해 시선을 기준으로 스트림을 압축하며, 사용자가 집중하고 있는 영역은 더 높은 디테일로, 주변부는 더 낮은 대역폭으로 전송합니다.⁵

세션 286에서 Apple의 엔지니어링 팀은 NVIDIA CloudXR이 visionOS에 내장되어 있으며, 로컬 PC나 클라우드에서 케이블 없이 Wi-Fi로 스트리밍할 수 있을 만큼 성능이 뛰어나다고 밝힙니다. 또한 팀이 약 하루 만에 OpenXR 애플리케이션을 스트리밍할 수 있고 일주일 안에 visionOS 전용 기능을 추가할 수 있다고 설명합니다.¹⁰ 아키텍처는 두 부분으로 구성됩니다. FoveatedStreamingSession API 위에 구축된 visionOS 수신기 앱과, Apple의 Foveated Streaming Protocol(인증과 바코드 페어링을 처리하는 경량 TCP 연결)을 구현하고 CloudXR OpenXR 런타임을 사용하는 OpenXR 호스트 앱입니다.¹⁰

이것을 단순한 원격 데스크톱 이상으로 만드는 세부 사항은 네이티브 프레임워크와의 통합입니다. 수신기는 스트리밍된 콘텐츠를 ImmersiveSpace를 통해 표시하며, Apple은 경험이 방에 자리 잡은 포털을 통해 나타나도록 progressive immersion 스타일을 권장합니다.¹⁰ 세션의 message-channels API는 불투명한 데이터를 양방향으로 전달하므로, SwiftUI 레벨 선택이 PC에서 로딩을 트리거할 수 있고, 헤드셋의 ARKit 데이터가 스트리밍된 장면을 물리적 장비에 정렬할 수 있습니다. Laminar Research의 X-Plane 12가 바로 그것을 사용합니다. ARKit이 물리적 비행 시뮬레이터를 찾고, message channels가 그 위치를 PC에 동기화하며, 실제 콕핏과 가상 콕핏이 정렬됩니다.⁵¹⁰ 깊이 버퍼를 제공하면 스트리밍된 콘텐츠와 기기 내 RealityKit 콘텐츠가 서로를 가릴 수도 있습니다.¹⁰

몰입형 환경과 Spatial Web

두 세션은 환경에 관한 이야기를 정반대 방향에서 다룹니다. 하나는 사실적인 환경을 만드는 기술이고, 다른 하나는 웹페이지 뒤에 환경을 배치하는 새로운 기능입니다. 둘 다 중요한 이유는 visionOS 27이 Web Environments를 기본적으로 켜기 때문입니다. 이제 Safari 창은 네이티브 앱처럼 배경 안에 자리 잡을 수 있습니다.²

세션 320에서 Apple의 visionOS Safari 팀은 JavaScript Fullscreen API를 모델로 한 몰입형 API를 소개합니다. 비디오에서 requestFullscreen을 호출하던 자리에서, 이제 HTML model 요소에 requestImmersive를 호출해 페이지가 보이는 상태를 유지하면서 그것을 브라우저 경계 너머로 데려갑니다.⁷ 발표자는 선택한 좌석에서 보는 시야를 인라인으로 미리 보여준 다음 탭 한 번으로 극장에 몰입형으로 들어가는 공연장 사이트를 시연하며, 익혀둘 가치가 있는 두 가지 기준 프레임 규칙을 강조합니다. 인라인 모델은 CSS 스케일로 해당 레이어의 중앙에 배치되는 반면, 몰입형 모델은 실제 크기로 사용자의 발 위치에 고정되며, 몰입형 환경은 Safari 창 뒤에서 열려 창이 가리지 않는 곳에 주요 초점을 유지합니다.⁷ 실용적인 최적화가 이 흐름을 마무리합니다. 모델 요소에 display: none을 설정하면 인라인 미리 보기가 숨겨지고 몰입형 요청이 발생할 때까지 에셋 다운로드와 디코딩을 미루므로, 결코 진입하지 않는 방문자를 위해 대역폭을 절약합니다.⁷

설득력 있는 환경을 뒷받침하는 디자인 규율은 그 자체로 하나의 주제이며, 그 원칙은 웹 환경에 그대로 옮겨갑니다.

세션 234에서 Apple의 환경 디자인 팀은 완전히 몰입한 시청자가 시야 안에서 장면의 약 81도를 본다는 점, 이상적인 360도 파노라마는 14,400 × 7,200 픽셀(도당 40픽셀에서 선명)을 목표로 한다는 점, 그리고 비용이 많이 드는 모션(변화하는 구름, 흔들리는 야자수 잎, Bora Bora 환경에서 부서지는 파도)은 실시간 시뮬레이션 대신 UV 플로우 맵, 스크롤하는 그림자 마스크, 계층화된 사인파 정점 애니메이션을 통해 저렴하게 근사된다는 점을 언급합니다.¹¹ 이 세션의 마무리 조언은 모든 공간 작업의 규칙이기도 합니다. 추가하거나 제거하는 모든 것에 의도를 담고, 신뢰하기 전에 자신의 디자인을 직접 깨뜨려 보십시오.¹¹

객체 추적의 성장과 iOS로의 확장

visionOS 2.0에서 등장한 객체 추적은 물리적 객체를 가상 앵커로 바꿉니다. USDZ 모델로 시작해, Mac의 Create ML에서 참조 객체를 학습시키고, 이를 추적 API에 전달해 위치와 방향 업데이트를 받습니다.⁶ visionOS 27은 이 기능을 세 가지 방식으로 다듬고 두 번째 플랫폼으로 확장합니다.

세션 283에서 Apple의 visionOS 팀은 세 가지 업그레이드를 상세히 설명합니다. 공간을 가로질러 이동하는 객체를 위한 고프레임률 추적, 손에 든 객체의 정확도와 견고성을 향상시키는 확장된 Create ML 학습 모드(학습 시간이 상당히 길어지는 대가가 따름), 그리고 렌더링된 포즈(가상 콘텐츠가 객체와 시각적으로 정렬되도록 디스플레이 보정이 적용됨) 또는 보정이 없는 실제 metric space의 포즈를 반환하는 좌표 공간 보정 API입니다. 후자는 수술 훈련용 프로브 같은 측정 사용 사례가 요구하는 것입니다.¹² 이 세션은 또한 유용한 대체 방법을 확인해 줍니다. 사실적인 3D 모델을 얻을 수 없을 때는 마커를 3D 프린트해 객체에 부착하고, 그 마커를 참조 객체로 사용할 수 있습니다.¹²

크로스 플랫폼 이동이 핵심 소식입니다. 이제 객체 추적은 ARKit을 통해 iOS에서 실행되며, Create ML 학습은 플랫폼에 구애받지 않기 때문에, 동일하게 학습된 참조 객체가 동일한 추적 품질로 iOS와 visionOS 모두에서 작동합니다.⁶¹² iOS에서는 참조 객체를 world-tracking 구성에 로드하고, 각각을 정지 감지 또는 고프레임률 추적에 할당한 다음, 그 결과로 생성되는 객체 앵커를 세션 델리게이트에서 처리합니다.¹²

함께 다룰 이야기는 공간 액세서리입니다. visionOS 26은 Logitech Muse와 PSVR2 Sense 컨트롤러를 출시했고, visionOS 27은 누구나 하나를 만들 수 있게 합니다. 공간 액세서리는 추적용 LED의 별자리 같은 배열, 방향과 가속도를 위한 IMU, Bluetooth 칩을 갖춘 보드로, 선택적으로 버튼, 터치패드, 햅틱을 더해 추적하고 싶은 모든 객체에 설치할 수 있습니다.⁶ 개발자 설정의 ARKit 액세서리 추적 디버그 뷰로 빌드를 검증하고, Create ML 번들(LED와 IMU 위치가 주석으로 달린 USDZ)로 학습시켜 참조 액세서리 파일로 만든 다음, 새로운 GCSpatialAccessory 클래스를 통해 검색하고 액세서리 추적 제공자를 실행합니다.¹² Apple은 제조사 DFRobot과 MikroE가 올해 말 기성품 참조 하드웨어와 개발 키트를 출시할 예정이라고 밝혔으므로, 보드를 직접 제작하고 싶지 않은 팀을 위한 플러그 앤 플레이 부품이 존재합니다.²¹² 객체 추적과의 절충점은 세션에서 분명히 드러납니다. 객체 추적은 측정 정밀도에서 앞서고, 공간 액세서리는 빠르게 움직이는 객체의 새로 고침 빈도와 지연 시간에서 앞서며 물리적 버튼과 햅틱을 더합니다.¹²

RealityKit과 Reality Composer Pro 3

네이티브 경로도 가만히 있지 않았습니다. RealityKit은 Projective Textures(스테인드글라스 투영이나 수중 코스틱 같은 효과를 위한 텍스처드 스포트라이트), 실시간으로 직물을 늘어뜨리고 접는 Cloth Simulation, 공간에서 소리가 나무, 금속, 돌에 어떻게 산란하는지 모델링하는 Custom Reverb Mesh, 그리고 실제 객체를 스캔해 3D 스플랫으로 가져오는 Gaussian Splatting을 추가합니다.² Reality Composer Pro 3은 더 큰 개편입니다. 설명으로부터 3D 모델을 생성하는 AI 어시스턴트, 런타임 전환을 위한 Animation Graph 상태 머신, Vision Pro에서 라이브 미리 보기가 가능한 상호작용 로직용 노드 기반 Script Graph, 그리고 캐릭터가 장애물을 우회해 경로를 찾는 내비게이션 메시를 모두 Xcode를 열지 않고 제공합니다.² 네이티브 스택에 이미 투자한 팀에게는, 일상적인 작업 속도를 가장 크게 바꾸는 것이 바로 이 에디터 작업입니다.

무엇을 먼저 도입할 것인가

네 가지 새로운 진입점을 갖춘 릴리스는 우선순위 분류로 보상받습니다. 기존 작업으로부터의 거리가 가장 짧은 곳에서 시작하십시오.

1. Mac 콘텐츠 앱이 있다면 Spatial Preview를 프로토타이핑하십시오. macOS Preview 앱에 탑재되어 있고, 동일한 기능을 API로 노출하며, visionOS 빌드가 필요 없으므로, 첫 공간 검토 워크플로의 비용은 거의 0에 가깝습니다.³⁸
2. 웹 제품을 출시한다면 Web Environment를 켜고 requestImmersive를 테스트하십시오. Web Environments는 기본적으로 켜져 있고, 몰입형 API는 이미 알고 있는 Fullscreen API를 반영하며, 단 하나의 model 요소와 한 번의 호출이면 방문자를 장면 안으로 데려가기에 충분합니다.²⁷
3. OpenXR 또는 PC 경험이 있다면 그것을 스트리밍하십시오. Apple의 오픈 소스 샘플과 참조 프로토콜 구현은 Foveated Streaming 연결을 하루 만에 도달할 수 있는 범위 안에 두며, 거기서부터 네이티브 SwiftUI, ARKit, RealityKit 통합이 더해집니다.¹⁰
4. 앱이 이미 객체 추적을 한다면 metric-space 포즈와 iOS 포팅을 도입하십시오. 좌표 공간 보정 API는 측정을 가능하게 하고, 동일한 참조 객체가 이제 재학습 없이 iPhone과 iPad에서 실행됩니다.⁶¹²
5. 커스텀 공간 액세서리는 나중의 베팅으로 취급하십시오. 보드를 만드는 것은 가장 많은 노력이 드는 경로입니다. 햅틱이 있는 빠른 모션 입력이 여러분의 경험에 핵심이 아니라면 DFRobot과 MikroE의 참조 키트를 기다리십시오.¹²

관통하는 줄기는 이번 릴리스와 일치합니다. 기존 콘텐츠가 있는 곳에서 그것을 만나는 경로를 도입하고, 새 하드웨어를 만들기를 요구하는 경로는 미루십시오.

FAQ

visionOS 27의 Spatial Preview 프레임워크란 무엇인가요?

Spatial Preview는 macOS 27 프레임워크로, Mac 앱이 공간 콘텐츠(공간 사진, Apple Immersive Video 프레임, PDF, 표준 이미지, 라이브 USD 3D 장면)를 페어링된 Apple Vision Pro로 보낼 수 있게 하며, Vision Pro에서는 Quick Look이 visionOS 앱 없이 이를 표시합니다.³⁸ 미디어와 문서 유형을 위한 document preview 세션과 3D 콘텐츠를 위한 USD preview 세션을 제공하고, USD 스테이지의 실시간 양방향 편집을 지원하며, 협업자가 동일한 장면을 함께 검토할 수 있도록 SharePlay를 포함합니다.⁸⁹

Foveated Streaming은 어떻게 작동하며 무엇이 필요한가요?

Foveated Streaming은 Vision Pro를 Windows PC 같은 외부 기기에 연결해 OpenXR 콘텐츠를 비디오와 오디오로 스트리밍하며, visionOS는 입력(손, 컨트롤러 위치, 마이크)을 자동으로 다시 보냅니다.⁵ Vision Pro의 시선 추적을 사용해 시선을 기준으로 스트림을 압축하고, visionOS에 내장된 NVIDIA CloudXR에서 실행되며, 케이블 없이 Wi-Fi로 작동합니다. FoveatedStreamingSession 위에 visionOS 수신기를 구축하고, Apple의 Foveated Streaming Protocol과 CloudXR OpenXR 런타임을 구현하는 호스트 앱을 만듭니다.⁵¹⁰

이제 iPhone에서 객체 추적을 사용할 수 있나요?

네. visionOS 27은 ARKit을 통해 객체 추적을 iOS로 가져오며, Create ML 학습이 플랫폼에 구애받지 않기 때문에 visionOS용으로 학습시킨 참조 객체가 동일한 추적 품질로 iOS에서 작동합니다.⁶¹² iOS에서는 참조 객체를 world-tracking 구성에 로드하고, 각각을 정지 감지 또는 고프레임률 추적에 할당한 다음, 세션 델리게이트에서 객체 앵커를 처리합니다.¹²

Safari에서 웹사이트 뒤에 3D 환경을 어떻게 배치하나요?

USDZ 에셋과 함께 HTML model 요소를 사용하고, 사용자 상호작용에 응답하여 JavaScript requestImmersive API를 호출하면 되며, 이는 Fullscreen API 패턴을 반영합니다.⁷ visionOS 27의 Safari에서는 Web Environments가 기본적으로 활성화되어 있으므로, 웹페이지가 앱처럼 3D 배경을 가질 수 있습니다.² 몰입형 모델은 실제 크기로 사용자의 발 위치에 고정되고 Safari 창 뒤에서 열린다는 점, 그리고 모델에 display: none을 설정하면 몰입형 요청이 발생할 때까지 에셋 다운로드를 미룬다는 점을 기억하십시오.⁷

공간 액세서리란 무엇이며 하드웨어를 직접 만들어야 하나요?

공간 액세서리는 추적용 LED의 별자리 같은 배열, IMU, Bluetooth 칩(선택적으로 버튼, 터치패드, 햅틱 추가)을 갖춘 전자 기기로, Apple Vision Pro가 낮은 지연 시간으로 고빈도로 추적합니다.⁶¹² visionOS 27은 누구나 하나를 만들 수 있게 하며, GCSpatialAccessory를 통해 검색되고 Create ML 번들로 참조 액세서리 파일로 학습됩니다.¹² 보드를 직접 제작할 필요는 없습니다. Apple은 DFRobot과 MikroE가 올해 말 기성품 참조 하드웨어와 개발 키트를 출시할 예정이라고 밝혔습니다.²¹²

전체 Apple Ecosystem 클러스터는 다음과 같습니다. 이 새로운 경로들이 렌더링되는 Windows, Volumes, Immersive Spaces를 명명하는 visionOS 공간 패턴, Spatial Preview와 Foveated Streaming이 함께 구성하는 3D 콘텐츠 레이어 아래에 있는 RealityKit 공간 멘탈 모델, 객체 추적의 iOS와 visionOS 도달 범위가 이제 확장하는 하나의 SwiftUI 앱을 다섯 개의 Apple 플랫폼에 출시하기의 규율, 그리고 각 기능이 어디에 자리 잡는지 매핑하는 Apple 플랫폼 매트릭스입니다. 허브는 Apple Ecosystem 시리즈에 있습니다. 더 넓은 iOS와 AI 에이전트 맥락은 iOS 에이전트 개발 가이드를 참고하십시오.

참고 문헌