2026년의 RealityKit과 Reality Composer Pro 3

Reality Composer Pro 3가 Xcode 번들에서 벗어나, 응용 프로그램 폴더에서 실행하는 독립 앱으로 출시되었습니다. 얼핏 보면 패키징에 관한 메모처럼 읽히지만, 이것은 WWDC26 공간 관련 발표 전체에서 가장 명확한 신호입니다. 오서링 도구가 이제 부속물이 아니라 그 자체로 목적지가 되었고, 그 아래의 엔진도 거기에 맞춰 성장한 것입니다.¹

2026년 릴리스는 파이프라인의 두 축을 동시에 움직였습니다. RealityKit은 장면을 진짜처럼 보이게 만드는 렌더링과 시뮬레이션 기능을 얻었습니다. 소프트 섀도, 베이크된 라이트맵, 실제 벽으로 번지는 프로젝티브 텍스처, 천, 내비게이션 메시, 가우시안 스플랫, 그리고 레이 트레이싱 음향입니다. 한편 Reality Composer Pro 3는 그 기능들을 빌드 사이클 없이 연결하는 워크플로를 얻었습니다. 헤드셋에서의 라이브 프리뷰, 프로토타입과 인스턴스, 노드 기반 그래프, 그리고 3D 콘텐츠를 생성하는 AI 어시스턴트입니다. 둘을 잇는 세 번째 실은 코드입니다. Xcode 플러그인이 오서링 도구 안에서 커스텀 컴포넌트를 실행하고, 새로운 구조화 모델 툴킷이 협업 디자인 리뷰 앱을 뒷받침합니다. 각 요소는 더 이상 별개의 데모가 아니라 일관된 작업 방식이 되었습니다.

이 글에서는 올해의 공간 오서링 파이프라인을 정의하는 다섯 개의 WWDC26 세션을 차례로 살펴봅니다. 각 세션에는 요점을 뒷받침하는 클립과, 만드는 방식을 바꾸는 통찰을 함께 담았습니다.

TL;DR / 핵심 요약

• RealityKit의 라이팅과 시뮬레이션이 성숙했습니다. lightSize로 제어되는 소프트 섀도, 베이크된 라이트맵, 프로젝티브 텍스처와 실제 방으로의 물리 공간 라이팅, 천, 내비게이션 메시, 가우시안 스플랫, 그리고 레이 트레이싱 리버브입니다.²
• Reality Composer Pro 3는 (더 이상 Xcode 개발자 도구가 아니라) 독립 앱으로 출시되며, 빠른 반복을 위해 설계되었습니다. 도킹 가능한 시뮬레이션 탭, 오버라이드를 지원하는 프로토타입과 인스턴스, 기기 내 라이브 프리뷰, 베이크된 라이트맵, 그리고 생성형 AI 어시스턴트를 갖추고 있습니다.³
• 에디터는 Xcode 플러그인으로 확장합니다. 컴포넌트와 시스템은 RealityComposerProPlugin 프로토콜을 통해 에디터 안에서 실행되고, 커스텀 애니메이션 액션은 EntityAction을 통해 시퀀서에 끼워 넣으며, @Scriptable 매크로는 컴포넌트를 Script Graph에 노출합니다.⁴
• 비주얼 노드 기반 도구(Animation Graph, Behavior Tree, Script Graph, Compute Graph, Shader Graph)를 통해 디자이너는 빌드 사이클 없이 캐릭터 동작, GPU 파티클, 머티리얼을 오서링할 수 있습니다.⁵
• visionOS 27은 협업 디자인 리뷰를 위한 구조화 3D 모델 툴킷을 추가했습니다. 계층 기반 ManipulationComponent 배치, 단면을 위한 새로운 ClippingComponent, 그리고 어셈블리를 자동으로 펼치는 부피 가중 분산입니다.⁶

RealityKit은 사실감을 파는 기능을 얻었다

RealityKit은 2019년부터 Apple의 크로스 플랫폼 3D 엔진으로, 한 번 만들면 visionOS, iOS, iPadOS, macOS, tvOS로 배포할 수 있는 계층입니다.² 2026년의 추가 기능들은 “올바르게 렌더링된다”와 “진짜처럼 보인다” 사이의 간극을 메우며, Chaparral Village라는 하나의 게임 안에서 시연되었습니다. 덕분에 이 세션은 기능 체크리스트가 아니라 하나의 일관된 흐름을 갖게 됩니다.

먼저 그림자부터 시작합니다. API 선택이 팀의 사고방식을 말해 주기 때문입니다. RealityKit의 그림자는 기본적으로 단단한 가장자리를 갖는데, 이는 광원이 무한히 작을 때만 옳습니다. 실제 빛에는 면적이 있고, 면적은 반음영을, 즉 빛의 일부만 가려지는 부드러운 감쇠를 만들어 냅니다. RealityKit은 이를 직관에 맞는 하나의 다이얼로 모델링합니다. 바로 그림자의 lightSize, 즉 빛의 지름(미터 단위)입니다. 0.7로 설정하면 가장자리가 부드러워지고, 빛이 클수록 반음영은 넓어집니다. 함께 제공되는 quality 설정은 샘플 수와 성능을 맞바꿉니다(low는 단단한 그림자를 강제하고, medium도 일반적인 시청 거리에서는 충분합니다).² 이 컨트롤들은 물리량에 대응하며, 꼭 체득해 둘 만한 패턴입니다.

두 가지 기능이 빛을 가상의 경계 너머로 밀어냅니다. 프로젝티브 텍스처는 필름을 통해 손전등을 비추는 것을 모방해, 스포트라이트가 가리키는 곳에 패턴을 투사합니다. 애니메이션되는 커스틱이나 천문관의 별과 성운 같은 것이죠. 이어서 물리 공간 라이팅은 RealityKit의 장면 이해 메시를 통해 그 가상의 빛들이 실제 방과 상호작용하게 합니다. 그래서 투사된 별들이 실제 벽을 따라 맺힙니다. 활성화는 다소 싱겁습니다. 스포트라이트에 SurroundingsLight 컴포넌트를 추가하기만 하면 됩니다(현재는 스포트라이트와 포인트 라이트 지원). ² 가상의 빛을 실제 방의 빛으로 바꾸는 것은 별도의 렌더링 경로가 아니라, 붙이는 컴포넌트입니다.

세션의 나머지는 시뮬레이션과 캡처를 둘러봅니다. 천 시뮬레이션은 옷감을 스프링 엣지로 연결된 파티클 정점의 메시로 기술합니다. 커튼을 핀으로 고정하면 특정 정점이 키네마틱으로 표시됩니다. 내비게이션 메시는 영역별 이동 비용과 오프메시 연결을 갖는 통행 가능 영역을 정의하고, NavigationComponent를 통해 공급되어 NavigationController로 조회됩니다. 가우시안 스플랫은 실세계 캡처를 위치, 스케일, 회전, 불투명도, 구면 조화 함수로 정의되는 타원체로 렌더링하며, GaussianSplatComponent로 조립됩니다. 몰입형 오디오는 레이 트레이싱 기하 음향에 기반한 커스텀 리버브 메시를 얻는데, 여기서 ReverbMeshResource가 방의 지오메트리와 머티리얼별 음향 특성을 정의합니다.² 일관된 흐름은 이것입니다. 각 기능은 엔티티에 조합해 넣는 컴포넌트라는 점, 바로 RealityKit이 늘 가져 온 엔티티-컴포넌트-시스템의 형태 그대로입니다.

Reality Composer Pro 3는 반복 루프를 닫는다

에디터에서 가장 중대한 변화에는 API가 전혀 없습니다. Reality Composer Pro 3는 더 이상 Xcode 개발자 도구가 아닙니다. 응용 프로그램에서 실행하며, 릴리스 전체가 편집한 뒤 결과를 보기까지의 시간을 줄이는 데 맞춰 짜여 있습니다.³

에디터는 엔티티와 컴포넌트 모델을 유지합니다. USD 파일을 최적화된 번들로 가져오고, 엔티티로 뷰포트에 끌어다 놓은 뒤, 인스펙터의 컴포넌트로 형태를 다듬습니다. 달라진 것은 피드백입니다. 재생을 누르면 장면이 실행됩니다. 시뮬레이션 탭을 장면 탭 옆에 도킹하면 게임이 실행되는 동안에도 계속 오서링할 수 있어, 그래프를 손보면서 어떤 배포 단계도 없이 결과를 볼 수 있습니다. JP의 표현이야말로 기억해 둘 만합니다. 시뮬레이션 탭은 안쪽 루프에서 배포 과정을 제거해, 당신과 최종 경험 사이의 마찰을 거의 사라지게 합니다.³

세 가지 시스템이 그 루프를 확장합니다. 프로토타입은 엔티티를 Project Browser로 끌어다 놓을 수 있는 재사용 가능한 에셋으로 바꿉니다. 그것을 여러 번 인스턴스화하고, 어떤 인스턴스든 오버라이드하고, 오버라이드를 재설정하거나, 소스로 되돌려 전파할 수 있지만, 당신이 그렇게 결정하지 않는 한 무엇도 영구히 바뀌지 않습니다. 라이브 프리뷰는 컴패니언 앱(올해 말 출시 예정)을 통해 연결된 Vision Pro를 대상으로 합니다. 그래서 Mac에서 오서링하면서 업데이트를 기기에서 즉시 확인할 수 있는데, 물리 공간 라이팅은 바로 그곳에서 판단해야 하는 것입니다.³ 라이트맵은 정적 라이팅을 처리합니다. Lightmap 컴포넌트가 간접광, 앰비언트 오클루전, 또는 뷰티를 텍스처에 미리 계산하고, 풀 베이크 전에 프리뷰 탭에서 그 효과를 보여 줍니다. 세션은 Reality Composer Pro Assistant로 마무리됩니다. 요청에 따라 3D 오브젝트와 머티리얼을 생성하는 AI 패널입니다.³ 같은 패턴이 반복됩니다. 대가를 치르기 전에 변경의 결과를 먼저 보는 것입니다.

Xcode로 에디터 확장하기

아티스트가 내장 컴포넌트만 쓸 수 있다면, 독립 에디터는 진지한 팀에게 막다른 길이 될 것입니다. 그 답이 플러그인 시스템이며, Reality Composer Pro를 “사용하는 도구”에서 “프로그래밍하는 도구”로 재정의합니다. 올해 말 출시 예정입니다.⁴

전제는 팀 구성입니다. Chaparral Village 스타일의 프로젝트는 Reality Composer Pro 프로젝트(아티스트와 디자이너)와 Xcode 프로젝트(엔지니어)를 같은 git 저장소에서 짝지웁니다. 가져온 파일은 디스크상에서 내부 JSON으로 변환되므로 표준 git 도구로 병합할 수 있고, 게다가 에디터는 평범한 git merge보다 충돌이 적은 커스텀 병합 도구를 추가합니다.⁴ 엔지니어는 공유 코드에서 두 개의 스킴을 빌드합니다. 앱과, 그들의 컴포넌트와 시스템을 에디터에 노출하는 RCPCustomComponents.framework 플러그인입니다. 장면은 RealityKit의 직렬화 형식인 Reality File로 내보내지고, 앱이 그것을 로드합니다. 코드는 플러그인으로 에디터에 흘러들고, 콘텐츠는 Reality File로 앱에 흘러듭니다.

그 메커니즘은 등록 핸드셰이크입니다. RealityComposerProPlugin을 준수하는 클래스(RealityComposerPro Swift 패키지에서 제공되며, 프로젝트를 연결하면 자동으로 추가됩니다)를 작성하고, 그 setup 메서드 안에서 에디터가 건네는 컨텍스트에 컴포넌트와 시스템을 등록합니다. 로더가 찾을 수 있도록 C 심볼로 내보낸 createRealityComposerProPlugin() 함수가 그 플러그인을 반환합니다. 플러그인 스킴을 빌드하고, 프로젝트를 열고, 신뢰 프롬프트를 수락하면, 커스텀 컴포넌트가 인스펙터에 나타납니다. 아티스트가 수위 슬라이더를 끌면 표면이 반응합니다. 당신의 Swift 시스템이 에디터 안에서 실행되고 있기 때문입니다.⁴ Xcode 디버거를 붙여서 플러그인 코드 안의 중단점에 도달하게 할 수도 있습니다. 이 세션의 솔직한 곁들임은 새겨 둘 만합니다. Script Graph와 코드는 비슷한 일을 하지만, 코드로 손을 뻗는 진짜 이유는 큰 Script Graph는 유지보수가 어려워진다는 점, 그리고 코드는 Script Graph가 호출할 수 없는 Apple API(그중 SwiftUI 포함)를 호출할 수 있다는 점입니다.⁴

플러그인이 닿는 범위는 세 가지 에디터 시스템에 이릅니다. 커스텀 컴포넌트와 시스템이 기본 사례입니다. 커스텀 애니메이션 액션은 EntityAction(그리고 Codable)을 구현한 뒤, 편집 가능한 파라미터와 함께 시퀀서로 끌어다 놓습니다. 그리고 @Scriptable 매크로는 컴포넌트를, 당신이 등록하는 스키마로 확장해, 디자이너가 그것을 Script Graph 노드에 직접 연결할 수 있게 합니다.⁴ 같은 커스텀 데이터에 코드에서, 타임라인에서, 그리고 비주얼 스크립팅 계층에서 동시에 닿을 수 있는 것입니다.

코드 없이 동작을 구축하는 노드 그래프

세션 281이 코드의 이야기라면, 세션 393은 그 거울상입니다. 코드 없이 에디터의 비주얼 그래프만으로 디자이너가 어디까지 갈 수 있는가. 2026년의 답은, 인터랙티브 캐릭터의 거의 끝까지, 입니다.

이 구축은 네 가지 그래프 유형을 쌓아 올립니다. Animation Graph는 루트에 Final Pose 노드를 둔 노드 기반 런타임 에디터입니다. Vincent은 State Machine을 배치하고, 조건부 전이를 갖는 Idle과 Walk 상태를 정의한 뒤, 런타임에 토글되는 단일 isWalking 불리언으로 블렌드를 구동합니다. Behavior Tree는 자율 동작을 오서링합니다. Sequence 컴포지트가 Rotate To Face, Move To, Wait 노드를 순서대로 실행하고, Parameter Setter 노드가 이동 전후로 isWalking을 뒤집으며, Precondition이 readyToBrew 플래그가 true가 될 때까지 연금술사를 기다리게 합니다. Script Graph는 이벤트 기반 접착제를 제공합니다. On Tap 노드가 readyToBrew를 설정해, 탭 한 번으로 캐릭터를 가마솥으로 보냅니다.⁵ 팀의 속도에 중요한 통찰은 이것입니다. 그래프는 비주얼하고 이벤트 기반이기 때문에, 팀의 누구나 빌드 사이클 없이 에디터 안에서 직접 동작을 구축하고 테스트할 수 있습니다.⁵

이 세션은 세션 279가 코드 쪽에서 설명한 두 가지 요소를 채워 넣습니다. Navigation Mesh 컴포넌트는 그 API에 대응하는 오서링 쪽 짝입니다. Shapes 경계 상자가 샘플링할 지오메트리를 선택하고, Off-Mesh Connections가 떨어진 영역을 잇고, 셀 크기 같은 Generation Parameters가 샘플링 해상도를 제어합니다. 일단 오서링되면, 그 메시는 Behavior Tree, Animation Graph, 또는 커스텀 Swift 시스템에 공급됩니다.⁵ Compute Graph는 Metal 기반 GPU 파티클 시뮬레이션을 네 단계(Emitter, Initialize, Simulate, Output)에 걸쳐 구축하며, 가마솥의 연기는 음의 중력 힘을 사용해 증기가 위로 떠오르게 합니다. Shader Graph는 RealityKit PBR Surface 2(시언과 서브서피스 스캐터링), 전용 헤어 서피스, 그리고 편집 가능한 포털 서피스와 지오메트리를 추가했습니다.⁵

구조화된 3D 모델로 협업하기

마지막 세션은 그 결실입니다. 엔진과 에디터가 이만큼 강력해졌을 때 무엇을 만들 수 있는가. visionOS 27은 협업 디자인 리뷰를 위한 툴킷을 출시합니다. SharePlay 통화에 참여한 사람들이 같은 복잡한 어셈블리를 조작하고, 그것을 열고, 단면을 내고, 부품을 빼냅니다. 같은 공간에서, 같은 충실도로, 동시에 말이죠.⁶

그 토대는 구조이며, 이 세션의 가장 날카로운 지점은 계층 없는 지오메트리는 코드에 무용하다는 것입니다. 루트로 평탄화된 엔진 블록은 문제없이 렌더링되지만, 잡거나 애니메이션할 무엇도 제공하지 않습니다. 피스톤들은 InteriorPart_47 같은 이름의 평평한 목록에 묻혀 있습니다. 중첩된 계층은 각 부품을 찾을 수 있게 만들고, 그것이 다른 모든 것의 전제 조건이 됩니다.⁶ 그 계층 위에서 조작은 배치의 결정입니다. 루트에 ManipulationComponent를 두면 어셈블리 전체가 하나의 오브젝트로 움직입니다. 그것을 자식으로 내리면(InputTargetComponent와 CollisionComponent를 함께 두고, releaseBehavior를 .stay로 설정해), 각 부품이 개별적으로 잡히게 되고 나머지는 제자리에 머뭅니다. Bill의 표현은 다섯 세션 중 ECS 철학을 가장 깔끔하게 진술한 것입니다. “볼 것”에서 “탐험할 것”으로의 전환은 오롯이 컴포넌트가 트리의 어디에 있느냐에 의해 일어납니다.⁶

클리핑은 진정으로 새로운 RealityKit 기능입니다. ClippingComponent는 축 정렬 bounds 바깥의 지오메트리를 매 프레임 버리고(shouldClipChildren는 기본값이 false로, 흔한 함정입니다. shouldClipSelf는 기본값이 true), 바깥만큼이나 쉽게 내부를 드러냅니다.⁶ 상호작용 모델은 의도적으로 작게 설계되었습니다. 경계 상자의 여섯 면이 여섯 개의 끌 수 있는 평면이 되고, 각각이 하나의 스칼라를 제어합니다. 그 드래그를 자연스럽게 느끼게 만드는 것이 이 세션의 수학 수업입니다. 드래그 델타가 월드에서 모델 프레임으로 변환된 뒤 평면의 법선에 투영되어, 잡은 축을 따라서만 bounds가 바뀌게 됩니다. 자동 펼침도 같은 통계적 정직함을 사용해, 각 축을 따른 부피 가중 위치 분산을 계산하고, 분산이 가장 큰 축을 따라 서브어셈블리를 부채꼴로 펼칩니다.⁶ 그래픽스 강연치고는 이례적인 Bill의 마무리 교훈은 이것입니다. 분산, 벡터 투영, 좌표 프레임 변환에 익숙해지세요. 힘들이지 않은 듯한 상호작용은 바로 그 수학 위에 세워지기 때문입니다.

어디서부터 시작할까

이 모든 것을 한꺼번에 도입하는 것은 잘못된 수입니다. 나머지를 풀어 주는 것부터 순서대로 진행하세요.

1. 먼저 독립 에디터를 다운로드하세요. Reality Composer Pro 3가 Xcode 번들을 떠난 것은 다른 모든 워크플로가 의존하는 변화입니다. 장면을 다시 가져와서 시뮬레이션 탭, 프로토타입, 라이트맵 프리뷰를 손에 갖추세요.³
2. 기능보다 반복 루프를 먼저 확보하세요. 시뮬레이션 탭을 도킹해 장면이 실행되는 동안 오서링하고, 그다음 기기 내 라이브 프리뷰를 Vision Pro에 연결하세요. 평평한 Mac 화면에서 물리 공간 라이팅이나 소프트 섀도를 판단하면 잘못된 인상을 받게 됩니다.³²
3. RealityKit 기능은 다시 쓰기가 아니라 컴포넌트로 손을 뻗으세요. 소프트 섀도, 베이크된 라이트맵, 스포트라이트 위의 SurroundingsLight는 각각 하나의 컴포넌트나 프로퍼티이며, 각각이 균형에 맞지 않을 만큼 많은 사실감을 가져다 줍니다.²
4. 아티스트가 당신의 데이터를 필요로 할 때만 Xcode 플러그인을 추가하세요. RealityComposerProPlugin 등록은 디자이너가 커스텀 컴포넌트를 라이브로 조정하고 싶어 하는 순간 그 값어치를 합니다. 그전까지는 내장 컴포넌트와 Script Graph가 많은 영역을 커버합니다.⁴⁵
5. 디자인 리뷰는 계층 위에 구축하세요. 구조화 모델 툴킷은 잘 중첩된 에셋 위에서만 작동하므로, 상호작용 코드를 작성하기 전에 계층을 정돈하세요.⁶

다섯 세션을 관통하는 흐름은 이것입니다. 올해의 공간 파이프라인은 구축보다 구성에 보답합니다. 사실감은 붙이는 컴포넌트이고, 반복은 도킹하는 탭이며, 협업은 존중하는 계층입니다.

FAQ

Reality Composer Pro 3는 여전히 Xcode의 일부인가요?

아닙니다. Reality Composer Pro 3는 이제 개발자 사이트에서 다운로드해 응용 프로그램 폴더에서 실행하는 독립 앱입니다. 앱을 빌드하고 플러그인을 로드하기 위해 Xcode 프로젝트에 연결되긴 하지만, 에디터는 독립적으로 실행됩니다.³

2026년 RealityKit에서 소프트 섀도는 어떻게 작동하나요?

그림자의 lightSize 프로퍼티는 빛의 지름(미터 단위)입니다. 기본값 0은 단단한 그림자를 만들고, 더 큰 값(세션에서는 0.7을 사용)이 반음영을 넓힙니다. quality는 medium이나 high로 설정하세요. low는 빛의 크기와 무관하게 단단한 그림자를 강제하기 때문이며, 비용을 관리하면서 일반적인 시청 거리에서는 medium이 권장됩니다.²

Reality Composer Pro 에디터 안에서 내 Swift 코드를 실행할 수 있나요?

네. RealityComposerProPlugin 프로토콜을 준수하는 플러그인을 만들고, 그 setup 메서드에서 컴포넌트와 시스템을 등록하세요. 에디터가 그 코드를 라이브로 실행하므로, 아티스트가 프로퍼티를 조정하면 앱을 다시 빌드하지 않고도 시스템의 반응을 봅니다. Xcode 디버거를 붙여서 플러그인 코드 안의 중단점에 도달하게 할 수도 있습니다. 이 기능은 2026년 말에 출시될 예정입니다.⁴

visionOS 27의 새로운 클리핑 기능은 무엇인가요?

ClippingComponent는 축 정렬 경계 상자(bounds) 바깥의 모든 지오메트리를 매 프레임 버려, 복잡한 어셈블리를 꿰뚫어 그 내부를 볼 수 있게 합니다. shouldClipChildren는 기본값이 false이므로, true로 설정하기 전까지는 부모 어셈블리가 자식을 클리핑하지 않는다는 점에 유의하세요.⁶

캐릭터를 애니메이션시키고 탭에 반응하게 만들려면 코드를 작성해야 하나요?

아닙니다. Reality Composer Pro 3의 비주얼 그래프가 그것을 커버합니다. Animation Graph 상태 기계가 idle과 walk 애니메이션을 블렌드하고, Behavior Tree가 동작을 순서 짓고 불리언으로 제어하며, Script Graph가 On Tap 노드를 연결해 그 불리언을 뒤집습니다. 모두 빌드 사이클 없이 오서링됩니다.⁵

전체 Apple Ecosystem 클러스터는 다음과 같습니다. RealityKit이 왜 3D의 SwiftUI가 아니라 엔티티-컴포넌트-시스템인지 설명하는 공간 멘탈 모델, 장면과 몰입 스타일을 구조화하기 위한 visionOS 공간 패턴, 이 도구들을 둘러싼 플랫폼 기능에 관한 visionOS 27의 새로운 기능, 그리고 RealityKit이 visionOS, iOS, iPadOS, macOS, tvOS에 어떻게 배포되는지 보여 주는 Apple 플랫폼 매트릭스입니다. 허브는 Apple Ecosystem 시리즈에 있습니다. AI 에이전트를 곁들인 iOS의 더 넓은 맥락은 iOS 에이전트 개발 가이드를 참고하세요.

참고 문헌