AI 분야의 대모로 불리는 페이페이 리(李飞飞)가 설립한 공간 지능 스타트업 월드랩스(World Labs)가 핵심 기술인 ‘Forge’ 렌더링 엔진을 오픈소스로 공개했다. 이 기술은 AI가 생성한 3D 세계를 데스크톱, 저전력 모바일 기기, XR 등 모든 디바이스에서 실시간으로 매끄럽게 렌더링 할 수 있게 해주는 혁신적인 솔루션이다.
Forge : 3D 가우시안 스플래팅의 혁신적 웹 렌더링 엔진
Forge는 웹 기반 3D 가우시안 스플래팅(3D Gaussian Splatting) 렌더링 엔진으로, three.js와 완벽하게 통합되어 완전히 동적이고 프로그래밍 가능한 가우시안 스플래팅을 구현한다. 이 렌더링 엔진은 GPU 최적화를 위해 설계된 저수준 기술로, 전통적인 3D 그래픽 영역의 기본 구성 요소인 ‘셰이더(착색기)’에 해당하는 핵심적인 역할을 담당한다.
World Labs의 공동창립자이자 NeRF(Neural Radiance Fields) 기술의 개발자인 벤 밀든홀(Ben Mildenhall)은 이 기술에 대해 “개발자들이 삼각형 메시를 처리하는 것처럼 쉽게 AI가 생성한 3D 세계를 다룰 수 있게 해준다”고 설명했다. 페이페이 리 또한 “이 기술이 할 수 있는 일들은 정말 믿을 수 없을 정도”라고 평가했다.
기존 3D 렌더링 기술의 한계 극복
3D 가우시안 스플래팅은 생성형 인공지능과 3D 재구성 분야에서 주류 기술로 자리잡았다. 이 기술은 3D 장면과 객체를 작은 가우시안 형태의 점들(Splat)의 집합으로 표현하여, 머신러닝 기술을 통해 실시간 렌더링이 가능한 세밀하고 사실적인 3D 콘텐츠를 생성할 수 있다.
하지만 3D 가우시안 스플래팅은 비교적 새로운 기술이기 때문에, 기존의 삼각형 기반 3D 메시 렌더링 엔진들은 이를 활용할 수 없었다. 특히 웹에서 가장 인기 있는 3D 그래픽 라이브러리인 three.js는 3D 가우시안 스플래팅을 직접 렌더링할 수 없는 한계가 있었다.
기존에도 웹에서 3D 가우시안 스플래팅을 렌더링 할 수 있는 일부 라이브러리들이 있었지만, 각각 다른 제약 사항들을 가지고 있었다. 하나의 3D 가우시안 스플래팅 객체만 렌더링 할 수 있거나, 3D 가우시안 스플래팅 객체들 간의 가림 현상이 올바르지 않거나, 객체를 동적으로 수정할 수 없거나, WebGPU가 필요하거나, 렌더링 속도가 느리고 끊기는 문제 등이 있었다.
프로그래밍 가능한 3D 가우시안 스플래팅 엔진
Forge는 이러한 한계들을 극복하기 위해 프로그래밍 가능한 3D 가우시안 스플래팅 엔진으로 설계되었다. 이 렌더링 엔진은 3D 가우시안 스플래팅의 생성, 애니메이션, 그리고 장면 렌더링을 전례 없는 방식으로 제어할 수 있게 해준다.
현대 3D 그래픽 엔진의 셰이더 그래픽 시스템과 유사하게, Forge는 ‘Dyno’라고 불리는 함수 블록들을 조합하여 계산 그래프를 구성할 수 있도록 한다. 이를 통해 프로그래밍 방식으로 Splat을 생성하고, 임의로 수정하거나, 생각할 수 있는 모든 다른 계산을 수행할 수 있으며, 이는 GLSL 언어로 변환되어 GPU에서 실행된다.
핵심 기술: 페인터 알고리즘과 효율적인 정렬
World Labs의 공식 웹사이트에서는 메뉴 장면을 통해 Forge 렌더링 엔진의 실시간 상호작용 능력을 잘 보여주고 있다. 사용자는 실시간으로 3D 객체들과 상호작용하며 즉각적인 반응을 확인할 수 있다.
실시간 가우시안 스플래팅 렌더링의 가장 큰 도전 과제 중 하나는 각 splat에 대한 정렬 작업이다. 이는 ‘페인터 알고리즘(Painter’s Algorithm)’이라고 불리며, Forge 시스템 설계의 핵심이다.
이 과정을 관리하는 핵심 구성 요소는 ForgeRenderer로, Three.js 장면 내 모든 splat의 완전한 목록을 순회하고 컴파일한다. 각 ForgeRenderer는 기본 ForgeViewpoint를 가지고 있으며, 이는 GPU로부터 모든 splat 시점 목록을 읽어온 다음 효율적인 버킷 정렬 알고리즘을 사용하여 그리기 순서를 결정하고, SplatWorker를 통해 백그라운드 작업 스레드에서 실행된다.
추가적인 ForgeViewpoint 객체를 생성함으로써 다중 시점 동시 렌더링도 지원한다. Forge는 또한 이 기회를 활용하여 GPU의 각 splat에서 사용자가 프로그래밍 가능한 데이터 파이프라인을 실행한다.
고급 기능과 실시간 애니메이션 지원
표준 파이프라인은 강체 변환 적용, RGB/투명도 및 구면 고조파 조정, 색상 편집 및 교란, 이중 사원수 골격 애니메이션 시스템 등의 고급 기능을 제공한다. 표준 파이프라인은 또한 dyno 셰이더 그래픽 시스템을 통해 임의의 코드를 주입하여 각 splat을 수정할 수 있도록 한다.
Forge는 splat 속성(중심, 스케일, 사원수, RGBA)을 프로그래밍 방식으로 계산하는 모든 함수에 대한 완전한 제어를 지원한다. 이러한 속성들은 무상태일 수도 있고, splat 파일, 텍스처 및 기타 전역 매개변수의 복잡한 조합에 의존하여 실시간 프로그램 생성을 할 수도 있으며, 시간에 따라 변화하여 실시간 애니메이션을 생성할 수도 있다.
World Labs의 야심찬 비전과 투자 현황
World Labs는 설립 이후 a16z, 인텔, AMD 등의 투자를 받아 총 2억 3천만 달러 이상의 자금을 조달했다. 이 회사의 목표는 다중 모달 AI를 2차원 픽셀 평면에서 완전한 3차원 세계로 끌어올리는 것이며, 2025년에 첫 번째 제품을 출시할 예정이라고 발표했다.
또한 World Labs는 아티스트, 디자이너, 개발자, 영화 제작자, 엔지니어 등 전문가들에게 유용한 도구들을 구축할 계획도 공개했다. 목표 고객층은 비디오 게임 개발사부터 영화 스튜디오까지 다양한 분야를 포괄한다.
이러한 관점에서 보면, Forge 렌더링 엔진은 개발자 도구의 일부에 가깝고, 진정한 최종 제품은 아직 뒤에 있을 것으로 보인다. 하지만 이번 오픈소스 공개는 World Labs가 공간 지능 기술의 기반을 다지고 있다는 강력한 신호로 해석할 수 있다.
Forge 렌더링 엔진의 공개는 AI 생성 3D 콘텐츠 분야의 중요한 이정표가 될 것으로 예상된다. 특히 웹 기반 3D 애플리케이션 개발자들에게는 새로운 가능성을 열어주는 핵심 도구가 될 전망이다.
[참고 기사]
https://www.qbitai.com/2025/06/290377.html
[Forge 홈페이지]
https://forge.dev
[참조 링크]
[1] https://x.com/BenMildenhall/status/1929618052813054294
