텐센트, 업계 최초 고품질 네이티브 3D 부품 생성 모델 'Hunyuan3D-Part' 공개

텐센트 Hunyuan팀이 업계 최초로 고품질 네이티브 3D 부품 생성 모델 ‘Hunyuan3D-Part’를 공개했다. 이번 발표는 3D 콘텐츠 생성 분야에서 획기적인 전환점이 될 것으로 전망된다.

기존 3D 생성 기술의 한계와 새로운 해결책

기존 3D 생성 알고리즘들은 통합된 하나의 3D 모델을 생성하는 데 그쳤지만, 실제 다운스트림 애플리케이션에서는 의미적으로 분해 가능한 3D 형태가 필요하다. 즉, 3D 객체의 각 부품이 개별적으로 생성되어야 한다는 요구사항이 존재했다.

Hunyuan3D-Part는 이러한 문제를 해결하기 위해 개발된 모델로, 생산 투입이 가능하고 기하학적 품질이 높으며 편집 가능하고 구조적으로 합리적인 부품별 3D 생성의 새로운 패러다임을 제시한다.

부품별 3D 생성의 핵심 응용 분야

부품별 3D 생성 기술은 주로 두 가지 주요 응용 시나리오에서 활용된다.

첫 번째는 비디오 게임 제작 파이프라인이다. 게임에서 많은 자산들은 의미 정보에 따라 서로 다른 게임 로직에 바인딩되어야 한다. 예를 들어, 자동차 모델은 본체와 네 개의 굴릴 수 있는 바퀴로 분해될 수 있어야 하며, 이렇게 해야 바퀴가 개별적으로 굴릴 수 있다. 또한 3D 기하학 생성의 다운스트림 체인에는 저폴리곤 토폴로지, UV 전개 등의 모듈이 포함되는데, 이러한 모듈들이 매우 복잡한 기하학을 처리하는 것은 어렵다. 복잡한 기하학을 간단한 소형 부품으로 분할하는 분할정복 전략을 통해 다운스트림 알고리즘의 처리 난이도를 크게 낮출 수 있다.

두 번째는 3D 프린팅 분야이다. 사용자들은 부품을 하나씩 프린팅한 후 조립할 수 있어, 마치 블록을 쌓는 것과 같은 방식으로 작업할 수 있다.

Hunyuan3D-Part의 혁신적인 기술 구조

Hunyuan3D-Part의 기술적 핵심은 두 가지 혁신적인 모델에 있다.

P3-SAM: 업계 최초 네이티브 3D 분할 모델

P3-SAM(Point-Promptable Part Segmentation)은 임의의 복잡한 3차원 객체에 대한 완전 자동 분할을 실현하는 네이티브 3D 분할 모델이다. 이 모델은 정확한 마스크를 생성하며 극강의 견고성을 자랑한다.

P3-SAM의 핵심 혁신은 2D SAM의 영향을 완전히 배제하고 네이티브 3D 부품 감독에 의존하여 네이티브 3D 분할 모델을 훈련한다는 점이다. 기존 3D 부품 분할 데이터셋의 규모가 일반적으로 작고 상세한 부품 주석이 부족하다는 점을 고려하여, 개발팀은 미술가들이 메시를 생성하는 자동화된 부품 주석 프로세스를 개발했다. 이를 통해 370만 개의 고품질 부품 레벨 마스크를 포함하는 3차원 메시 데이터셋을 생성했다.

P3-SAM은 특징 추출기, 3개의 분할 헤드, 그리고 IoU(교집합/합집합) 예측 헤드로 구성된다. PointTransformerV3을 특징 추출기로 사용하며, 서로 다른 레벨의 특징을 융합하여 점 레벨 특징으로 활용한다.

X-Part: 고충실도 구조 일관성 형태 분해

X-Part는 의미적으로 중요하고 구조적으로 일관된 부품 생성을 실현한다. 주어진 객체 점군에서 고충실도, 구조 일관성을 가진 부품 기하학체를 생성하면서 분해 과정에 대한 유연한 제어 가능성을 보장하는 것이 목표다.

X-Part는 부품 레벨 프롬프트 기반 특징 추출 모듈을 제안하여 제어 가능성을 실현한다. P3-SAM의 바운딩 박스를 프롬프트로 활용하여 부품의 위치와 크기를 지시하며, 분할 결과를 직접 입력으로 사용하지 않는다. 세분화된 점 레벨 분할 프롬프트와 비교하여 바운딩 박스는 더 거친 가이드 방식을 제공하여 입력에 대한 과적합을 완화하는 데 도움이 된다.

기술 처리 과정

Hunyuan3D-Part의 전체 기술 흐름은 다음과 같다. 입력 이미지가 주어지면, 먼저 Hunyuan3D의 기본 모델(V2.5 또는 V3.0)을 사용하여 전체 형태를 획득한다. 그 다음 전체 메시를 부품 감지 모듈인 P3-SAM에 전달하여 의미적 특징과 부품의 바운딩 박스를 획득한다. 마지막으로 X-Part가 전체 형태를 각각의 부품으로 분해한다.

벤치마크 성능 및 비교 결과

개발팀은 PartObj-Tiny, PartObj-Tiny-WT, PartNetE 등 세 개의 데이터셋에서 효과를 평가했다. PartObj-Tiny는 Objverse의 부분집합으로 8개 카테고리 총 200개 데이터 샘플을 포함하며, 모두 수동으로 주석된 부품 분할 정보를 갖고 있다.

정량적 비교 결과에 따르면, P3-SAM과 X-Part 모두 기존 연구 대비 대폭 향상된 성능을 보여주었다. 분할과 생성 결과 모두에서 현존하는 작업들을 크게 능가하는 성과를 달성했다.