3D 생성 AI가 창조하는 "차세대 크리에이션" ── SIGGRAPH 2025 최전선 리포트

1. 서장──“이미지→3D”의 벽을 넘은 2025년

텍스트·이미지 생성으로 주목받은 생성 AI(GenAI)는 2024년부터 3D 영역으로 본격적으로 침투했다. OpenAI의 Shap-E와 NVIDIA Instant N-eRF의 등장으로 "프롬프트 입력→몇 초 만에 3D 메쉬"가 당연하게 되었고, 제작 파이프라인의 초기 아이디어 도출이 급변했다. 2025년 현재는 “단일 객체 생성”에서 “장면 재구성” “애니메이션 생성” “물리적 특성 포함 의상 생성”으로 진화가 가속되고 있다.github.comgaragefarm.net

2. SIGGRAPH 2025에서 제시된 3가지 돌파구

2-1 CAST: 사진 한 장을 “만질 수 있는 3D 공간”으로

CAST(Component-Aligned Scene Reconstruction)은 RGB 이미지 한 장에서 숨겨진 면이나 깊이를 추정하면서 물체 간의 접촉·중력 관계를 유지한 3D 장면을 생성한다. 연구팀은,

• 물체 인식: 대규모 비전 Transformer로 수백 클래스를 동시에 검출

• 카메라 포즈 추정: 장면 최적화로 투시 왜곡을 보정

• 기하 일관성 손실: NeRF 파생 모델로 “보이지 않는 뒷면”을 보완
  
  가구 VR화·로봇 시뮬레이션·영화 프리비즈에의 응용이 기대된다.digitalmedianet.com

2Anim: 스토리보드→3D 모션

영화·애니메이션 업계에서 많이 사용되는 스토리보드 제작은 여전히 아날로그 요소가 강하다. Sketch2Anim은 확산 모델로 포즈 열과 속도선을 분석하여, 걷기·점프 등을 자동 생성한다. Unity/Unreal에 FBX 형식으로 즉시 임포트할 수 있어, 촬영 전 프리비즈나 아바타 발표회의 즉시 프리뷰를 실현한다.digitalmedianet.com

2-3 Dress-1-to-3: 사진 한 장으로 “봉제 패턴 포함” 의상

현재의 가상 피팅은 정적 메쉬로 천의 흔들림이 부자연스럽다는 과제가 있었다. Dress-1-to-3은 확산 모델×물리 최적화(C-IPC)로 **천 파라미터(영률·굽힘 강성)**를 추정하여, 게임용 실시간 시뮬레이션과 일치하는 동작을 실현한다. EC의 반품률 감소가 기대된다.digitalmedianet.com

3. 기술 배경──확산 모델과 NeRF의 융합

확산 모델은 노이즈 제거 과정을 역으로 실행하여 고품질 생성을 실현하지만, 3D에서는 다중 시점 일관성이 과제가 된다. CAST는 시점 일관성 손실, Sketch2Anim은 시간 축 일관성 손실, Dress-1-to-3는 물리 손실을 도입하여 일관성 문제를 극복했다. 또한 NeRF 계열 방법은 미분 가능 렌더러를 통해 이미지→3D→렌더링을 일관되게 학습하여 계산 비용을 수십 배 절감했다.garagefarm.net

4. 산업 응용의 확산

5. 일본 기업에 대한 영향

• CG·애니메이션: 셀 애니메이션 문화와 융합하여 레이아웃 공정을 반자동화
  
  

• 의류: ZOZO·유니클로가 가상 착용을 고도화하여 국내외 판매를 강화
  
  

• 제조: 도요타·미쓰비시 중공업이 디지털 트윈을 신속하게 구축하여 라인 변경을 효율화
  국내는 인재 부족이 병목이지만, 생성 AI로 “작업자→감독자”형의 근무 방식으로 전환할 수 있다.

6. 과제──저작권・윤리・환경부하

1. 저작권：기존 3D 에셋 혼입에 의한 권리 침해 위험
   
   

2. 윤리：가짜 제품이나 위장 착용의 악용
   
   

3. 환경부하：대량 GPU 트레이닝에 의한 CO₂ 배출
   법 정비와 기업 거버넌스의 양륜이 요구된다.

7. 도입 단계와 추천 도구

1. PoC：Shap-E와 LumaAI로 소규모 검증
   
   

2. 워크플로우 통합：Blender / Houdini에 확산 플러그인을 추가
   
   

3. CI/CD화：생성 스크립트를 Git＋클라우드 GPU로 자동 실행
   
   

4. 가이드라인 제정：AI 이용 규약과 품질 체크 플로우를 책정
   일본어 UI의 로우코드 도구도 증가하고 있어, 비엔지니어도 쉽게 시도할 수 있다.

8. 미래 전망──“세계 모델”로의 발전

앞으로는 3D 생성 AI가 물리・상식・작업 계획을 내포하는World Model로 진화하여, 로봇 제어나 XR 학습 환경의 중핵이 된다. 언어 LLM과 세계 모델을 결합한 “멀티모달 AGI”가 2027년경에 실용화될 것이라는 예측도 있다.businessinsider.com

9. 요약

3D 생성 AI는, 기존의 3DCG 제작 개념을 “제로에서 창조”에서 “의도를 전달하여 일으킴”으로 변화시킨다. CAST・Sketch2Anim・Dress-1-to-3의 등장은 "누구나 3D"를 본격적으로 실용 수준으로 끌어올리고, 일본 기업의 경쟁력 강화에도 직접 연결된다. 지금이야말로 작게 시도하고, 크게 활용할 좋은 기회다.

참고 기사 목록

• Digital Media Net「3D Generative AI Transforms How We Create, Design, Interact With Digital Content」digitalmedianet.com

• GarageFarm「Generative AI in 3D Modeling: Transforming Creativity and Workflows」garagefarm.net

• OpenAI GitHub「Shap-E: Generating Conditional 3D Implicit Functions」github.com

• Business Insider「Top AI Researchers Say Language Is Limiting… World Models」businessinsider.com