La "création de nouvelle génération" par l'IA générative 3D ── Rapport de pointe de SIGGRAPH 2025

1. Introduction──2025, l'année où nous avons franchi le mur de "l'image vers 3D"

L'IA générative (GenAI), qui a attiré l'attention avec la génération de texte et d'images, a commencé à s'implanter sérieusement dans le domaine de la 3D à partir de 2024. Avec l'apparition de Shap-E d'OpenAI et de Instant N-eRF de NVIDIA, il est devenu courant de passer de "saisie de prompt→3D mesh en quelques secondes", transformant radicalement la phase initiale des pipelines de production. En 2025, l'évolution s'accélère du "génération d'objet unique" vers la "reconstruction de scène", la "génération d'animation" et la "génération de costumes avec propriétés physiques".github.comgaragefarm.net

2. Trois percées présentées à SIGGRAPH 2025

2-1 CAST : Transformer une seule photo en un "espace 3D tangible"

CAST (Component-Aligned Scene Reconstruction) génère une scène 3D à partir d'une seule image RGB, en estimant les surfaces cachées et la profondeur tout en préservant les relations de contact et de gravité entre les objets. L'équipe de recherche a,

• Reconnaissance d'objets : Détection simultanée de centaines de classes avec un Transformer de vision à grande échelle

• Estimation de la pose de la caméra : Correction de la distorsion de perspective par optimisation de la scène

• Perte de cohérence géométrique : Compléter les "surfaces arrière invisibles" avec un modèle dérivé de NeRF
  
  Des applications sont attendues dans la VR pour meubles, la simulation de robots et la prévisualisation de films.digitalmedianet.com

2Anim : Storyboard→Mouvement 3D

La création de storyboards, largement utilisée dans l'industrie du cinéma et de l'animation, reste fortement analogique. Sketch2Anim analyse les séquences de poses et les lignes de vitesse avec un modèle de diffusion pour générer automatiquement des mouvements comme la marche ou le saut. Il permet une importation immédiate au format FBX dans Unity/Unreal, réalisant une prévisualisation instantanée avant le tournage ou lors de présentations d'avatars.digitalmedianet.com

2-3 Dress-1-to-3 : Un seul cliché pour un costume avec "patron de couture"

L'essayage virtuel actuel présente le problème des maillages statiques avec des mouvements de tissu peu naturels. Dress-1-to-3 utilise un modèle de diffusion et une optimisation physique (C-IPC) pour estimer les **paramètres du tissu (module de Young, rigidité à la flexion)**, réalisant un comportement cohérent avec la simulation en temps réel pour les jeux. On s'attend à une réduction des taux de retour dans le commerce électronique.digitalmedianet.com

3. Contexte technique : Fusion des modèles de diffusion et NeRF

Les modèles de diffusion réalisent une génération de haute qualité en inversant le processus de débruitage, mais en 3D, la cohérence multi-vues devient un défi. CAST a introduit une perte de cohérence de vue, Sketch2Anim une perte de cohérence temporelle, et Dress-1-to-3 une perte physique pour surmonter les problèmes de cohérence. De plus, les méthodes basées sur NeRF apprennent de manière cohérente l'image→3D→rendu à travers un renderer différentiable, réduisant les coûts de calcul de dizaines de fois.garagefarm.net

4. Expansion des applications industrielles

5. Impact sur les entreprises japonaises

• CG et animation : Fusion avec la culture des celluloïds pour semi-automatiser le processus de mise en page
  
  

• Mode : ZOZO et Uniqlo améliorent l'essayage virtuel pour renforcer les ventes nationales et internationales
  
  

• Fabrication : Toyota et Mitsubishi Heavy Industries construisent rapidement des jumeaux numériques pour optimiser les changements de ligne
  Au Japon, le manque de personnel est un obstacle, mais avec l'IA générative, il est possible de passer d'un modèle de travail "opérateur→superviseur".

6. Problèmes - Droits d'auteur, Éthique, Impact environnemental

1. Droits d'auteur : Risque de violation des droits par l'inclusion d'actifs 3D existants
   
   

2. Éthique : Mauvaise utilisation des faux produits ou des essayages truqués
   
   

3. Impact environnemental : Émissions de CO₂ dues à l'entraînement massif de GPU
   Une législation et une gouvernance d'entreprise sont nécessaires.

7. Étapes d'implémentation et outils recommandés

1. PoC : Validation à petite échelle avec Shap-E ou LumaAI
   
   

2. Intégration du workflow : Ajouter des plugins de diffusion à Blender / Houdini
   
   

3. CI/CD : Exécution automatique des scripts générés avec Git + GPU cloud
   
   

4. Établissement de lignes directrices : Élaborer des termes d'utilisation de l'IA et des flux de vérification de la qualité
   Les outils low-code avec interface utilisateur en japonais se multiplient, facilitant les essais pour les non-ingénieurs.

8. Perspectives futures - Développement vers un "Modèle du Monde"

À l'avenir, l'IA de génération 3D intégrera la physique, le bon sens et la planification des tâchesévoluant vers un World Model, devenant le cœur du contrôle des robots et des environnements d'apprentissage XR. Une AGI multimodale combinant LLM linguistique et modèle du monde pourrait être opérationnelle vers 2027, selon certaines prévisions.businessinsider.com

9. Conclusion

L'IA de génération 3D transforme le concept traditionnel de création 3DCG de "créer à partir de zéro" à "exprimer une intention pour générer". L'émergence de CAST, Sketch2Anim et Dress-1-to-3 propulse le "3D pour tous" à un niveau pratique, renforçant directement la compétitivité des entreprises japonaises. C'est le moment idéal pour essayer à petite échelle et exploiter à grande échelle.

Liste des articles de référence

• Digital Media Net「L'IA générative 3D transforme notre façon de créer, concevoir et interagir avec le contenu numérique」digitalmedianet.com

• GarageFarm「L'IA générative dans la modélisation 3D : Transformer la créativité et les flux de travail」garagefarm.net

• OpenAI GitHub「Shap-E : Générer des fonctions implicites 3D conditionnelles」github.com

• Business Insider「Les meilleurs chercheurs en IA disent que le langage est limitant… Modèles du monde」businessinsider.com