Des chercheurs créent 3D-GPT, une IA qui génère des mondes virtuels avec des prompts à la ChatGPT

Des chercheurs ont mis au point un modèle d'intelligence artificielle capable de générer des mondes 3D à partir de simples commandes textuelles, dans le même style que ChatGPT.

Les équipes de l'université nationale australienne, de l'université d'Oxford et de l'académie d'intelligence artificielle de Beijing ont créé 3D-GPT, un système qui génère des modélisations 3D sur base de descriptions textuelles fournies par l'utilisateur.

Cette IA, décrite dans un papier de recherche sur arXiv, est capable de créer des ressources 3D de manière efficace et intuitive, et va bien au-delà des méthodes de modélisation 3D traditionnelles.

Grâce à l'emploi de plusieurs agents d'intelligence artificielle, 3D-GPT segmente les tâches de modélisation et attribue à chacun de ces agents la responsabilité d'une fonction spécifique.

Selon les explications fournies par le document, un premier agent de dispatch analyse les instructions textuelles et en déduit la nature des fonctions à exécuter.

Un second agent de conceptualisation se charge de préciser les détails marquants ou flous dans la description initiale.

Enfin, un agent de modélisation génère le code Python qui pilote le logiciel 3D Blender pour créer les modèles 3D correspondant à la description.

Le résultat ? Avec un prompt comme "un matin de printemps brumeux avec des fleurs couvertes de rosée dans une prairie luxuriante bordée d'arbres en bourgeons", 3D-GPT parvient à créer une scène 3D complète, qui reflète fidèlement le texte transmis.

Un potentiel prometteur pour le monde de la 3D

Bien que la qualité des graphiques ne soit pas photoréaliste, les résultats n'en sont pas moins bluffants, et montrent qu'une telle approche pourrait simplifier la création de contenus 3D. De plus, l'architecture modulaire de 3D-GPT offre la possibilité d'améliorer chaque agent d'IA de manière indépendante, de quoi ouvrir la voie à des améliorations continues.

L'autre avantage de 3D-GPT, c'est que le système génère du code pour piloter des logiciels 3D existants, comme Blender, au lieu de construire ses modèles à partir de zéro.

Un tel projet pourrait révolutionner l'industrie de la modélisation 3D, en rendant le processus de création plus accessible. À l'ère des métavers, qui peinent encore à convaincre, où la création de contenus 3D joue un rôle essentiel, des outils comme 3D-GPT pourraient s'avérer inestimables.

Il va sans dire que ce genre de système pourrait également trouver sa place dans le domaine du jeu vidéo, ou celui de la réalité virtuelle.

Néanmoins pas d'affolement : malgré son potentiel prometteur, le système 3D-GPT, toujours en développement, reste malgré tout limité dans ses capacités. Ses créateurs le présentent comme un framework qui met en avant le potentiel des grands modèles de langage (LLM) dans le domaine de la modélisation 3D.

Le code de 3D-GPT sera partagé sur GitHub par ses auteurs après l'acceptation du papier de recherche.