Intelligence Artificielle

Des chercheurs créent 3D-GPT, une IA qui génère des mondes virtuels avec des prompts à la ChatGPT

Aperçu d'une scène générée par l'IA 3D-GPT

Des chercheurs ont mis au point un modèle d'intelligence artificielle capable de générer des mondes 3D à partir de simples commandes textuelles, dans le même style que ChatGPT.

Les équipes de l'université nationale australienne, de l'université d'Oxford et de l'académie d'intelligence artificielle de Beijing ont créé 3D-GPT, un système qui génère des modélisations 3D sur base de descriptions textuelles fournies par l'utilisateur.

Votre pop-up de consentement prête en 7 minutes

Cette IA, décrite dans un papier de recherche sur arXiv, est capable de créer des ressources 3D de manière efficace et intuitive, et va bien au-delà des méthodes de modélisation 3D traditionnelles.

Grâce à l'emploi de plusieurs agents d'intelligence artificielle, 3D-GPT segmente les tâches de modélisation et attribue à chacun de ces agents la responsabilité d'une fonction spécifique.

Schéma du fonctionnement des agents d'IA utilisés par 3D-GPT

Selon les explications fournies par le document, un premier agent de dispatch analyse les instructions textuelles et en déduit la nature des fonctions à exécuter.

Un second agent de conceptualisation se charge de préciser les détails marquants ou flous dans la description initiale.

Enfin, un agent de modélisation génère le code Python qui pilote le logiciel 3D Blender pour créer les modèles 3D correspondant à la description.

Le résultat ? Avec un prompt comme "un matin de printemps brumeux avec des fleurs couvertes de rosée dans une prairie luxuriante bordée d'arbres en bourgeons", 3D-GPT parvient à créer une scène 3D complète, qui reflète fidèlement le texte transmis.

Un potentiel prometteur pour le monde de la 3D

Bien que la qualité des graphiques ne soit pas photoréaliste, les résultats n'en sont pas moins bluffants, et montrent qu'une telle approche pourrait simplifier la création de contenus 3D. De plus, l'architecture modulaire de 3D-GPT offre la possibilité d'améliorer chaque agent d'IA de manière indépendante, de quoi ouvrir la voie à des améliorations continues.



L'autre avantage de 3D-GPT, c'est que le système génère du code pour piloter des logiciels 3D existants, comme Blender, au lieu de construire ses modèles à partir de zéro.

Un tel projet pourrait révolutionner l'industrie de la modélisation 3D, en rendant le processus de création plus accessible. À l'ère des métavers, qui peinent encore à convaincre, où la création de contenus 3D joue un rôle essentiel, des outils comme 3D-GPT pourraient s'avérer inestimables.

Il va sans dire que ce genre de système pourrait également trouver sa place dans le domaine du jeu vidéo, ou celui de la réalité virtuelle.

Néanmoins pas d'affolement : malgré son potentiel prometteur, le système 3D-GPT, toujours en développement, reste malgré tout limité dans ses capacités. Ses créateurs le présentent comme un framework qui met en avant le potentiel des grands modèles de langage (LLM) dans le domaine de la modélisation 3D.

Le code de 3D-GPT sera partagé sur GitHub par ses auteurs après l'acceptation du papier de recherche.

À lire aussi sur Les Joies du Code :

À propos de l'auteur
Nicolas Lecointre
Chief Happiness Officer des développeurs, ceinture noire de sudo. Pour rire, j'ai créé Les Joies du Code. J'utilise Vim depuis 10 ans parce que je sais pas comment le quitter.
Événements

Hackathon grandeur nature : codez au Parc des Princes, 150 000 dollars à la clé

Participez au hackathon Hacking Paris de Chiliz, du 11 au 13 juillet 2025 au Parc des Princes

Hackathon Hacking Paris 2025 — Croyez-moi, des hackathons, j’en ai vu passer. Mais DANS UN STADE et qui plus est au Parc des Princes, permettez-moi de vous le dire : c’est du jamais vu.

# En partenariat avec Chiliz

À vos agendas : du 11 au 13 juillet 2025, Chiliz, qui propose aux fans de sport et d'e-sport de se rapprocher de leurs clubs et athlètes préférés, organise un hackathon grandeur nature dans l’antre historique du PSG.

Hacking Paris est un événement 100% gratuit, pensé pour les développeurs et ceux qui s’intéressent à la blockchain, avec pour objectif de donner vie à vos projets pour faire évoluer l’écosystème.

Je participe au hackathon 🤩

150 000 dollars à la clé

Vous avez bien lu. CENT. CINQUANTE. MILLE. DOLLARS.

Dans ce hackathon, les meilleures idées ne repartiront pas juste avec les félicitations du jury et un .zip de leur projet. 👀

150 000 dollars sont mis en jeu par Chiliz pour récompenser les projets gagnants, répartis sur 5 grandes thématiques :

  • Utilisation des fan tokens : 50 000 $
  • Contenus créés par les fans et plateformes de monétisation : 24 000 $
  • Outils ou services DeFi (finance décentralisée) : 22 000 $
  • Agents ou outils basés sur l’IA pour le sport : 22 000 $
  • Fonctionnalités et connectivité du portefeuille Socios : 22 000 $
  • Récompenses spéciales : 10 000 $

Je m’inscris à Hacking Paris ⚽️

Construisez le futur de l’engagement sportif

Hacking Paris invite les développeurs à imaginer des applications décentralisées capables de réinventer la relation entre les clubs et leurs supporters. 🙌

Fan tokens, gouvernance décentralisée, NFTs, expériences immersives dans les stades… Cet événement XXL sera l’occasion de monter vos projets, et cela durant les trois jours du hackathon.

Le stade du Parc des Princes, où prendra lieu le hackathon Hacking Paris

Pas besoin d’être un expert de la Chiliz Chain pour participer : les ressources et la documentation nécessaires sont fournies — accessibles depuis le site de l’événement —, et des mentors seront présents sur place pour vous accompagner, avec une première journée de workshops pour vous permettre de prendre en main les outils et affiner votre projet.

Dès le début de soirée de cette première journée (vendredi 11 juillet) : les choses sérieuses commencent. 🔥

Vous serez alors libres de vous lancer sur le développement des solutions que vous aurez imaginées, qui devrait vous tenir en haleine jusqu’au dimanche midi, où débuteront les démos des projets.

Des invités de renom devraient également prendre part à l’événement (line-up à venir), de quoi nourrir l’effervescence qui régnera au Parc des Princes pendant ces trois jours d’innovation.

Pourquoi participer ?

En plus des prix exceptionnels, Hacking Paris permet de se connecter à une communauté Web3 internationale, d’échanger avec des experts du secteur et d’explorer des opportunités concrètes dans l’écosystème Chiliz, au-delà du hackathon.

Les projets retenus pourront quant à eux bénéficier d’un accompagnement après l’événement, et gagner en visibilité auprès d’acteurs clés du sport et de la tech.

Je m’inscris dès maintenant pour Hacking Paris — du 11 au 13 juillet au Parc des Princes (GRATUIT) 🏟️