LegoGPT : L’IA transforme les instructions textuelles en créations Lego

Des chercheurs de l’Université Carnegie Mellon ont présenté LegoGPT, un nouveau système d’IA qui construit des créations Lego du monde réel à partir de descriptions écrites.

C’est le premier AI de son genre qui non seulement suit une invitation textuelle – comme « un vaisseau allongé et épuré » – mais assure également que la structure résultante est physiquement stable et peut être construite, brique par brique.

« Pour réaliser cela, nous construisons un ensemble de données à grande échelle et physiquement stable de conceptions LEGO, accompagné de leurs légendes associées, » a expliqué l’équipe dans leur article de recherche.

LegoGPT a été formé en utilisant plus de 47 000 modèles Lego stables associés à des légendes détaillées générées par GPT-4o. Ces derniers ont été construits à partir de formes 3D, transformées en structures Lego, puis testées pour leur stabilité dans le monde réel à l’aide de simulations physiques.

Chaque structure a également été décrite sous 24 angles différents afin que l’IA puisse apprendre à quoi devraient ressembler diverses conceptions en mots.

L’équipe a utilisé une technique spéciale appelée « rollback conscient de la physique », où les parties instables d’un design sont retirées et reconstruites jusqu’à ce que la structure entière tienne debout. Cela a permis d’améliorer les taux de réussite de construction de 24% à 98,8%.

Le modèle d’IA, basé sur le LLaMA-3.2-Instruct de Meta, prédit quelle brique Lego placer ensuite – de manière similaire à comment ChatGPT prédit le mot suivant. Chaque brique suggérée est vérifiée pour son placement, sa taille et les éventuelles collisions avant d’être ajoutée au modèle.

Les créations de LegoGPT peuvent être construites par les humains et les robots. « Nos expériences montrent que LegoGPT produit des conceptions Lego stables, diversifiées et esthétiquement plaisantes qui correspondent étroitement aux indications de texte fournies, » ont écrit les chercheurs.

Pour le moment, LegoGPT utilise seulement huit types de briques de base et fonctionne dans un espace de 20×20×20, mais l’équipe espère l’élargir.

Leur ensemble de données complet, leur code et leur modèle sont libres d’accès, afin que d’autres puissent continuer à construire sur cette recherche. Sinon, vous pouvez simplement vous amuser avec leur démo.