L’IA génère des niveaux et des personnages de jeux vidéo à partir d’invites textuelles

Un simple outil d’IA générative peut créer des cartes de jeux vidéo, des modèles de personnages et des emojis à partir d’une invite d’une seule phrase en quelques millisecondes.

Julien Togelius et Timothy Merino de l’Université de New York et leurs collègues ont conçu le système comme un moyen de comprendre à quel point un modèle d’IA peut être simple tout en s’avérant utile.

“Nous avons essayé, comme point de départ, de trouver l’approche la plus naïve et la plus simple que nous puissions adopter pour la génération de cartes scolaires”, explique Merino. “C’était étonnamment efficace.”

Le modèle a été formé sur des bases de données de 882 cartes de jeu, 100 sprites de jeu et 10 000 emojis, tous étiquetés avec des descriptions de ce que montraient les images. «Tous nos ensembles de données étaient assez petits, et c’était intentionnel», explique Merino.

L’étiquetage évitait de lister les noms spécifiques des personnages, décrivant plutôt Mario comme « un homme avec une moustache vêtu de rouge », par exemple. Des étiquettes alternatives ont également été créées pour entraîner le modèle à l’aide de GPT-4, le grand modèle de langage derrière ChatGPT.

Le modèle d’IA lui-même utilise un réseau neuronal simpliste qui supprime de nombreux développements modernes qui alimentent la génération actuelle d’IA. Par exemple, le réseau ne comprend aucune boucle de rétroaction, ce qui signifie que l’information circule dans une seule direction, de l’entrée vers la sortie.

Malgré sa simplicité, le système a pu produire des représentations précises de ce qui était demandé par les utilisateurs via des invites textuelles, telles que « un champ herbeux avec quelques fleurs », « une île d’arbres dans la rivière » ou encore « un village inondé ».

Le modèle montre ce qui peut être fait avec une puissance de calcul limitée, explique Togelius. “Beaucoup de gens sont conscients du potentiel de l’IA pour changer le fonctionnement des jeux”, dit-il. « Mais aussi, beaucoup de ces éléments ne sont que des modèles massifs qui nécessitent d’énormes quantités de données pour être entraînés. Cette chose est formée sur votre ordinateur personnel et fonctionne sur votre téléphone, en gros, à un rythme incroyablement rapide.