Publié le 5 janvier 2024 à 19h00. Pour évaluer les performances des derniers modèles d’intelligence artificielle dans le domaine du développement logiciel, une expérimentation a été menée en leur demandant de créer un jeu Tetris jouable à partir d’une seule instruction.
- Le modèle Opus 4.5 d’Anthropic s’est distingué par sa capacité à générer un jeu Tetris fonctionnel et agréable à jouer en moins de deux minutes.
- GPT-5.2 Pro d’OpenAI, malgré ses capacités de raisonnement avancées et son coût élevé, a nécessité une correction pour résoudre un bug d’affichage initial et a offert une expérience de jeu moins fluide.
- DeepSeek V3.2, l’alternative open source la plus abordable, a produit un jeu non jouable nécessitant plusieurs itérations de débogage.
L’essor rapide des modèles d’intelligence artificielle (IA) suscite un intérêt croissant, chaque nouveau modèle prétendant surpasser ses prédécesseurs. Si l’accès à ces technologies est désormais plus facile, notamment pour les professionnels, le choix du modèle le plus adapté à des besoins spécifiques, comme le développement de logiciels, reste un défi. Les développeurs indépendants, en particulier, doivent trouver un équilibre entre coût et fiabilité.
C’est dans ce contexte qu’une évaluation comparative a été réalisée après la sortie de GPT-5.2, en testant les modèles phares de trois fournisseurs : Opus 4.5 (Anthropic), GPT-5.2 Pro (OpenAI) et DeepSeek V3.2 (une alternative open source). Le défi consistait à demander à chaque modèle de créer un jeu Tetris complet à partir d’une seule instruction.
Pour mesurer le succès de chaque modèle, quatre critères ont été définis : le succès à la première tentative (obtention d’un code fonctionnel sans débogage), la complétude des fonctionnalités (respect de toutes les exigences de l’instruction), la jouabilité (fluidité et expérience utilisateur) et la rentabilité (coût total pour obtenir un code prêt à l’emploi).
L’instruction fournie aux modèles était la suivante :
« Créez un jeu Tetris entièrement fonctionnel sous la forme d’un seul fichier HTML que je peux ouvrir directement dans mon navigateur.
Exigences :
MÉCANIQUES DE JEU : les 7 types de pièces Tetris, rotation fluide avec détection de collision et “wall kick”, chute automatique des pièces avec accélération progressive du score, effacement des lignes avec animation, boîte de prévisualisation “pièce suivante”, détection de fin de partie.
CONTRÔLES : touches fléchées (gauche/droite pour déplacement, bas pour descente rapide, haut pour rotation), commandes tactiles (glisser pour déplacement, glisser vers le bas pour déposer, tap pour rotation), barre d’espace pour pause/reprise, touche Entrée pour redémarrer.
CONCEPTION VISUELLE : couleurs dégradées, animations fluides, interface utilisateur épurée avec coins arrondis, affichage du score en temps réel, indicateur de niveau, écran de fin de partie avec score et bouton de redémarrage.
EXPÉRIENCE DE JEU : gameplay fluide à 60 images par seconde, effets de particules (optionnels), augmentation du score en fonction du nombre de lignes effacées, fond de grille, conception réactive. Rendez-le visuellement raffiné et procurez-vous une sensation de jeu satisfaisante. Le code doit être propre et bien organisé. »
Les résultats ont révélé des différences significatives entre les modèles. Opus 4.5 a produit un jeu Tetris fonctionnel et agréable à jouer dès la première tentative, en moins de deux minutes. L’interface utilisateur était claire, les commandes réactives et le gameplay fluide.
GPT-5.2 Pro, malgré son coût quatre fois supérieur à celui d’Opus 4.5, a initialement généré un jeu avec un bug d’affichage majeur, rendant le jeu injouable. Une correction a été nécessaire, mais le jeu résultant n’offrait pas la même fluidité que celui produit par Opus 4.5, avec des mouvements de pièces parfois trop rapides et imprécis.
DeepSeek V3.2, l’option la plus économique, a rencontré des problèmes plus importants. La première tentative a produit un jeu avec des pièces disparaissant à l’écran et des commandes de jeu défectueuses. Bien qu’une correction ait permis de résoudre les problèmes de commandes, les pièces continuaient de disparaître, rendant le jeu injouable même après plusieurs itérations.
En termes de coûts, DeepSeek V3.2 est de loin l’option la plus abordable, avec un coût total d’environ 0,005 $ pour cette tâche. GPT-5.2 coûte environ 0,07 $, Opus 4.5 environ 0,09 $ et GPT-5.2 Pro environ 0,41 $.
En conclusion, pour les tâches de codage quotidiennes, le modèle Opus 4.5 semble être le plus performant. DeepSeek V3.2 représente une alternative économique intéressante pour les développeurs disposant d’un budget limité et prêts à investir du temps dans le débogage. GPT-5.2 Pro, bien que puissant, semble plus adapté aux problèmes complexes nécessitant un raisonnement avancé plutôt qu’aux tâches de codage simples.
N’hésitez pas à reproduire ce test en utilisant l’instruction partagée et à partager vos propres résultats. Natasha Selvaraj est une data scientist autodidacte passionnée par l’écriture et la science des données. Vous pouvez la contacter sur LinkedIn ou consulter sa chaîne YouTube.