Publié le 17 janvier 2026 15h34. Les intelligences artificielles peinent encore à saisir le monde qui les entoure, produisant parfois des erreurs grossières. Des chercheurs travaillent désormais à doter ces systèmes de modèles du monde plus sophistiqués, ouvrant la voie à des avancées majeures dans des domaines aussi variés que la robotique et la réalité augmentée.
- Les modèles d’IA actuels, comme ceux qui alimentent ChatGPT, sont basés sur la prédiction statistique et manquent d’une compréhension profonde du monde réel.
- Le développement de « modèles mondiaux » en quatre dimensions (4D) permet de créer des représentations 3D dynamiques et interactives de l’environnement.
- Ces avancées pourraient être cruciales pour l’atteinte d’une intelligence artificielle générale (AGI) capable de raisonner et d’agir de manière autonome dans le monde physique.
Vous avez probablement déjà observé des incohérences flagrantes dans les créations des intelligences artificielles. Par exemple, en demandant à un système de générer une vidéo d’un chien, on peut assister à des anomalies visuelles, comme la disparition soudaine du collier de l’animal ou la transformation d’un canapé en causeuse. Ces erreurs révèlent une limite fondamentale des modèles d’IA actuels : leur incapacité à construire une représentation cohérente et stable du monde.
Une partie du problème réside dans la nature prédictive de ces systèmes. Les modèles qui propulsent des outils comme ChatGPT sont entraînés à anticiper le texte le plus probable, tandis que les modèles de génération vidéo prédisent les images qui suivront logiquement. Dans les deux cas, l’IA ne dispose pas d’un modèle du monde clairement défini, qu’elle pourrait mettre à jour en permanence pour prendre des décisions plus éclairées.
Cependant, la situation évolue rapidement. Des chercheurs de divers domaines de l’IA s’attellent à la création de ces « modèles mondiaux », avec des implications qui dépassent largement la simple génération de vidéos ou l’utilisation de chatbots. Ces avancées pourraient révolutionner la robotique, les véhicules autonomes et même notre compréhension de l’intelligence artificielle générale (AGI).
Pour comprendre la modélisation du monde, on peut imaginer des modèles en quatre dimensions (4D), c’est-à-dire trois dimensions plus le temps. Prenons l’exemple du film Titanic, converti en 3D stéréoscopique quinze ans après sa sortie initiale. En figeant une image, on perçoit une impression de profondeur entre les personnages et les objets du navire. Mais si Leonardo DiCaprio se tourne vers le spectateur, il est impossible de faire le tour du personnage pour voir son visage. La 3D au cinéma repose sur la stéréoscopie, qui projette deux images légèrement différentes, une pour chaque œil, créant ainsi une illusion de perspective. Tous les spectateurs voient la même paire d’images et donc une perspective similaire.
La possibilité d’obtenir des perspectives multiples est désormais à portée de main grâce aux recherches menées au cours de la dernière décennie. Imaginez pouvoir réaliser que vous auriez dû prendre une photo sous un angle différent, puis demander à l’IA de corriger cet angle, offrant ainsi une nouvelle perspective sur la même scène. À partir de 2020, les algorithmes NeRF (Neural Radiance Fields, ou champs de radiance neuronaux) ont ouvert la voie à la création de « vues synthétiques photoréalistes », mais nécessitaient la combinaison de nombreuses photos pour qu’un système d’IA puisse générer une représentation 3D. D’autres approches utilisent l’IA pour compléter les informations manquantes, s’éloignant ainsi de la réalité.
Imaginez maintenant que chaque image de Titanic soit représentée en 3D, transformant ainsi le film en une expérience 4D. Vous pourriez faire défiler le temps pour voir différents moments ou explorer l’espace pour observer la scène sous différents angles. Il serait même possible de générer de nouvelles versions du film. Une récente prépublication, intitulée « NeoVerse : amélioration du modèle mondial 4D avec des vidéos monoculaires en pleine nature », décrit une méthode pour transformer des vidéos en modèles 4D, permettant ainsi de générer de nouvelles vidéos sous différents points de vue. Ce système permettrait d’éviter les incohérences observées dans les vidéos générées par les IA actuelles, comme la transformation d’une causeuse en canapé ou la disparition du collier du chien.
Une autre prépublication, « TeleWorld : vers une synthèse multimodale dynamique avec un modèle du monde 4D », s’applique au scénario initial : le chien courant derrière la causeuse. Les auteurs affirment que la stabilité des systèmes vidéo IA s’améliore lorsqu’un modèle mondial 4D, constamment mis à jour, guide la génération des images.
Ces résultats préliminaires suggèrent une tendance plus large : des modèles qui mettent à jour une carte interne de la scène au fur et à mesure de leur fonctionnement. La modélisation 4D a de nombreuses applications au-delà de la génération vidéo. Pour la réalité augmentée (RA) – comme les prototypes de lunettes Orion de Meta – un modèle du monde 4D constitue une carte évolutive de l’environnement de l’utilisateur, permettant aux systèmes RA de maintenir la stabilité des objets virtuels, de rendre l’éclairage et la perspective crédibles et de conserver une mémoire spatiale des événements récents. Cela permet également les occultations, où les objets numériques disparaissent derrière des objets réels. Une étude de 2023 souligne l’importance d’un modèle 3D de l’environnement pour réaliser les occultations.
La capacité à convertir rapidement des vidéos en 4D fournit également des données précieuses pour former les robots et les véhicules autonomes à fonctionner dans le monde réel. En générant des modèles 4D de leur environnement, les robots pourraient mieux s’orienter et anticiper les événements futurs. Les modèles d’IA actuels, qui comprennent les images et le texte mais ne génèrent pas de modèles mondiaux clairement définis, commettent souvent des erreurs. Une étude de référence présentée lors d’une conférence en 2025 révèle des « limitations frappantes » dans leurs capacités de modélisation du monde, notamment une « précision quasi aléatoire lors de la distinction des trajectoires de mouvement ».
Le concept de « modèle mondial » revêt une importance encore plus grande pour ceux qui recherchent l’AGI. Les principaux modèles de langage actuels, tels que ceux qui alimentent ChatGPT, possèdent une idée implicite du monde à partir des données sur lesquelles ils ont été entraînés.
« D’une certaine manière, je dirais que le LLM dispose déjà d’un très bon modèle mondial ; c’est juste que nous ne comprenons pas vraiment comment il fonctionne. »
Angjoo Kanazawa, professeur adjoint de génie électrique et d’informatique à l’Université de Californie à Berkeley
Cependant, ces modèles conceptuels ne permettent pas une compréhension physique du monde en temps réel, car ils ne peuvent pas mettre à jour leurs données d’entraînement en continu. Même le rapport technique d’OpenAI sur GPT-4 reconnaît que le modèle « n’apprend pas de l’expérience » une fois déployé.
« Comment développer un système de vision intelligent qui puisse réellement avoir une entrée en continu, mettre à jour sa compréhension du monde et agir en conséquence ? »
Angjoo Kanazawa, professeur adjoint de génie électrique et d’informatique à l’Université de Californie à Berkeley
C’est un défi majeur. Je pense que l’AGI n’est pas possible sans résoudre ce problème.
Bien que certains chercheurs se demandent si les LLM pourraient un jour atteindre l’AGI, beaucoup les considèrent comme un composant des futurs systèmes d’IA. Le LLM servirait de couche pour « le langage et le bon sens pour communiquer », tandis qu’un modèle mondial sous-jacent plus clairement défini fournirait la « mémoire spatio-temporelle » qui manque aux LLM actuels.
Ces dernières années, de nombreux chercheurs en IA de renom se sont tournés vers les modèles mondiaux. En 2024, Fei Fei Li a fondé World Labs, qui a récemment lancé son logiciel Marble pour créer des mondes 3D à partir de « texte, d’images, de vidéos ou de mises en page 3D grossières », selon le matériel promotionnel de la start-up. Yann LeCun, figure emblématique de l’IA, a annoncé sur LinkedIn en novembre 2024 qu’il quittait Meta pour lancer une start-up, désormais appelée Advanced Machine Intelligence (AMI Labs), afin de construire « des systèmes qui comprennent le monde physique, ont une mémoire persistante, peuvent raisonner et planifier des séquences d’action complexes ». Il avait déjà exposé ces idées dans une publication de 2022, dans laquelle il se demandait pourquoi les humains sont capables d’agir efficacement dans des situations inédites et soutenait que la réponse « pourrait résider dans la capacité… d’apprendre des modèles du monde, des modèles internes du fonctionnement du monde ». Les recherches confirment de plus en plus les avantages des modèles internes. Une étude parue dans Nature en avril 2025 a rapporté les résultats obtenus avec DreamerV3, un agent d’IA qui, en apprenant un modèle du monde, peut améliorer son comportement en « imaginant » des scénarios futurs.
Dans le contexte de l’AGI, le « modèle mondial » fait davantage référence à un modèle interne du fonctionnement de la réalité, et pas seulement à des reconstructions 4D. Les progrès de la modélisation 4D pourraient fournir des éléments constitutifs qui aident à comprendre les points de vue, la mémoire et même les prévisions à court terme. Et, sur la voie de l’AGI, les modèles 4D peuvent fournir de riches simulations de la réalité dans lesquelles tester les IA pour garantir qu’elles savent comment fonctionner dans le monde réel.