Google DeepMind a présenté Genie 4, un modèle mondial de pointe conçu pour générer des environnements tridimensionnels immersifs dotés d’un audio natif, d’une physique améliorée et d’un guidage utilisateur interactif en temps réel. Dévoilé en version préliminaire de recherche, le modèle s’intègre étroitement à la famille Gemini pour maintenir une continuité physique et une cohérence à travers les simulations.
Les quatre piliers de Genie 4 et sa simulation en temps réel
L’intelligence artificielle franchit un nouveau cap avec l’annonce de Genie 4 par Google DeepMind. Contrairement aux versions précédentes, ce modèle va bien au-delà de la simple génération vidéo en offrant une interaction directe et en temps réel. Les utilisateurs peuvent utiliser des commandes textuelles en langage naturel associées à des contrôles clavier pour modifier la scène à la volée. Il devient ainsi possible de modifier la météo, de pivoter la caméra ou d’ajouter de nouveaux objets et personnages sans briser la cohérence visuelle.
La simulation intègre également la génération de sons en direct. Chaque univers virtuel produit un paysage sonore ambiant, allant du murmure du vent aux bruits de vagues, tout en permettant des dialogues interactifs avec des personnages virtuels.
Avec Genie 4, les utilisateurs cessent d’être de simples spectateurs. Des bruits de fond naturels et des discours interactifs permettent aux personnages virtuels de converser et de réagir en temps réel aux interventions des utilisateurs.
Le bond en avant le plus spectaculaire réside dans la manière dont Genie 4 simule les personnes, créant des personnages qui se déplacent naturellement, réagissent de façon organique à leur environnement et peuvent être guidés interactivement en temps réel.
Raia Hadsell, Diego Rivas et Hang Qi, Google DeepMind
L’intégration de l’écosystème Gemini et la recherche en robotique
Sous le capot, Genie 4 s’appuie sur plusieurs modèles de l’écosystème Google pour orchestrer son raisonnement et ses graphismes. Le modèle Gemini Omni ancre les simulations dans un aspect visuel réaliste, tandis que Gemini 3.8 Flash intervient comme agent de guidage pour découper les objectifs complexes en étapes successives et évaluer chaque image produite.
Cette coordination permet de maintenir la stabilité d’une scène pendant un court laps de temps, bien que DeepMind relève que les environnements finissent par oublier leurs points de départ après quelques minutes. En outre, la technologie conserve la faculté de modifier les paramètres en cours de route.
En parallèle, les chercheurs explorent les applications du modèle dans le domaine de la robotique. Dans le cadre d’une expérience de recherche liée à Gemini Robotics, un modèle Gemini 4 Argon a décomposé des tâches en plusieurs étapes que Genie 4 a simulées simultanément, illustrant une méthode potentielle pour tester des scénarios robotiques dans un environnement virtuel sécurisé avant toute mise en application physique.
Gemini observe en continu la scène, décompose les objectifs en une séquence d’étapes et examine les images entrantes pour suivre la progression et vérifier la réussite de chaque étape.
Raia Hadsell, Diego Rivas et Hang Qi, Google DeepMind
Ce que nous verrons de plus en plus à l’avenir, ce sont ces modèles mondiaux hybrides, où l’on trouve une combinaison de Gemini rédigeant du code et du texte, et de Genie assimilant cela en temps réel pour simuler la réalité à différents niveaux d’abstraction.
Tejas Kulkarni, directeur de recherche chez Google
De la phase de test initiale au déploiement commercial
Pour l’instant, Genie 4 est accessible sous forme de recherche préliminaire pour un groupe restreint de testeurs de confiance.
Les usages potentiels ciblent la robotique, les agents autonomes ainsi que des outils créatifs pour le cinéma, le journalisme, le jeu vidéo et l’industrie. Les équipes soulignent également les limites actuelles du système, comprenant la dérive des détails au fil de la simulation, de légères incertitudes sur la fidélité de l’audio et la lisibilité du texte intégré.
L’aspect temps réel devient particulièrement précieux dans les domaines où il est incroyablement utile de maintenir un état de flux dans l’espace de créativité.
Diego Rivas, ingénieur chez Google DeepMind