Les robots sont désormais mieux armés pour comprendre leur environnement grâce à une nouvelle base de données développée par des chercheurs de l’Université d’État de l’Ohio. Cette avancée, baptisée RoboSpatial, promet d’améliorer significativement la perception spatiale des machines et leur capacité à interagir avec le monde réel.
Jusqu’à présent, l’un des principaux obstacles au développement de robots véritablement autonomes résidait dans leur difficulté à interpréter l’espace qui les entoure. Contrairement aux humains, dotés d’une perception visuelle instinctive, les robots peinaient à saisir les relations spatiales complexes et à manipuler les objets de manière efficace. La plupart des modèles d’apprentissage automatique étaient entraînés sur des données qui manquaient de cette compréhension spatiale sophistiquée.
RoboSpatial se distingue par son approche innovante. La base de données combine plus d’un million d’images réelles d’intérieurs et de tables avec des milliers de numérisations 3D détaillées, le tout enrichi de 3 millions d’annotations décrivant des informations spatiales pertinentes pour la robotique. Elle associe des images en vue subjective (égocentriques) à des scans 3D complets de la même scène, permettant aux modèles d’apprendre à identifier les objets en utilisant à la fois la reconnaissance d’images et la géométrie en trois dimensions.
« Pour disposer de modèles de base à usage général, un robot doit comprendre le monde en 3D », explique Chanson de Lucqui, doctorant en ingénierie à l’Université d’État de l’Ohio et auteur principal de l’étude. « RoboSpatial permet de tester rigoureusement ces capacités de raisonnement spatial dans des tâches robotiques concrètes. »
Les premiers résultats sont encourageants. Les robots entraînés avec RoboSpatial ont démontré une performance supérieure à celle des modèles de référence dans des tâches complexes, notamment la relocalisation d’objets et la généralisation à de nouveaux scénarios de raisonnement spatial. Par exemple, alors que les systèmes existants peuvent identifier un « bol sur la table », RoboSpatial permettrait à un robot de déterminer sa position exacte, son accessibilité et son interaction avec d’autres éléments présents sur la table.
L’équipe de recherche a testé ce nouveau cadre sur un robot d’assistance, Jacoqui, conçu pour aider les personnes handicapées. Pendant l’entraînement, le robot a pu répondre correctement à des questions spatiales simples, telles que « La chaise peut-elle être placée devant la table ? » ou « La tasse est-elle à gauche de l’ordinateur portable ? »
Selon Song, ces avancées pourraient conduire à des systèmes d’intelligence artificielle plus sûrs et plus fiables. « Je pense que nous verrons de nombreuses améliorations significatives et des capacités intéressantes pour les robots au cours des cinq à dix prochaines années », a-t-il déclaré.
L’étude a été présentée lors de la Conférence sur la vision par ordinateur et la reconnaissance de formes et publiée dans les actes de la Conférence IEEE/CVF 2025 sur la vision par ordinateur et la reconnaissance de formes (CVPR).
Les co-auteurs de l’étude incluent Yu Su de l’Université d’État de l’Ohio, ainsi que Walt Bluky, Jonathan Tremblay, Stephen Tyree et Stan Birchfield de Nvidia.