Les robots de tennis de table DeepMind s’entraînent mutuellement

À peine une journée se passe sans de nouvelles plateformes robotiques impressionnantes émergeant des laboratoires académiques et commerciaux startups mondial. Robots humanoïdes en particulier, semblent de plus en plus capables de nous aider usines Et finalement dans les maisons et hôpitaux. Pourtant, pour que ces machines soient vraiment utiles, elles ont besoin de «cerveaux» sophistiqués pour contrôler leurs corps robotiques. Traditionnellement, programmation Les robots implique que les experts passent d’innombrables heures à scripter méticuleusement des comportements complexes et à régler de manière exhaustive les paramètres, tels que les gains de contrôleur ou planification des mouvements poids, pour atteindre les performances souhaitées. Alors que apprentissage automatique Les techniques (ML) sont prometteuses, les robots qui ont besoin d’apprendre de nouveaux comportements complexes nécessitent toujours une surveillance humaine substantielle et une réingénierie. À Google Deepmindnous nous sommes demandé: comment permettre aux robots d’apprendre et d’adapter de manière plus holistique et continue, réduisant le goulot d’étranglement d’une intervention experte pour chaque amélioration significative ou nouvelle compétence?

Cette question a été un moteur de notre robotique recherche. Nous explorons des paradigmes où deux agents robotiques qui jouent les uns contre les autres peuvent atteindre un plus grand degré d’auto-amélioration autonome, en déplaçant au-delà des systèmes qui sont simplement préprogrammés avec des modèles ML fixes ou étroitement adaptatifs envers les agents qui peuvent acquérir un large éventail de compétences au travail. S’appuyer sur nos travaux précédents dans ML avec des systèmes comme Alphago et Alphafoldnous avons tourné notre attention vers le sport exigeant de Table du tennis comme banc d’essai.

Nous avons choisi la table tennis Précisément parce qu’il résume bon nombre des défis les plus difficiles en robotique dans un environnement contraint, mais très dynamique. Le tennis de table nécessite un robot pour maîtriser une confluence de compétences difficiles: au-delà de la simple perception, il exige un contrôle exceptionnellement précis pour intercepter le ballon à l’angle et à la vitesse corrects, et implique la prise de décision stratégique pour dépasser un adversaire. Ces éléments en font un domaine idéal pour développer et évaluer un apprentissage robuste algorithmes qui peut gérer l’interaction en temps réel, la physique complexe, le raisonnement de haut niveau et la nécessité de stratégies adaptatives–Capacités directement transférables à des applications telles que la fabrication et même des paramètres de maison potentiellement non structurés.

Le défi d’auto-amélioration

Les approches d’apprentissage automatique standard échouent souvent lorsqu’il s’agit de permettre un apprentissage autonome continu. L’apprentissage de l’imitation, où un robot apprend en imitant un expert, nous oblige généralement à fournir un grand nombre de démonstrations humaines pour chaque compétence ou variation; Cette dépendance à l’expert collecte de données devient un goulot d’étranglement important si nous voulons que le robot apprenne continuellement de nouvelles tâches ou affinez ses performances au fil du temps. De la même manière, apprentissage du renforcementqui forme des agents par des essais et des erreurs guidés par des récompenses ou des punitions, nécessite souvent que les concepteurs humains conçoivent méticuleusement des fonctions de récompense mathématique complexes pour capturer avec précision les comportements souhaités pour les tâches à multiples facettes, puis les adapter car le robot a besoin pour améliorer ou apprendre de nouvelles compétences, limiter l’évolution. Essentiellement, ces deux méthodes bien établies impliquent traditionnellement une implication humaine substantielle, surtout si l’objectif est que le robot s’améliore continuellement au-delà de sa programmation initiale. Par conséquent, nous avons posé un défi direct à notre équipe: les robots peuvent-ils apprendre et améliorer leurs compétences avec une intervention humaine minimale ou pas pendant la boucle d’apprentissage et d’amélioration?

Apprendre à travers la compétition: robot vs robot

Une approche innovante que nous avons explorée reflète la stratégie utilisée Alphago: Demandez aux agents d’apprendre en rivalisant avec eux-mêmes. Nous avons expérimenté avec deux armes du robot jouer au tennis de table les uns contre les autres, un idée simple mais puissante: comme un robot découvre une meilleure stratégie, son adversaire est obligé de s’adapter et de s’améliorer, créant un cycle d’escalade de compétences.

https://www.youtube.com/watch?v=b9_oytzkwv8 Profondeur

Pour permettre la formation approfondie nécessaire pour ces paradigmes, nous avons conçu un environnement de tennis de table entièrement autonome. Cette configuration a permis un fonctionnement continu, avec une collection de balles automatisée ainsi que surveillance à distance et le contrôle, nous permettant d’exécuter des expériences pendant de longues périodes sans implication directe. Dans une première étape, nous avons réussi à former un agent de robot (reproduit sur les deux robots indépendamment) en utilisant l’apprentissage du renforcement dans la simulation pour jouer des rassemblements coopératifs. Nous avons affiné l’agent pendant quelques heures dans la configuration Robot-VS-Robot du monde réel, ce qui a donné une politique capable de tenir de longs rassemblements. Nous sommes ensuite passés à la lutte contre la pièce compétitive Robot-VS-Robot.

Hors de la boîte, l’agent coopératif n’a pas bien fonctionné dans le jeu compétitif. Cela était prévu, car dans le jeu coopératif, les rallyes s’installeraient dans une zone étroite, limitant la distribution des balles que l’agent peut riposter. Notre hypothèse était que si nous continuions de nous entraîner avec un jeu de compétition, cette distribution se développera lentement alors que nous récompenses chaque robot pour avoir battu son adversaire. Bien que prometteurs, les systèmes de formation par l’auto-play concurrentiel dans le monde réel ont présenté des obstacles importants – l’augmentation de la distribution s’est avérée assez drastique étant donné les contraintes de la taille limitée du modèle. Essentiellement, il était difficile pour le modèle d’apprendre à gérer efficacement les nouveaux coups sans oublier de vieux tirs, et nous avons rapidement frappé un minima local dans la formation où après un court rallye, un robot atteindrait un gagnant facile et le deuxième robot n’a pas pu le retourner.

Alors que le jeu compétitif du robot sur robot est resté une noix difficile à casser, notre équipe a également enquêté Comment jouer contre les humains de manière compétitive. Dans les premiers stades de la formation, les humains ont fait un meilleur travail pour maintenir le ballon en jeu, augmentant ainsi la distribution des prises de vue dont le robot pouvait apprendre. Nous devions encore développer une architecture politique composée de contrôleurs de bas niveau avec leurs descripteurs de compétences détaillés et un contrôleur de haut niveau qui choisit les compétences de bas niveau, ainsi que des techniques pour permettre une approche SIM-To-Ro-Ro-Shot zéro pour permettre à notre système de s’adapter aux adversaires invisibles en temps réel. Dans une étude des utilisateurs, alors que le robot a perdu tous ses matchs contre les joueurs les plus avancés, il a remporté tous ses matchs contre les débutants et environ la moitié de ses matchs contre les joueurs intermédiaires, démontrant des performances de niveau humain solidement amateur. Équipés de ces innovations, plus un meilleur point de départ que le jeu coopératif, nous sommes dans une excellente position pour revenir à la formation compétitive Robot-VS-Robot et continuer à évoluer rapidement.

https://www.youtube.com/watch?v=eqql-jqxtoeProfondeur

L’entraîneur AI: les VLMs entrent dans le jeu

Une deuxième idée intrigante que nous avons étudiée exploite la puissance de Modèles de langue de vision (VLMS)comme des Gémeaux. Un VLM pourrait-il agir en tant qu’entraîneur, observant un joueur de robot et fournir des conseils pour l’amélioration?

Profondeur

Un aperçu important de ce projet est que les VLM peuvent être exploités pour explicable recherche de stratégie de robot. Sur la base de ces informations, nous avons développé le Invite SAS (Résumer, analyser, synthétiser), une seule invite qui permet l’apprentissage itératif et l’adaptation du comportement du robot en tirant parti de la capacité du VLM à récupérer, à raisonner et à optimiser pour synthétiser un nouveau comportement. Notre approche peut être considérée comme un exemple précoce d’une nouvelle famille de méthodes de recherche de politique explicables qui sont entièrement mises en œuvre au sein d’un LLM. De plus, il n’y a pas de fonction de récompense – le VLM déduit la récompense directement des observations étant donné la description de la tâche. Le VLM peut ainsi devenir un entraîneur qui analyse constamment les performances de l’élève et fournit des suggestions sur la façon de s’améliorer.

Profondeur

Vers une robotique vraiment apprise: une perspective optimiste

Aller au-delà des limites de la programmation traditionnelle et des techniques ML est essentiel pour l’avenir de la robotique. Les méthodes permettant une auto-amélioration autonome, comme celles que nous développons, réduisent la dépendance à un effort humain minutieux. Nos projets de tennis de table explorent des voies vers des robots qui peuvent acquérir et affiner des compétences complexes de manière plus autonome. Alors que des défis importants persistent – stabiliser l’apprentissage robot-vs-robot et la mise à l’échelle du coaching basé sur VLM sont des tâches formidables – ces approches offrent une opportunité unique. Nous sommes optimistes selon lesquels la recherche continue dans ce sens conduira à des machines plus compétentes et adaptables qui peuvent acquérir les diverses compétences nécessaires pour fonctionner efficacement et en toute sécurité dans notre monde non structuré. Le voyage est complexe, mais le gain potentiel de partenaires robotiques vraiment intelligents et utiles en vaut la peine.

Les auteurs expriment leur plus profonde appréciation au Google Deepmind Robotics Team et en particulier David B. d’Ambrosio, Saminda Abeyruwan, Laura Graesser, Atil Iscen, Alex Bewley et Krista Reymann pour leurs contributions inestimables au développement et au raffinement de ce travail.