Les robots à usage général sont difficiles à entraîner. Le rêve est d’avoir un robot comme la Rosie de Jetson qui peut effectuer une gamme de tâches ménagères, comme ranger ou plier la lessive. Mais pour que cela se produise, le robot doit apprendre d’une grande quantité de données qui correspondent aux conditions du monde réel – que les données peuvent être difficiles à collecter. Actuellement, la plupart des données de formation sont collectées à partir de plusieurs caméras statiques qui doivent être soigneusement configurées pour recueillir des informations utiles. Mais que se passe-t-il si les bots pouvaient apprendre des interactions quotidiennes que nous avons déjà avec le monde physique?
C’est une question que la robotique à usage général et le laboratoire AI de l’Université de New York, dirigée par le professeur adjoint Lerrel Pinto, espère répondre avec Egozero, un système de verre intelligent qui aide l’apprentissage des robots en collectant des données avec une version gonflée des verres de Meta.
Dans une récente préparation, qui sert de preuve de concept à l’approche, les chercheurs ont formé un robot pour effectuer sept tâches de manipulation, comme ramasser un morceau de pain et le placer sur une assiette voisine. Pour chaque tâche, ils ont collecté 20 minutes de données chez les humains effectuant ces tâches tout en enregistrant leurs actions avec des lunettes de Meta’s Project Aria. (Ces lunettes chargées de capteurs sont utilisées exclusivement à des fins de recherche.) Lorsqu’il est ensuite déployé pour effectuer de manière autonome ces tâches avec un robot, le système a atteint un taux de réussite de 70%.
L’avantage des données égocentriques
La partie «ego» d’Egozero fait référence à la nature «égocentrique» des données, ce qui signifie qu’elle est collectée du point de vue de la personne effectuant une tâche. «La caméra se déplace avec vous», comme la façon dont nos yeux se déplacent avec nous, explique Raunaq Bhirangi, chercheur postdoctoral au NYU Lab.
Cela présente deux principaux avantages: premièrement, la configuration est plus portable que les caméras externes. Deuxièmement, les lunettes sont plus susceptibles de capturer les informations nécessaires car les porteurs s’assureront qu’ils – et donc la caméra – peuvent voir ce qui est nécessaire pour effectuer une tâche. «Par exemple, disons que j’avais quelque chose de accroché sous une table et que je veux le décrocher. Je me plierais, je regarderais ce crochet, puis le décrocher, par opposition à une caméra à la troisième personne, qui n’est pas active», explique Bhirangi. «Avec cette perspective égocentrique, vous obtenez gratuitement ces informations dans vos données.»
La seconde moitié du nom d’Egozero fait référence au fait que le système est formé sans aucune donnée de robot, qui peut être coûteuse et difficile à collecter; Les données humaines à elles seules suffisent pour que le robot apprenne une nouvelle tâche. Ceci est activé par un cadre développé par le laboratoire de Pinto qui suit les points dans l’espace, plutôt que par des images complètes. Lors de la formation de robots sur des données basées sur l’image, «l’inadéquation est trop grande entre à quoi ressemblent les mains humaines et à quoi ressemblent les armes des robots», explique Bhirangi. Ce cadre suit plutôt les points sur la main, qui sont cartographiés sur des points sur le robot.
Le système Egozero prend les données des humains portant des lunettes intelligentes et les transforme en données de navigation 3D utilisables pour que les robots effectuent des tâches de manipulation générale. Vincent Liu, Ademi Adeniji, Haotian Zhan, et al.
La réduction de l’image en points dans l’espace 3D signifie que le modèle peut suivre le mouvement de la même manière, quel que soit l’appendice robotique spécifique. «Tant que les points robots se déplacent par rapport à l’objet de la même manière que les points humains bougent, nous sommes bons», explique Bhirangi.
Tout cela conduit à un modèle généralisable qui nécessiterait autrement de nombreuses données de robot diverses pour s’entraîner. Si le robot a été formé sur les données en train de ramasser un pain – disons, un lapin de charcuterie – il peut généraliser ces informations pour ramasser un morceau de ciabatta dans un nouvel environnement.
Une solution évolutive
En plus d’Egozero, le groupe de recherche travaille sur plusieurs projets pour aider à faire des robots à usage général une réalité, notamment des conceptions de robots open source, des capteurs tactiles flexibles et des méthodes supplémentaires de collecte de données de formation réel.
Par exemple, comme alternative à Egozero, les chercheurs ont également conçu une configuration avec une grippe portable imprimée en 3D qui ressemble plus étroitement à la plupart des «mains» de robot. Un smartphone attaché au Gripper capture la vidéo avec la même méthode d’espace de point qui est utilisée dans Egozero. L’équipe, en demandant aux gens de collecter des données sans amener un robot chez eux, fournissent deux approches qui pourraient être plus évolutives pour collecter des données de formation.
Cette évolutivité est finalement l’objectif du chercheur. Les modèles de grandes langues peuvent exploiter l’ensemble de l’Internet, mais il n’y a pas d’équivalent Internet pour le monde physique. Appuyer sur les interactions quotidiennes avec des lunettes intelligentes pourrait aider à combler cette lacune.
À partir des articles de votre site
Articles connexes sur le Web
À ne pas manquer
