Le méta-apprentissage pour optimiser la communication homme-robot

L’évolution de la robotique va de pair, en outre, avec l‘optimisation des technologies de communication entre les humains et les robots. Une équipe de l’Université de Californie à Berkeley a créé une méthode combinée qui optimise l’interaction personne-machine dans l’apprentissage robotique par imitation.

Les chercheurs du Berkeley Artificial Intelligence Research (BAIR) Lab ont entamé ce travail avec une étude présentée lors du NIPS 2017 Deep Reinforcement Learning Symposium en décembre 2017. Leur but était de créer un système qui facilite l’apprentissage des robots dans une interaction face à face.

L’apprentissage par imitation

Les robots ont appris à nous battre au jeu d’échecs et à nous aider dans plusieurs tâches grâce à deux types de technologies. On peut les programmer pour accomplir des actions bien déterminées; ils peuvent aussi apprendre à exécuter des tâches en nous regardant les faire. Cette deuxième méthode, qui s’inspire du mimétisme, le mode d’apprentissage des êtres vivants, nécessite un travail en amont. Cela consiste à donner au robot les capacités à apprendre par imitation la façon de reproduire une action humaine, qu’il doit appréhender par la perception visuelle. L’apprentissage peut se faire dans un environnement physique ou grâce à la réalité virtuelle.

Or, quel que soit le contexte, cette méthode requiert la réalisation d’un grand nombre de démonstrations afin de déployer une méthode d’apprentissage profond. En effet, l’apprentissage à partir d’entrées visuelles brutes nécessite une quantité importante de données. Les systèmes actuels de reconnaissance des signaux visuels par apprentissage profond utilisent des centaines de milliers d’images pour apprendre à un robot à effectuer une tâche.

D’autres contraintes compliquent le processus d’analyse des données visuelles. Selon les chercheurs, le robot se trouve face à deux difficultés principales. Il doit :

• percevoir et décortiquer les mouvements et l’interaction de l’instructeur avec les objets et l’environnement;
• exécuter les tâches avec des bras dont la structure, le mouvement et la vitesse diffèrent de ceux du corps humain.

Une technologie combinant deux méthodes d’apprentissage profond

La technologie créée par l’équipe combine deux méthodes, à savoir l’apprentissage par imitation et le méta-apprentissage. Ce dernier consiste à doter le robot en amont de métadonnées résultant d’une expérience d’une machine similaire qui a réussi à imiter un être humain en train d’effectuer une tâche. À partir de cette démonstration, le robot apprend à comparer les gestes humains des gestes robotiques. Il s’agit d’une phase d’apprentissage qui lui permet de cerner la tâche, d’apprendre comment analyser les compétences humaines et comment les reproduire. L’algorithme utilisé à cet effet est le modèle agnostique de méta-apprentissage (MAML). Les chercheurs ont adapté des solutions utilisées dans l’apprentissage du langage naturel.

Par la suite, lorsqu’on présente au robot une nouvelle vidéo montrant une personne occupée à faire une autre tâche en manipulant notamment des objets différents, il en déduira qu’il doit reproduire les mêmes gestes pour aboutir au même résultat. De plus, il accomplira la tâche en traduisant les mouvements humains et leurs interactions avec l’environnement en fonction de ses propres capacités motrices et du contexte réel.

Pour évaluer ce système, l’équipe a doté le robot de données d’apprentissage d’un robot en train d’appliquer une peinture murale. Par la suite le robot a regardé une seule vidéo montrant un homme déplaçant un objet afin de réaliser la même tâche.

Prochaine étape

L’équipe veut accroître les capacités d’apprentissage du robot en lui permettant d’apprendre à faire différentes tâches à partir d’une seule démonstration visuelle.

Cette étude s’intitule « One-Shot Imitation from Observing Humans via Domain-Adaptive Meta-Learning ». Elle est coécrite par Tianhe Yu, Chelsea Finn, Annie Xie, Sudeep Dasari, Tianhao Zhang, Pieter Abbeel et Sergey Levine. Elle a été publiée en ligne à la la Cornell University Library.