Google DeepMind a réalisé un exploit impressionnant en entraîner de petits robots prêts à l’emploi pour participer à des matchs de soccer. Dans une publication récente dans Robotique scientifiqueles chercheurs détaillent leur approche innovante, tirant parti de l’apprentissage par renforcement profond (deep RL) pour enseigner aux robots bipèdes une model simplifiée du sport.
Contrairement aux expériences précédentes axées sur des robots quadrupèdes, les travaux de DeepMind démontrent un progrès significatif dans la formation de machines humanoïdes à deux pattes pour des tâches physiques dynamiques.
Le succès du framework RL profond de DeepMind dans la maîtrise de jeux comme les échecs et le go a été bien documenté. Cependant, ces réalisations ont principalement nécessité une réflexion stratégique plutôt qu’une coordination physique. Avec l’adaptation de Deep RL aux robots jouant au soccer, DeepMind démontre sa capacité à relever efficacement des défis physiques complexes.
Les ingénieurs ont d’abord entraîné les robots dans des simulations informatiques, en se concentrant sur deux ensembles de compétences clés : se relever du sol et marquer des buts contre un adversaire. En combinant ces compétences et en introduisant des scénarios de match simulés, les robots ont appris à jouer des matchs de soccer complets en tête-à-tête. Grâce à un entraînement itératif, ils ont progressivement amélioré leurs capacités, notamment en matière de coups de pied, de tir, de défense et de réaction aux actions de leurs adversaires.
Au cours des checks, les robots entraînés en profondeur par RL ont démontré une agilité et une efficacité remarquables par rapport à leurs homologues scriptés non adaptables. Ils ont présenté des comportements émergents tels que le pivotement et la rotation, qui sont difficiles à préprogrammer. Cependant, ces checks reposaient uniquement sur une formation basée sur la simulation, les efforts futurs visant à intégrer une formation par renforcement en temps réel pour améliorer encore l’adaptabilité des robots.
Bien que la technologie soit prometteuse, il reste encore des obstacles à surmonter avant que les robots propulsés par DeepMind puissent participer à des événements comme la RoboCup. La mise à l’échelle des robots et le perfectionnement de leurs capacités nécessiteront des expérimentations et des perfectionnements approfondis. Néanmoins, les travaux pionniers de DeepMind soulignent le potentiel de la RL profonde pour améliorer les mouvements et l’adaptabilité des robots bipèdes dans des scénarios du monde réel.
