Science Robotics封面！DeepMind强化学习打造超一流机器人球员
新智元报道
编辑：wewe【新智元导读】双足机器人运动技能突破！谷歌DeepMind创新深度强化学习框架，赋能仿人机器人全身控制，征战足球赛场。机器人展现惊人动态技能，跌倒自恢复，战术防守样样精通。
AI和机器人专家的长远目标，是创造出具有一般具身智能的代理，它们能够像动物或人类一样，在物理世界中灵活、巧妙地行动。这不仅涉及流畅的动作组合，还包括对环境的感知与理解，以及利用身体实现复杂目标的能力。
ROBOTIS OP3机器人平台
研究人员采用ROBOTIS OP3机器人平台，这款微型仿人机器人经济实惠，拥有20个可控关节，其灵活性足以应对复杂的足球动作。在训练中，机器人仅依靠板载传感器如关节位置加速计和陀螺仪来感知环境，并通过板载计算机计算目标关节角度，实现精准的动作执行。为了确保机器人能够实时掌握球场动态，研究团队还使用了实时运动捕捉系统，实时监测两个机器人和球的位置。简化足球比赛验证技能与策略
为了测试这些技能的实战效果，研究人员精心设计了一场简化的单对单足球比赛。在这个竞技场上，两位「选手」——两台仿人足球机器人，展开了激烈的较量。球赛的规则为：进球者获得奖励，过于靠近对手则会受到惩罚。这种巧妙的游戏设定，使得机器人能够在不断试错中，逐步学会如何在激烈的对抗中保持优势。Teacher策略提炼与Student策略集成
在训练过程中，研究人员采用了分布式MPO这一非策略强化学习算法，对机器人进行了多阶段的仿真训练。仿真训练对于机器人技能的磨练至关重要，但如何确保这些技能能够安全稳健地应用于真实机器人，是另一个巨大的挑战。为此，研究团队在训练和仿真中加入了多种噪音，如观测噪音和仿真动力学模型扰动，以增强机器人的鲁棒性。
实战表现展现高层次战略意识
经过这一系列训练，机器人展现出了令人惊叹的足球技能。