能玩3D游戏的AI玩家！谷歌新智能体SIMA发布，但水平还在“新手村”
编译|伊风
世界上第一位AI程序员Devin诞生，让大家纷纷转发感叹“饭碗保不住”。
一转眼，具有里程碑意义的AI玩家也来了！谷歌（Google）旗下DeepMind发布新智能体SIMA。
SIMA不同于自己的AI前辈们（例如一生都在下围棋的AlphaGo），AI从被训练玩一个单独的游戏解脱出来，第一次成为了可玩所有游戏的、能接受指导的游戏AI代理。
可以想见未来的AI，完全可以编个游戏给自己玩，再指导自己在游戏中进行操作和升级。
回到现实，SIMA目前的游戏水平还比较“菜”。
但是SIMA能理解自然语言，并在多个视频游戏环境中执行任务的意义却是深刻的——AI如果能在虚拟环境中能展现自己泛化和执行复杂任务的潜力，那么这种能力就有望复刻到现实世界，并最终指向AGI与“世界模型”。
玩游戏，从观看视频学起
为了教会SIMA玩游戏，DeepMind与八家游戏工作室合作，只为给孩子带来最好的游戏环境。
SIMA在九款不同的视频游戏上进行训练和测试，Hello Games的《无人深空》、Tuxedo Labs的《拆解》他都玩过。不同的游戏给都SIMA打开了新奇的互动世界，每款游戏又匹配了需要学习的不同技能，从简单的导航、菜单使用，到采矿资源、驾驶宇宙飞船或制作头盔。
DeepMind还构建了四个研究环境，甚至包括与Unity合作建立的Construction Lab，SIMA学习怎么用积木搭造雕塑，训练他的对象操作能力和对物理世界的直观理解——听起来很像一个小孩。
通过在不同的游戏世界里进行训练，SIMA了解了语言如何与游戏中的行为相联系。第一个训练方式是观看玩家指导另一个玩家进行游戏的视频，以学习语言和游戏操作的关系。DeepMind还让玩家自由玩耍，然后给SIMA回放他们的行为并标注可能指导他们游戏行动的语言指令。
SIMA包括预训练的视觉模型和一个主模型，该模型包括记忆并输出键盘和鼠标动作。
SIMA：一个多才多艺的AI代理
SIMA是一个能够感知和理解各种环境，然后采取行动实现指导目标的AI代理。它包括一个用于精确图像-语言映射的模型和一个视频模型，该模型预测屏幕上接下来会发生什么。DeepMind在SIMA组合中特定的3D设置上对这些模型进行了微调。
SIMA不需要访问游戏的源代码，也不需要特定的API。它只需要两个输入：屏幕上的图像和用户提供的简单自然语言指令。
SIMA使用键盘和鼠标输出来控制游戏的中心角色执行这些指令，就像人类玩游戏的方式一样，这意味着SIMA拥有与任何虚拟环境互动的潜力。
当前版本的SIMA在600项基本技能上进行了评估，涵盖了移动（例如“向左转”）、对象交互（“爬上梯子”）和菜单使用（“打开地图”）。SIMA可以在大约10秒内完成简单的游戏任务。
DeepMind希望SIMA能不断进化。未来的AI玩家需要处理用到“高级战略规划”和包含多个子任务的任务，例如“寻找资源并建立营地”。
这对于AI来说是一个重要的目标，因为尽管大型语言模型已经催生了能够捕捉关于世界的知识并生成计划的强大系统（例如ChatGPT），但它们目前缺乏代表我们采取行动的能力。
强大的泛化能力，SIMA未来可期
从SIMA的表现来看，他证实了一个在多款游戏上训练的代理比只学会了玩一款游戏的AI代理要好。
在评估中，SIMA在训练组合中的九款3D游戏上接受训练的表现要显著优于仅在每款单独游戏上训练的专门代理。更重要的是，在所有游戏中接受训练的SIMA，当他玩一款从未见过的游戏，他的表现几乎与只被训练玩改款游戏的AI代理一样好。
这种在全新环境中展现的能力，突出了SIMA泛化超越其训练的能力。但这只是一个初步结果，作为“宝宝”的SIMA要在游戏中达到人类水平还有很长的路要走。
DeepMind同时发现，SIMA的表现依赖于语言。在一个控制测试中，AI代理没有接受任何语言训练或指令，它的行为是正确的，但是漫无目的。例如，AI代理可能会收集资源，这是一种正常的游戏行为，但却没有走向它被指示应该去做的事情。
DeepMind评估了SIMA遵循指令完成近1500个独特游戏任务的能力，部分使用了人类裁判。作为基线比较，DeepMind使用环境专门化的SIMA代理的表现（在单一环境中训练和评估以遵循指令），并将这一表现与三种类型的通用SIMA代理的表现进行了比较，每种代理都在多个环境中接受训练（上图）。
SIMA的结果展示了开发新一代通用的、语言驱动的AI代理的潜力。这还是早期阶段的研究，SIMA可以在后续的训练中持续学习，并成长和整合更有能力的模型。
DeepMind将SIMA的成长方向定位于更加泛化和多功能。当SIMA拥有对更高级语言指令的理解和行动能力，就能实现更复杂的目标。
也许有一天SIMA可以与人类玩家一战。那么，你愿意选择他作为你的游戏“搭子”吗？