LeCun墙裂推荐！Meta发布最新AI智能体，贾维斯是你来了吗！

夕小瑶科技说 原创
作者 | 付奶茶

最近Meta的一‍项工作引来LeCun的推荐！

芜湖！贾维斯来了？

Meta发布了Habitat 3.0，这是一款最高质量的模拟器，其允许在类似家庭等环境中进行人机协作。

与此前的AI音箱和机器人相比，我们对AI智能体的想象还是保守了！

Habitat 3.0引入了具有感知能力、可以与环境互动的AI智能体，这些智能体可以与人类合作，并在共享环境中安全地协同工作。研究人员表示，这只是他们宏远计划的第一步，他们的最终目标是开发全天佩戴的增强现实（AR）眼镜，可在日常生活中为人类提供协助。

官方博客：
https://ai.meta.com/blog/habitat-3-socially-intelligent-robots-siro/?continueFlag=af62ed3ae2b36a11b0e8f501867a4e83

博客中介绍了Habitat 3.0的研究工作中重要的进展：

1.Habitat 3.0：支持机器人和人形化身，在日常环境中进行人机协作训练。
2.Habitat合成场景数据集（HSSD-200)，使导航模型在极少场景下取得类似效果。
3.HomeRobo，提供软硬件栈，支持在模拟和真实环境中进行开放词表移动操作任务。

接下来让我们来一起来看看吧！

Habitat 3.0

这是一款最高质量的模拟器，允许在家庭环境中进行人机协作。使用Habitat 3.0训练的AI智能体能够与人类伙伴一起完成像清理房间这样的日常任务，从此做家务不用再愁了！

近年来，Meta一直致力于研究机器人技术，通过在模拟器中开发和测试，然后将智能体转移到物理机器人上，不断推动机器人技术的发展。

• Habitat 1.0训练了虚拟机器人，使其能够以每秒超过10,000个机器人步骤的速度在物理世界房屋的3D扫描中导航。

• Habitat 2.0引入了交互式环境，包括可以拾取的物体和可以打开的抽屉，并通过重新排列物体来训练虚拟机器人来整理房屋。

• Habitat 3.0建立在这些进展之上，支持机器人和人形化身，使它们能够在日常任务中进行人机协作，例如整理客厅或准备厨房的食谱。这为研究在多样、现实且在视觉和语义上丰富的任务中进行人机协作打开了新的研究途径。

此外，Habitat 3.0还支持逼真外观、自然步态和动作的人形化身，以模拟现实中的低、高级互动。这些化身可以通过不同的外设，包括键盘、鼠标以及VR头戴设备，建立学习的策略或者由人类使用人机协作界面来控制。

作者指出模拟器的优点：

（1）强化学习通常需要数百万次迭代才能获得有意义的结果，因此在现实物理世界中进行这些实验可能需要数年时间。然而，在模拟环境中，这些实验可以在几天内完成。

(2) 在现实世界中，在不同的环境中收集数据是不切实际的，因为这需要将机器人移动到不同的地方，建立新的环境认知等。而在模拟环境中，我们可以在不到一秒的时间内更改环境并开始在新环境中进行实验。

(3) 如果模型训练不足，机器人在物理世界中有可能对环境造成损害或对人们构成威胁。通过在模拟环境中进行测试，可以在将方法部署到物理世界之前，以安全的方式检验这些问题。

此外，作者提出了两个高难度任务，旨在培养社交具身体智能体。首先是"社交重新布置"任务，它涉及机器人和人类一起完成一系列拾取和放置任务，要求他们协同合作以实现共同目标。第二个任务是"社交导航"，在这个任务中，机器人需要保持与人的安全距离，同时定位并跟随人类。

此外，Habitat 3.0是第一个支持在多样、真实的室内环境中进行大规模人机互动任务训练的模拟器。这种培训产生了协作性行为，例如在狭窄走廊中为人类伙伴让路，高效地分担任务，使任务能够比人类单独完成更快地完成。

Habitat合成场景数据集（HSSD-200）

HSSD-200包括211个场景，覆盖了466个语义类别，总计超过18,000个对象。它旨在培训导航智能体，使其具有与实际物理世界3D重建场景的泛化水平相媲美甚至更高，但所需的场景数量仅为以前数据集的两个数量级。实验证明，使用HSSD-200数据集进行测试的ObjectGoal导航智能体程序在规模较小但质量较高的情况下，表现与在规模显著较大的数据集上训练的智能体程序相媲美。事实上，仅使用HSSD-200的122个场景进行训练，导航智能体程序在泛化到实际的物理世界场景（HM3DSem）时，表现优于在10,000个ProcTHOR场景上训练的智能体程序。

HomeRobot

共享通用平台一直是机器人学习的重要推动力，然而，目前机器人领域缺乏这样的通用平台，难以重现和扩展结果。因此，作者提出了HomeRobot，这是一个机器人学习的平台，可以在模拟和物理世界环境中执行各种任务。该平台设定了三个主要目标：

1.引领性任务：提供一些引领性任务，激发研究人员的兴趣，帮助塑造他们的工作，并允许在有趣的真实问题上比较不同的方法。

2.软件能力：提供多种抽象接口，使机器人在各种任务中更容易使用，包括导航和操作。

3.社区合作：鼓励人们积极参与，使用代码库，并尝试建立一个围绕这一平台的社区。

HomeRobot被设计成一个用户友好的软件堆栈，可快速设置机器人进行即时测试。

总结

近年来，AI智能体的研究主要集中在静态环境设置下，然而，这种假设在人类居住的真实环境中并不成立。

相比之下，Habitat构建具有社交属性的智能机器人更加现实地考虑了动态环境中人与机器人之间的互动，以及机器人与周围环境的互动。这一设定已经远远超越了当前的研究范式，为人与机器人之间的互动带来了新的问题和可能性，包括协作、沟通以及未来状态预测等领域。