直击GTC2024：不得不提，人形机器人时代将至！
人形机器人时代即将到来，因为背后有英伟达。
在备受期待的NVIDIA GTC大会上，伴随着令人意外的“表演方式”出场，NVIDIA首席执行官黄仁勋宣布了GR00T项目，这是一个为类人机器人设计的通用基础模型。
由GR00T驱动的机器人被设计成能够理解自然语言，并通过观察动作模仿人类行为。这使它们能够快速学习协调性、灵巧性以及其他在现实世界中有效导航、适应和互动所需的技能。
大会的亮点是黄仁勋与九个和他差不多大小的类人机器人一同亮相。在结束他的主旨演讲时，他由Orange和迪士尼研究中的著名Green BDX机器人陪伴，这些机器人不断打断并干扰他的演讲流程。有了NVIDIA的加持，迪士尼现在开始看起来更像是一家机器人公司。
黄教主表示：“下一代机器人技术很可能会是类人机器人。”他认为，由于这些机器人的模仿训练数据更加丰富，这使得它们变得更容易构建。他解释说，这是因为它们是根据人类构造来设计的。“很可能，人类机器人在我们的世界中会更加有用，因为我们创造了一个我们可以互操作并良好工作的世界，”他说。
有趣的是，GR00T可能是第一个专门为类人机器人设计的基石模型。它接受多模态指令和过去的互动作为输入，并产生机器人执行的下一个动作。强调其多模态性，黄表示GR00T通过人类示例学习，这些示例可能是“视频或虚拟现实形式”。
NVIDIA已经开发了Isaac Lab，这是一个机器人学习应用程序，用于在Omniverse Isaac Sim上训练GR00T，以及Osmo，一个全新的计算编排服务，用于协调DGX系统上的训练工作流程和OVX系统上的模拟。有了这些工具，NVIDIA可以在模拟中训练GR00T，并将零次学习转移到现实世界。
“今天是我们在物理世界中解决具身AGI（人工通用智能）的登月计划的开始，”NVIDIA的具身AI负责人Jim Fan在X上写道。
NVIDIA正在与顶尖的类人机器人公司合作，如1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Figure AI、Fourier Intelligence、Sanctuary AI、Unitree Robotics、XPENG Robotics等。最近，它还与Microsoft、OpenAI等一起投资了Figure AI。
几天前，机器人初创公司Figure分享了其第一个类人机器人与人类进行实时对话的视频演示。这个机器人由OpenAI模型驱动，可能是带有视觉的GPT-5，展示了高水平的视觉和语言智能。
在最近的一次与Lex Fridman的播客中，OpenAI首席执行官Sam Altman宣布OpenAI重返机器人领域：“我认为，如果我们有了AGI，而在物理世界中完成事情的唯一方式是让人类去做，这有点令人沮丧。”
可能是受到漫威的启发，并与GR00T相呼应，NVIDIA开发了一个新的计算平台，名为Jetson Thor，专为类人机器人设计。它能够高效地处理复杂任务，并与人类和机器安全无缝地互动。
该平台的SoC采用了基于NVIDIA Blackwell架构的新一代GPU，配备了Transformer引擎，提供了800 teraflops的8位浮点AI性能。这使得平台能够高效运行像GR00T这样的多模态生成性AI模型。
不仅如此，NVIDIA还宣布了一系列预训练的机器人模型、库和参考硬件，称为Isaac Manipulator和Isaac Perceptor。后者将帮助类人机器人自主导航物理环境，无需预编程的两点间路径。例如，在仓库场景中，如果一个箱子掉落，类人机器人可以自己找到路径，而不用等待人类清理道路。
“有了Isaac Perceptor，我们拥有了令人难以置信的最先进视觉里程计、3D重建和深度感知，”黄仁勋说。另一方面，Isaac Manipulator为机械臂提供了先进的灵巧性和灵活的AI特性。
NVIDIA正在民主化机器人领域，就像它用GPU为LLMs所做的那样。“2024年是具身AI之年”的概念与Figure创始人Brett Adcock产生共鸣，他认为，能够完成复杂任务的先进AI很可能与可靠的类人机器人硬件并行发展，甚至略有领先。