OpenAI 绝密项目「草莓」曝光，前身为Q*，能实现高级推理
社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。转载自 | 机器之心编辑 | 张倩、陈陈
还记得 OpenAI 的秘密项目 Q* 吗？它现在叫「草莓」。刚刚，路透社独家报道称，OpenAI 内部正在一个代号为「草莓（Strawberry）」的项目中开发一种新Q的人工智能模型。该项目的细节此前从未被报道过，而 OpenAI 正努力证明其提供的各类模型能够提供高级推理能力。根据路透社 5 月份看到的一份 OpenAI 内部文件副本，OpenAI 内部团队正在开发「草莓」。路透社无法确定这份文件的确切日期，该文件详细介绍了 OpenAI 打算如何使用草莓进行研究的计划。消息人士向路透社描述说，该计划还在进行中。路透社无法确定 「草莓」距离公开发布还有多远。该人士说，「草莓」的工作原理即使在 OpenAI 内部也是被严格保密的。消息人士称，该文件描述了一个使用草莓模型的项目，其目的是让公司的人工智能不仅能生成查询答案，还能提前规划，以便自主、可靠地浏览互联网，进行 OpenAI 所称的「深度研究」。根据对十多位人工智能研究人员的采访判断，这是迄今为止人工智能模型一直无法实现的。在被问及「草莓」的细节时，OpenAI 公司的一位发言人在一份声明中说道：「我们希望我们的人工智能模型能像我们一样看待和理解这个世界。不断研究新的人工智能能力是业界的普遍做法，我们都相信这些系统的推理能力会随着时间的推移而不断提高。」发言人没有直接回答有关「草莓」的问题。「草莓」项目的前身是 Q*，该项目在公司内部已被视为一项突破。据两位消息人士描述，今年早些时候，他们观看了 OpenAI 工作人员告诉他们为 Q* demo 的演示，Q* 能够回答棘手的科学和数学问题，而这些问题是目前市面上的模型无法企及的。据彭博社报道，在本周二的一次内部全员会议上，OpenAI 展示了一个研究项目的演示，并声称该项目拥有类似人类的新推理能力。OpenAI 发言人证实了这次会议，但拒绝透露会议内容的细节。无法确定演示的项目是否为「草莓」。据报道，在这次会议上，OpenAI 提出了一套五个等级来追踪其在开发能够超越人类的人工智能软件方面的进展，范围从目前可用的可以用对话语言与人互动的人工智能（第 1 级）到可以完成组织工作的人工智能（第 5 级）。
「草莓」成为克服众多挑战的关键
知情人士称，代号为「草莓」的技术是 OpenAI 克服这些挑战计划的关键组成部分。路透社看到的文件描述了「草莓」想要实现的目标，但没有说明如何实现。据四位知情人士称，近几个月来，OpenAI 一直在私下向开发者和其他外部各方发出信号，称其即将发布具有更先进推理能力的技术，不过这四人拒绝透露姓名。其中一位消息人士称，「草莓」用到了后训练（post-training）方法，即在对大量通用数据进行训练后，调整基础模型以特定方式优化其性能。后训练阶段涉及微调等方法，这是当今几乎所有语言模型都采用的一种方法，它有多种形式，例如让人类根据模型的响应向模型提供反馈，并为模型提供好答案和坏答案样例。另据一位知情人士称，「草莓」与斯坦福大学 2022 年开发的一种名为 STaR（Self-Taught Reasoner）的方法有相似之处。STaR 的创建者之一、斯坦福大学教授 Noah Goodman 告诉路透社，STaR 方法使 AI 模型能够通过迭代创建自己的训练数据将自己「引导」到更高的智能水平，理论上可以用来让语言模型超越人类水平的智能。Goodman 教授表示，「草莓」的出现让他既兴奋又恐惧…… 如果事情继续朝这个方向发展，人类就需要认真思考一些问题了。「草莓」瞄准的功能之一是执行长期任务 (LHT，long-horizon tasks)，指的是需要模型提前规划并在较长时间内执行一系列操作的复杂任务，其中一位消息人士解释说。根据 OpenAI 内部文件，该公司正在利用名为「deep-research」的数据集创建、训练和评估模型。不过路透社无法确定该数据集中包含哪些内容，也无法确定长期任务意味着什么。根据该文件和其中一位消息人士的说法，OpenAI 特别希望其模型能够利用这些功能进行研究，即在 CUA（computer-using agent）的帮助下自主浏览网页，并根据其发现采取行动。OpenAI 还计划测试「草莓」在软件和机器学习工程师工作方面的能力。参考链接：https://www.reuters.com/technology/artificial-intelligence/openai-working-new-reasoning-technology-under-code-name-strawberry-2024-07-12/https://www.bloomberg.com/news/articles/2024-07-11/openai-sets-levels-to-track-progress-toward-superintelligent-ai技术交流群邀请函
扫描二维码添加小助手微信
请备注：姓名-学校/公司-研究方向（如：小张-哈工大-对话系统）即可申请加入自然语言处理/Pytorch等技术交流群