Llama 2第一、GPT-4第三！斯坦福大模型最新测评出炉
编辑 | 李水青
智东西10月19日报道，今天，斯坦福大学基础模型研究中心（CRFM）联合斯坦福以人为本AI研究所（HAI）、麻省理工学院媒体实验室、普林斯顿大学信息技术中心共同发布了2023基础模型透明度指数（Foundation Model Transparency Index，FMTI），并对10个主流基础模型进行了透明度评级。评级结果表明，即使是得分最高的Meta Llama2也仅在满分100分中获得54分，OpenAI的GPT-4获得48分，排名第三。10个基础模型的平均得分仅为37分。
▲2023年基础模型透明度指数总分（图源：CRFM）
为了构建FMTI，团队定义了三个领域的100个指标，并将它们划分为13个子域进行了进一步分析。虽然整体平均分仅为37分，但该团队称，100个指标中有82项获得了至少一个模型的满足，这意味着开发商可以通过采用竞争对手的最佳实践，来显著提高模型的透明度。此外，开源基础模型在这项评级中取得领先地位。在三家开源基础模型开发商Meta、Hugging Face和Stability AI中，有两家得分最高，这两家公司都允许下载其模型权重。Stability AI则紧随OpenAI之后，排名第四。团队声明，在完成打分后，他们联系了这10家开发商进行反馈。所有10家开发商都对评分做了回应，其中8家提出了异议，上图是在解决了开发商的反驳之后的最终得分。论文地址：https://crfm.stanford.edu/fmti/fmti.pdf博客地址：https://crfm.stanford.edu/fmti01.定义三大领域100个指标通过13个子域进一步分析
▲按三大领域划分，10个基础模型提供商获得的分数（图源：CRFM）
除了以上三个顶级域之外，团队还将指标分组为13个子域（Subdomain）。这13个子域分别是数据（Data）、人力（Labor）、计算（Compute）、方法（Methods）、模型基础（Model Basics）、模型访问（Model Access）、性能（Capabilities）、风险（Risks）、缓解措施（Mitigations）、分布（Distribution）、使用政策（Usage Policy）、反馈（Feedback）、影响（Impact）。子域为模型的评级提供了更精细、更直观的分析，如下图所示。图中每个子域都包含三个或三个以上的指标。▲按13个子域划分，10个基础模型提供商获得的分数（图源：CRFM）
由图中数据可以看出，数据、人力和计算是开发人员的盲点。在构建基础模型所需的资源方面，开发人员的透明度最低。所有开发人员在数据、人力和计算方面的得分总和仅占总分的20%、17%和17%。其次，开发商在用户数据保护和模型基本功能方面更加透明。开发商在用户数据保护、模型开发细节、模型功能和局限性相关的指标上得分较高，均超出60%。这反映出各开发商在如何处理用户数据及其产品基本功能方面的透明度达到了一定的基准水平。此外，即使在开发商透明度最高的子领域，也仍有改进的余地。没有一家开发商提供有关其如何提供、使用数据的过程信息。只有少数几家开发商在展示其模型的局限性，或让第三方评估模型能力方面是透明的。虽然每个开发商都描述了其模型的输入和输出模式，但只有三家开发商披露了模型的组成部分，只有两家开发商披露了模型的大小。02.开源vs闭源？13个子域中，开源基础模型9项领先
▲开源模型在评级中处于领先地位（图源：CRFM）
团队称，尽管闭源基础模型更容易满足该评级的许多指标，但开源基础模型在许多透明度方面获得了更高的评分。例如，一些指标评估了下游使用的政策。由于闭源模型通常只通过API提供访问，因此他们可以更容易地分享与下游使用相关的信息，而开源模型的开发商则需要与下游部署者合作才能获得此类信息。从理论上讲，这意味着闭源模型在这些指标上的得分要高得多，但团队称并没有发现实质性的差别。不过，一些闭源模型开发商在这些指标上的表现确实更好，其中以OpenAI为首。▲开源和闭源模型在13个子域评级中的平均透明度评分（图源：CRFM）
总分方面，开源基础模型开发商遥遥领先。团队认为，开源模型与闭源模型之间的差距是由上游指标造成的，例如开发模型所使用的数据、人力和计算细节。近年来，许多闭源模型开发商对其模型训练方法越来越保密。03.诉讼、竞争、安全大模型开发商对于开源的忧虑
04.结语：基础模型社会影响力不断攀升透明度问题不可忽视