急缺！高校GPU告急，李飞飞辛顿求救
编辑 | Panken
智东西7月18日消息，据外媒报道，由于AI算力集群价格高企与大企业订单挤兑，许多美国高校正面临算力的严重短缺，这导致了高校AI研究的滞后与AI研究人才的流失。高校的算力荒由来已久，连顶级高校和学术大牛们也被这一问题困扰。今年5月，斯坦福大学教授李飞飞称学术界正在面临AI计算资源的严重短缺，斯坦福大学的NLP实验室只有64块GPU（英伟达A100）。图灵奖得主杰弗里·辛顿（Geoffery Hinton）更是在学生求助时直言：“我不知道这个问题除了求政府之外还有什么办法。”与之产生鲜明对比的是，Facebook母公司Meta预计将在2024年底拥有算力相当于60万块英伟达H100的庞大算力集群，几乎是斯坦福NLP实验室集群的10000倍。但斯坦福大学NLP实验室的这64块GPU，在不少其它高校的学生看来已是天方夜谭了。实际上除了像普林斯顿大学、德国亚琛工业大学等少数顶尖院校外，不少高校甚至连1块英伟达A100 GPU也没有。在Reddit论坛上的一则相关讨论中，有北美高校博士生反映小型高校只能获得多年前英伟达发布的V100 GPU。而欧洲和亚洲的高校情况则更为严峻，有不少高校只能使用英伟达的消费级显卡做AI研究。即便这样，算力也极为短缺，有些学生必须自费购买显卡或者从英伟达、亚马逊云服务（AWS）等处申请算力补贴。不少高校也在努力改变现状，比如通过校际合作建立共享计算集群，或是转而从事其它对算力要求更低的AI研究方向。
01.算力短缺人才流失，高校的GPU荒有多严重？
▲来自美国排名前5的机器学习实验室的博士生的提问（图源：Reddit）
一位来自亚洲的博士生也面临着同样的困境。他自己使用的GPU大部分都是消费级的，并且只有一两块而非集群。他的学校直到最近才拥有了一个配备8块H100的的服务器，并且只能限时访问。这位博士生说，在他有幸使用H100 GPU进行训练的两周时间里，他取得的数据比之前半年收集到的数据还要多。▲一位在亚洲从事CV研究的学生回忆自己曾使用过的一系列GPU（图源：Reddit）
还有一位学生分享道，自己的学校没办法提供任何算力上的支持。他只能通过自己的实习公司获取1000美元AWS云算力额度，如果用这些额度来跑8块H100的集群，大概只能用1天，这种量级的算力根本做不出高质量研究。他还称这是第三世界国家搞AI研究的常态。▲一位硕士生分享自己通过实习公司获取计算额度的经历（图源：Reddit）
而欧洲高校的算力资源也不容乐观。有位在德国上学的学生分享道，自己十分幸运，因为他的学校还能提供的16块A100 GPU和数十块其它型号的GPU。而在欧洲，许多大学和研究实验室基本不提供算力支持。▲一位欧洲学生对自己拥有的计算资源感到庆幸（图源：Reddit）
另一位来自德国亚琛工业大学的学生分享，他的学校拥有超过200块英伟达H100 GPU，这引得许多网友的羡慕。但这些资源是所有学院共享的，还要与外部机构共用，如果需要较长的计算时间，需要特别申请。▲德国亚琛工业大学学生分享学校算力情况（图源：Reddit）
来自产业界的人士对高校的GPU短缺情况感到意外。一名业界人士称，自己在一家主要的云计算提供商工作，日常经常接触H100 GPU，为其开发和修复软件。还有另一位业界人士称，H100等需求量较大的尖端GPU在添加到数据中心之前，通常就被大企业客户大量预订了，因此H100对大多数研究人员来说是“罕见的”。▲产业界人士对高校GPU短缺感到意外（图源：Reddit）
在计算资源不足的情况下，进行长时间的训练是极为奢侈的。高校的AI算力集群往往需要提前几天甚至数周申请，即便是用上了，使用时长也有限制。许多较大的训练任务很难在一个使用周期内完成，研究人员还必须花额外的精力构建checkpoint和恢复代码。计算资源的短缺也带来了高校人才流失的问题，那些有志于做生成式AI研究的学生转向了大公司。因为大型科技公司普遍拥有比高校多上成百上千倍的算力，这对AI人才来说极具吸引力。02.建立算力联盟、转变研究方向，高校既不甘也不能落后
▲Empire AI的联盟成员（图源：Empire AI官网）
这一算力联盟筹集了近4亿美元的资金。其中的2.75亿美元来自政府，剩余资金则来自参与联盟的7所高校和研究机构。他们将利用这笔资金建立一个先进的AI计算中心，而联盟成员间可以共享这些计算资源，同时也有效地分摊了持有成本。谈及建立这一联盟的理由，纽约州长办公室称，目前AI算力资源越来越集中在大型科技公司手中，他们对AI开发生态系统有巨大的控制权。因此，研究人员、公益组织和小公司被抛在了后面，这对AI安全和整个社会产生了巨大影响。学术界和产业界也在积极开展合作，这在硅谷、西雅图和奥斯汀等美国的科技中心城市已经比较常见了。华盛顿大学计算机科学与工程学院副院长丹·格罗斯曼称，他们有一些项目允许学术研究人员也能在工业界工作。学术人员能获得更好的资源，而大学也还可以留住这些人才。其实，有不少具有重要意义的AI研究对算力的要求并不高，比如AI可解释性研究、AI计划和推理能力研究等。在算力限制下，大学研究人员开始做更有针对性的研究，确保学界不会完全被业界超越。康奈尔大学计算与信息科学学院院长卡维塔·巴拉（Kavita Bala）称，高校可以减少对构建和训练大语言模型的投入，而更多地关注开发基于大语言模型的应用。这样的应用仍然可以是最前沿的，在独特的应用领域发挥巨大作用。麻省理工学院教授阿尔曼多·索拉尔·莱萨马（Armando Solar-Lezama）的工作重点是利用AI进行代码开发，他认为从头开始构建大模型在学术界根本不可行。学生和研究人员可以专注于开发应用程序，甚至创建可用于训练大语言模型的合成数据。索拉尔·莱萨马称自己学院的教授们也主动出资购买服务器和芯片，但资金并非唯一的问题。即便有资金，获得顶级的GPU也是十分困难的。03.结语：高校AI算力荒持续，多方合作或有破局希望