大模型产品琳琅满目，企业应该如何选择？
AI 和大模型方兴未艾，我们每天都在看到和尝试不同版本、不同品牌的大模型产品，它们的能力各不相同。无论是个人还是企业，都在思考如何尽早地参与进来到大模型的浪潮当中来。
目前，一些先锋企业已经将 AI 和大模型融入到他们的日常业务和产品中，并取得了不错的效果。但更多企业仍处于观望或迷茫状态。在有限的预算内，企业要怎样进行 AI 和大模型的商业化或投资？该选择怎样的大模型融入业务？带着这些问题，InfoQ《极客有约》特别邀请了广东 CIO 联盟会长、前海尔集团 CIO 李洋老师和北京中关村科金公司 CTO 李智伟老师，与 InfoQ 社区编辑张凯峰一同探讨企业如何在众多大产业和大模型产品中做出合理的选择。对话内容部分亮点如下：
企业开发大模型应用时，应该更多地考虑用户体验；
企业需要对应用场景有深入理解，并从试点开始逐步推广；
对于面向 C 端的应用，“+AI”是个不错的选择；
企业在进行系统建设时，必须考虑到未来的可替代性。
以下为访谈实录，经编辑。完整视频参看：
https://www.infoq.cn/video/0KjL5Et9SFyJ6Yrryyqf
在 8 月 18-19 日即将举办的 AICon 上海站，我们设置了「大模型数据集构建及评测技术落地」专题，本专题将深入探讨大模型的需求分析与数据收集、数据清洗与增强、模型评测与优化，以及技术落地与维护等关键方向。目前大会 9 折购票优惠中，感兴趣的同学请锁定大会官网：https://aicon.infoq.cn/2024/shanghai/track
To C 与 To B 场景和市场需求差异
张凯峰：在 To C 和 To B 场景中，使用 AI 和大模型有什么区别？或者当企业负责人考虑将 AI 引入自己的企业时，通常会考虑哪些方面？
李智伟 ： 通过查看最近 ChatGPT 一周的数据，可以发现其用户活跃数量超过了一亿。虽然这一数字很高，但大部分用户使用的都是 To C 的一些应用程序。国内的一些应用程序用户数量也很多，从用户教育角度来看，进展比较快。C 端应用程序的发展将会非常迅速。目前广泛使用的 agent 平台或 model builder 平台，都面向企业提供服务，提供公共云服务或者私有化服务。国内大部分公有云上的托管服务都由个人或小微企业进行使用。国内比较好的头部企业，其训练的模型约有 1.3 万个。
同时，通过查看今年 1 到 6 月份的公开招标网数据，我们可以看到大企业招标的情况。今年上半年到 6 月中旬，整个公开招标数量约为 234 件。其中，60% 以上的项目来自央国企。预计今年大企业客户对大模型的商业化使用将加速。
从 C 端来看，很多客户已经理解了大部分内容，但 B 端的进展仍然处于早期阶段。
李洋： 从目前的趋势来看，人工智能是一个新质生产力，是工业革命的一部分。从国际上来看，人工智能的浪潮也比以往席卷得更快。其原因在于，它是由 C 端发起的。目前可以感知到的是，要把科技的生产力提高民众的感知度。对于企业来说，可能包括员工、客户以及上下游。C 端这种蜂拥而来的趋势就奠定了这次人工智能浪潮会高于前几次的基础。
对于 To B，我认为应该是未来科技革命所产生的生产力要兑现的一个非常重要的路径。目前可以看到的很多一二级市场的投资，对 C 端的投资还在逐渐增长。但如果缺乏一定的杀手级应用，甚至没有持续的宣传和科技元素的不断注入，这种热度很快就会退去。
对于 OpenAI 或国内许多做大模型的企业，无论是自研还是开源，要在 C 端实现商业变现都很难。因此，在 C 端巩固之后，随着大模型的成熟，To B 的发展应该会逐渐加速，但未来是否一定会发展成大模型还有待观察。
张凯峰： 可见，C 端市场和 B 端市场所面临的情况、消费习惯以及背后的经济投入都是完全不同的。对于企业来说，AI 和大模型的应用还处于初级阶段。是否是因为满足 C 端服务更容易，但企业侧复杂的业务需求和市场竞争等因素，导致企业在接纳 AI 和大模型方面比 C 端更困难？这将具体表现在哪些方面呢？
李智伟： 我认为这个问题与大模型的能力有关。大语言模型的技术能力可能更多地体现在知识的理解和生成方面更加成熟，因此在构建 C 端应用的场景中，它的融入是比较快速的。
对于知识的获取，大模型本身也采用了推荐的方式来提供服务。这种方式的技术更加成熟，能够更好地与用户交互。许多类似的 APP 或个人助手都提供了知识获取的功能。Perplexity AI 和国内的一些创新者正在开发类似搜索的应用，并且致力于提升 C 端用户的体验。当它面向 B 端企业渗透时，我们需要考虑其商业化能力。目前，商业能力主要集中于互联网、教育、金融和政企服务等行业。这些行业有一个共同点，即服务于大量 C 端用户。
面向个人用户的体验一定会延伸到企业端的员工使用中。在当下这一波浪潮中，当企业开发大模型应用时，应该更多地考虑用户体验。这也是我们一直致力于做的事情，因为我们是一家传统的营销和客户服务类产品公司，我们基本上都在开发交互类产品。
我们之所以非常重视大模型技术，是因为我们认为这项技术实际上是对整个交互体验的颠覆性升级，这是一个未来的巨大机会市场。因此，我们基本上也是将 C 端的体验产品能力应用于 B 端，以实现更深入的发展。
李洋： 总的来说，C 端和 B 端的触点不太一样。以我个人为例，作为一个纯粹的 C 端用户，我对新科技产品的需求更多关注于体验感、科技感以及方便易用等方面。这也包括了一些家居、生活和工作的便利性，这些方面可以归为 B2C 类别。而从 B 端的角度来看，我们可以将大模型的应用或 AI 战略应用于整个企业中。特别是在后疫情时代，我们需要降低成本、提高效率，甚至创新商业模式，寻找新的利润增长点。因此，在企业内部，对于大模型或新技术的使用，其想法、构建和步骤可能会有所不同。
大模型的选择与匹配张凯峰：通常我们会采用哪些方法来帮助企业识别在某些业务或方向上可以开始选择大模型，并与自己的业务需求相匹配。您们是否听说过一些成功或有待改进的例子，以及它们是如何操作的？
李智伟： 我想先分享一下我们在做企业应用时遇到的问题。在过去一年多的时间里，很多企业的决策者都在问我们如何选择。实际上，我们并没有给出明确的答案。我认为这是一个逐步认知和迭代的过程，与企业构建的业务场景密切相关。
但是这次的情况有所不同。在传统 IT 系统中，我们通常以功能性为主导，根据客户需求构建系统。但是现在，由于整个 IT 企业架构的变化，核心变成了一个模型，我们需要将之与客户的业务深度融合，这无疑是一个很大的挑战。目前我们面临的冲突点是，很多企业出于自身发展或国家要求，会积极与厂商合作，很多场景都会进入。但是因为我们不熟悉所有场景，用户有时会受到限制。
企业需要做几个部分的工作。如果我们将这看作是一个流程，我可以提供一些具体的建议。例如，通常我们会先梳理功能性需求，但现在做法不同了。我会告诉客户，首先要进行认知对齐。如何让不同的人对大模型的认知保持一致呢？首先，参与项目的人员需要具备大模型的基本原理和能力；其次，客户方也需要有懂得大模型应用的专业人士。
其次，我们需要选择一些小的场景作为试点，以便快速响应市场变化。对于供应商来说，他们需要拥有敏捷的工具链和 demo 系统来帮助他们进行试点。去年，我们建立了一个工具链平台，并在官网上开通了线上 demo 系统。客户可以在了解系统之前先进行试用，确保能够接受它的外观和效果。试点是一个双方共创的过程，试点结束后，需要进行效果评估，然后双方再对产品进行规划并分段实施，最后总结反馈。大模型应用更注重端到端效果的优化。企业需要对应用场景有深入理解，并从试点开始逐步推广。从这个角度看，市场上可供选择的选项并不多，对于企业来说，虽然我们正在努力加速商业化，但更合理的是要看到其中的节奏。
李洋： 在企业中使用 AI 和大模型的切入点比较多。建议企业在做这方面时，先确认需求，再定义相应的工具。在我的数字化转型工作中，我把它分为延产供销服务、运营风控等方面。不同行业的侧重点会有所不同。
当然，不仅限于 AI，还有区块链、云计算、大数据等技术，它们与我们所说的业务数字化层面和流程有关，以及我们所说的痛点或难点，哪些可以使用大模型或 AI 来解决？从目前的情况来看，我非常同意李总的观点。现在的问题可能是，由于大模型的火爆程度超出了某些企业的承受范围，导致我们的应用目标本末倒置。我们不应该拿着锤子去找钉子，而是应该根据钉子的特点选择合适的工具，包括大模型。
今天我还与一些企业进行了交流，他们认为，传统的机器学习、简单的规则和深度学习的神经网络也可以解决问题，不一定非要使用高量级的大模型，特别是那些对算力和数据要求很高、成本也很高的模型。因此，我认为我们应该从业务数字化和智能化的方向出发，进行全面规划，然后逐一比较，看看哪些问题可以使用人工智能工具来解决。在使用人工智能工具时也必须考虑成本、效率和效益等核心指标。
李智伟： 对于这个话题，市场上有不同的提法，如“+AI”或“AI+”。“+AI”是指在现有能力的基础上添加相应的能力，而“AI+”则指下一代能力系统。我认为，对于面向 C 端的应用，加入 AI 是个不错的选择。对于 B 端应用而言，企业通常需要考虑如何重新利用现有的 IT 资产，使用 AI 原生技术的成本很高。
对于初创公司来说，重新构建企业架构的成本是难以承受的。因此，我们更倾向于鼓励企业采用 AI 技术来增强自身能力，这也是一种很好的 IT 演进思路。
张凯峰：除了自己训练大模型，还有一种可能就是用一个相对成熟的模型来训练一个自己垂直领域的小模型，供企业内部使用。这是企业在做大模型时需要考虑的选择方向之一。还有其他的方向吗？
李洋 ： 现在大模型的应用模式一般分为以下几种：
提示词工程：使用大模型不需要重新训练或者构建数据集，但由于大模型自身的泛化能力和通用能力，企业可以通过提示词来进行引导，从而使得模型生成解决方案、文案等。
RAG，可作为大模型的补充。作为外挂，在检索或提问过程中可以将数据融合到模型中，并生成相应结果。
微调，或称精调：企业可在确保质量过关的情况下，使用小部分数据，挑选出自己的模型，并将专业知识和私有数据融入其中。
预训练：如金融行业中的一个不普遍的领域，为了训练这种行业大模型，企业需要将购买或开源的大模型中的数据重新进行训练，使其获得具有金融行业或其他专业领域知识的行业模型。基本上可以参考以上几种方式来使用大模型。在封装开源模型的过程中，可能需要采用一些综合应用的方法。如在前期使用一些提示工程，在后期添加微调。
李智伟： 对于企业来说，是否需要大模型，以及大模型的数量多少问题，需要看具体场景。在书写公文或者分析金融报告时，可以使用一个模型，无论是 prompt 还是 FT。而对于更加专业的领域而言，可能需要使用 FT，并为每个任务提供精标数据进行训练。对于整个企业来说，必须采用多模型。在小模型时代，我们在构建基于模型的软件和系统架构时，就已经采用了多模型组合的方式。而现在，更加明确的是，从扩展架构的角度来看，应该采用大模型、小模型和 RAG 的组合方式。
企业不能只依赖一个模型。现在的模型架构是大模型负责调度编排，小模型负责完成特定任务，任务完成后，我们需要把所有输出汇总并呈现给最终用户使用。目前来看，RAG 增强技术也不需要模型了，大部分只需要做 prompt。小模型的获取方式有两种：利用原有 IT 资产中的小模型，即资产再利用；另一种是在基于大模型训练后，通过剪枝和蒸馏等技术将神经网络缩小，得到小模型。去年，很多企业都认为一个模型可以解决所有问题，甚至花费数千万购买大模型。但现在人们已经转换了思想。例如我们在去年一直为一家零售客户制作电销大模型，由于我们公司在过去十几年中一直从事客服工作，所以我们使用小模型实现智能拨打电话，而大模型出现后，我们认为大模型对我们的业务更加有利，进行了替换。
大模型的应答效果和对话效果都比小模型要好，但是在效率方面存在问题。当时我们的做法是加大量的 GPU，提高并发性。但是现在看来性价比极低。从整个 IT 构建来看，只能先解决准确率问题。但是需要考虑到，长此以往，性价比是支撑不住的。我们需要考虑小型化的问题，比如通过模型的裁剪或者蒸馏来实现小型化。我们甚至需要将原本使用的小模型加入到中间过程中。例如在完成某项特殊任务时，小模型效果比较好，可以使用小模型来尽可能地减少大模型进行交互判断处理的工作量。随着时间的推移，我们的整体成本和算力需求正在逐步下降。
相比之前使用纯小模型，目前我们整体的外呼发起率可以提升到 30%，大屏通话也能增长 50%，这都是大模型带来的好处。此外，使用大模型与使用传统的人工呼叫相比，也有利于降低客户不满意度。
张凯峰：刚刚提到的模型更换问题，可以再展开一下吗？比如，在什么情况下企业需要为当前的投资考虑未来替换的可能性，以及在替换之前需要做好哪些准备工作？
李智伟： 关于这个话题，实际上受到两个因素的影响。
第一个方面是，早前在大模型 GPT3.5 发布那时候，一些开源模型也随之出现，但我们当时使用下来发现这些开源模型其实效果达不到预期。为了达到我们想要的效果，还是需要重新做 SFT，当时的想法是所有的模型都是需要做训练的。但是随着基础模型的发展，特别是 ChatGPT 4o 的发布，现在国内的开源模型已经可以满足基础的需求。在过去的半年中，市场上训模型这件事其实慢慢变少了，基础模型可以直接用于一些常规场景，甚至进行信息的获取和整理。
第二个方面，目前国内虽然有约 200 家大模型和各种模型的生产公司，但都没有成熟的商业模式。市场上既存在开源模型，也有闭源模型。大多数大公司都倾向于闭源，但实际上这些做闭源的公司都希望通过消耗更多的云算力来盈利，这比销售单个模型更加有利可图。但这也带来了一个问题，如果一个企业的供应商消失了，其发动机怎样进行维修呢？
因此，企业在进行系统建设时，必须考虑到未来的可替代性。这意味着企业必须要在前期就考虑这个问题。在建构整个架构时，需要考虑到两个方面：
首先，我们需要一套供应链，以便在未来能够更换其他供应商。
还需要重点考虑一个问题。例如，去年我们开始训练大模型，并且为企业提供了许多输出。但是年初开始，当我们意识到这个问题后，就投入了大量的研发精力来开发模型部署工具链。它可以帮助企业监控和运营多个模型，甚至可以轻松地替换、上线和下线部署托管。一套标准化的能力体系可以对未来产生最大价值。这可以保证基础模型趋向标准化。企业可以在任何时间选择最适合自己的资产，还可以使用更加强大的模型来替换现有最低版本。
第二种情况是，企业针对自己的行业知识进行训练，这要求企业具备快速部署和完成的能力。此外，企业未来的混合部署需要一定的工具链支持。
张凯峰：在考虑采购国内的大模型时，无论是大厂的模型还是自行预训练的模型，哪些非功能性方向是我们需要仔细考虑的呢？
李智伟： 除了要考虑性价比之外，企业还需要考虑准确性、鲁棒性和稳定性等因素。在选择模型时，企业需要考虑其应用场景。例如，在线系统需要更高的时效性，因此可能需要混合性模型部署。这是第一个。
第二个是，由于模型的泛化可能会带来负面影响，比如幻觉问题，因此在严肃场景之下，必须进行针对性数据增强训练。然而，增强训练会带来一个问题，随着模型参数的增加，其准确性和严肃性会提高，但效率也会降低。因此，需要采取一些措施，例如进行裁剪或蒸馏，以提高性能。但是在非严肃场景下，需要的是模型的泛化性，对性能指标的要求会降低。
近期我还非常关注模型的安全和合规，目前大模型在安全合规方面还有待提升。企业需要考虑到个人隐私保护问题。有多少企业的原始数据经过了严格的隐私清洗和认证呢？
另一个是多模态大模型问题。目前，多模态对数据的使用更加深入。此前，大语言模型更多关注到的是文本类理解使用。但涉及到多模态，就要考虑对于视觉、音频和视频的理解和使用，在这个过程中，数据安全是极其重要的。需要企业完成两个任务：第一，采购大模型时，需要考虑其合规性和安全性；第二，大模型使用必须经过备案，并接受审查。
李洋： 人工智能领域，特别是现在的大模型和未来的发展方向，可能会像云计算一样。随着大数据等新兴技术的发展，网络安全合规方面也会有相应的审查标准。例如，如果大模型的服务提供商类似于我们的公有云提供商，作为租户，调用大模型时，租户与平台之间的责任共担和举证是非常重要的。此外，在选择大模型时，还需要考虑运营团队的能力。
大模型需要具备底座和二次开发及优化能力，但建立大团队不太现实，因此需要依赖服务商提供的人工智能，包括架构师和科学家的能力。人工智能的发展具有不确定性，可能会出现幻觉、误导或暴力等后果。我们需要考虑到的是，如何训练、采购和使用大模型，以及如何对其进行完善实施和调整。平台提供方仍在不断改进中，因此需要一个团队的支持。
企业盈利新机遇张凯峰：除了模型制造商之外，那些从事大模型应用的企业，他们的盈利方向和模式可能会在哪里呢？可以结合自己的经验和故事来分享一下。
李智伟： 在 B2B 领域，现在还处于早期阶段，各家还没有实现盈利的商业模式。
这次技术革命将带来许多新机会。我们以前在做内容审核时，会使用小模型。例如，做内容审核需要积累大量数据并训练专家。如果想审核某个涉政类的内容，就需要储备很长时间。但是，如果使用多模态大模型，就可以快速进入审核市场。这是对以前技术的一种弯道超车的机会。
在 B2B 领域盈利，对于企业来说，是一个非常多元化的机遇。但在中国市场，能否盈利仍然存在很大的不确定性。这种多元化的机会也带来了一些好处，比如以前从未涉足的新市场会带来新的机遇。
多模态模型和大语言模型在这一过程中都已经被开源甚至公开化了。因此企业可以更容易地进入这个市场并积累财富。
李洋： 首先，AI 作为一种科技手段，只要能起到促进作用，它一定会促进原本产业的发展。比如在抖音、微信运营或公众号运营过程中，如果能在原有产业中嵌入 AI 元素，或者通过大模型实现促进，那么就可以实现盈利。但另一方面，提供大模型的公司只要向 B 端或 C 端提供相应的应用程序，就能盈利。例如，Stable Diffusion 平台或 OpenAI 开发的类似 GPT 的大模型应用程序或产品，只要被腾讯、抖音等公司采用，就可以利用大模型盈利。但是还有一个问题，在数字化和智能化的过程中，能否创造出新的盈利模式。例如华为、四大咨询公司（麦肯锡等）提供的咨询服务，如果企业能将这些咨询服务整合成一个大模型，并利用大数据分析技术，那么实施周期和效率可能会比传统方式更快。此外，还需要解决数据脱敏和隐私保护等问题。
企业应该将这种科技手段与所有产业结合起来。从第一次工业革命到第四次工业革命，我们一直在追求生产力的提升，但我们仍然需要抓住自己的主业。
活动推荐AICon 全球人工智能开发与应用大会，为资深工程师、产品经理、数据分析师等专业人群搭建深度交流平台。汇聚 AI 和大模型超全落地场景与最佳实践，期望帮助与会者在大模型时代把握先机，实现技术与业务的双重飞跃。在主题演讲环节，我们已经邀请到了「蔚来创始人 李斌」，分享基于蔚来汽车 10 年来创新创业过程中的思考和实践，聚焦 SmartEV 和 AI 结合的关键问题和解决之道。大会火热报名中，7 月 31 日前可以享受 9 折优惠，单张门票节省 480 元（原价 4800 元），详情可联系票务经理 13269078023 咨询。