从“快”到“远”，OPPO大模型的新发力
“天下武功，唯快不破”——在大模型这里可能要打上一个问号。在一条漫长的赛道上，不是“快”就是最好，也许“远”才是王道。11 月 16 日，在 OPPO 开发者大会（ODC）上，OPPO 正式推出自主训练的个性专属大模型与智能体—— 安第斯大模型AndesGPT，并宣布开源以 AndesGPT 为核心打造的智能体框架。作为驱动 OPPO 公司 AI 战略的核心引擎，AndesGPT 全面赋能 OPPO 智慧终端，持续构建知识、记忆、工具、创作能力，并通过与终端结合的 AI 智能体和多模态对话范式，将给用户带来全新的个性专属智能体验。本次大会，人们能够看到 OPPO 不仅在大模型技术层面进行了创新和突破，同时在构建大模型应用生态方面也有着自己的思考。当前，国内一线手机厂商已经正式进入大模型应用的公开竞速赛道，谁跑得快可能已经分出结果，但是跑得远还要拭目以待。那，在AI 这条赛道上，OPPO 将如何发力呢？
智慧终端的领头羊，入局就带来两大组合创新
在智能终端领域，OPPO 一直都是佼佼者。这几年在 AI 领域的探索和突破，OPPO 也充分结合了自身优势，因而此次推出的大模型 AndesGPT，也有其独特之处。
据了解， AndesGPT 由 OPPO 自主训练，有三种模型规格：AndesGPT-Tiny、AndesGPT-Turbo 和 AndesGPT-Titan，参数规模从十亿至千亿以上不等，其推理成本、性能和效益也都各有不同，可能根据不同场景灵活选择。AndesGPT 在采用主流网络架构的基础上，进行了组合优化和创新，主要体现在两个方面。我们知道，当用户与模型对话轮次越来越多，模型需要处理的文档长度就越来越大，那么模型固有的上下文长度自然就无法满足需求。旋转位置编码（RoPE）是大模型中最常见的位置编码之一，具有良好的外推性和远程衰减的特性，应用到大模型中，则体现出较好的处理长文本的能力。此外，RoPE 还是目前唯一一种可用于线性 Attention 的相对位置编码，在不引入爆炸计算量的前提下能够接受更长的输入。因此，AndesGPT 采用了 RoPE 位置编码，并探索了 base 最优值，结合 log-scale 和 attention 加 bias，极大地提升了大模型上下⽂扩展能⼒，从而提高模型的理解能力。另一方面，对于大模型而言，随着上下文窗口的增加，采用何种类型的注意力机制，关系着 KV 缓存大小及内存成本，进而影响大模型推理的速度和质量。OPPO 为 AndesGPT 选择了分组查询注意力（GQA）机制，在结合复杂移动窗口(Dilated Attention)之后，加速了训练和推理，实现了O (Nd)的线性计算复杂度，不仅有效降低了计算开销，也提高了推理速度。总之，大模型对上下文长度的支持以及是否采用 GQA，在推理能力及推理速度方面起着至关重要的作用。而 OPPO 在这两方面的创新，是 AndesGPT 能力突破的一个关键。
“咏春”武功三板斧 —— 对话增强、个性专属和端云协同
对于用户而言， AndesGPT 能带来什么更加优质的体验呢？这就要谈谈 AndesGPT 的三大特性了：对话增强、个性专属和端云协同。
AndesGPT 相较于其他大模型，强化了知识问答的精准性，更能理解用户意图，多轮对话更加自然流畅，在对话的连贯性、合理性和逻辑性方面有了显著增强。如今，随着全新小布的问世以及诸多功能的陆续上线，用户将明显体会到有 AndesGPT 加持的智慧助手有何独特之处。其次，AndesGPT 着力打造记忆能力，并融合用户画像和个人数据，强化个性专属体验。如何让用户切身感受到大模型是为其专属定制的呢？每一位手机用户的年龄、性别、如对话和操作习惯等等，都会影响其与大模型的交互体验。基于手机端场景的用户画像，OPPO 对 AndesGPT 进行了控制和微调，使得大模型与用户交互时的反馈能够更加符合用户偏好。端云协同是 OPPO 非常看重的一大技术演进方向。大模型同时部署在端、云两侧，充分发挥端和云各自优势。基于端侧模型，可以带来更低时延、更低功耗，更好地保障用户隐私安全，甚至弱网或无网环境下也可使用。基于云端模型，可获得更加强大的计算能力支撑，同时获得基于海量数据的大模型训练与快速进化能力。这样通过端云分工、 互补、协作方式，就能够实现全场景智能调度。
从「用户体验为先」看四大核心能力：知识、记忆、工具和创作
在技术驱动体验的新时代，大模型正在全面革新智能终端交互体验。是什么让 OPPO 智慧终端给用户带来有用、专业、专属的智能体验呢？那就不得不提到 AndesGPT 的四大核心能力：知识、记忆、工具、创作。
在知识能力上，AndesGPT 提供了“融合知识库、知识图谱及通用搜索，提供更专业的问答”的能力，同时也通过“⾃动识别知识依赖模块、准确判别引⼊外部知识实际、引⼊精准召回机制”来将外部知识与模型融合⽣成结果，降低“幻觉”的产生。在记忆能力上，AndesGPT 具备了⻓时记忆机制，可以⽀持⽆限⻓度的上下⽂。长时记忆主要包括用户交互过程中产生的交互历史、个人数据，以及从中提取的结构化信息等。在工具使用上，AndesGPT 在训练阶段引⼊代码和⻓⽂本进⾏强化训练，并通过指令构建和微调，提升模型遵循指令的效果。同时还⽀持“系统设置、⼀⽅应⽤、三⽅服务、代码解释器”等各类⼯具。在创作能力上，除了不断提升的“对话”能力，AndesGPT 还具备“文生图、图生图、写真、高清壁纸”等能力，并且已经全流程支持音乐生成。此前小布刚发布的单曲《专属于你: 小布永相伴》，其歌词、旋律、音色等元素均由 AndesGPT 生成。
其中，OPPO 为 AndesGPT 塑造的记忆能力是独树一帜的。为了解决长时记忆引入的首字推理时长的问题，OPPO 创新了名为 SwappedAttention 的机制。众所周知，Attention 计算占据了模型推理阶段的绝大部分资源。当前，大模型普遍都通过引入 PagedAttention 算法来实现内存的高效利用，从而突破性能瓶颈，加速推理。而 SwappedAttention 在 PagedAttention 基础上做了进一步的技术演进和扩展，这也是 AndesGPT 的独特之处。
那么，SwappedAttention 机制是如何发挥作用的呢？一方面， SwappedAttention 机制让 AndesGPT 极大地节省了内存空间，实现了高效的计算交换。在多轮对话场景中，随着聊天轮次累积，Prompt 越来越长。在这个过程中，大模型需要对历史序列进行编码计算，然而当历史序列较长时，就容易出现计算瓶颈，也就是表现为每个 Query 的首字时耗越来越长，并发度低。由于 SwappedAttention 可缓存历史 KV 值，能够大幅降低首字计算量，使得用户获得更快的系统响应。另外，在非首字的推理过程中，SwappedAttention 可以动态压缩 KV 值，进一步降低显存占用，提升整体吞吐。另一方面， AndesGPT 使用 GPU 显存、主机内存、GDS 连接外部存储等多层级缓存方式，根据缓存时长、对话频率等策略进行分级存储与交换，不仅加快了内存访问速度，计算资源也得以合理利用，从而实现计算加速。据悉，OPPO 对 SwappedAttention 的对话级 Session Cache 、主机内存版本以及多层级存储 GDS 连接外部存储版本都进行了详细的规划，预计很快将在未来几个月实现落地。
从开源智能体的“扎马步”，构建大模型应用生态的“每一步”
此番 OPPO 积极拥抱 AI，并不是一股脑儿地跟风。事实上，AndesGPT 的能力早已扎下了生长的根，并且也在更深地“落地”于系统的土壤中。无论算力和数据的演进、还是终端产品，OPPO 都在进行智能化升级，并且这些升级都是以 AndesGPT 大模型为基础，以智能体 Agent 为桥梁。融合了 AndesGPT 的新一代 ColorOS 用机助手，已经可以做到约 400 项能力覆盖，目标“用更简单的方式解决用户基础用机需求”；并与潘塔纳尔系统正深度协同，共同升级 ColorOS 智慧体验。但这远远不够，对 OPPO 来说，发布 AndesGPT 只是一个开始。目前在 AI 这条赛道上，OPPO 如何才能跑得远？唯有构建自己的大模型应用生态。但俗话说，独木难成林。仅仅依靠 OPPO 自己的力量，还不足以支撑一个繁荣的大模型应用生态，更遑论去推动我国 AI 产业的发展呢？这是 OPPO 一直在思考的问题。最终 OPPO 给出的答案是：开源智能体框架，让大模型为人所用。如果能让所有人都参与到 OPPO 的大模型应用生态的共创与建设中来，那么 AndesGPT 将在更多领域和场景实现落地，OPPO 也能筑造起自己的护城河。此次 OPPO 开源的智能体框架，在降低 AI 应用的开发门槛的同时，也致力于在未来让更多的参与者都可以便捷地发挥自己的创意，甚至可以零代码、低代码的方式，来构建自己的个性专属应用。满足每个人的“个性化需求”和“便捷可用、可定制”，真正实现“千人千面”，一起推动大模型产业发展的进程。当然，为了降低开发门槛，OPPO 在智能体框架方面的设计上也下了一番心思。一是扩展智能开发的边界。OPPO 基于自身积累的技术优势，在智能体框架上对外提供丰富的开发工具——尤其是跟手机应用开发相关的工具，开发者可以更加便捷地构建以手机为核心的应用生态。当然，如果开发 B 端应用，智能体框架也能帮助开发者解构和处理复杂任务。二是智能体框架可将大模型与指令集更多地相结合，将大模型使用工具的能力进行强化，使得指令操作、系统控制、服务调用更加智能、灵活。三是提供丰沛的云类资源。无论是文档存储、向量数据库搜索召回，还是数据分析类工具，都要占用大量的云类资源。OPPO 将传统云类资源进行统一封装，然后对外提供，提高了智能体框架调用和处理数据的能力。除此之外，OPPO 还将会发布相应的 SDK ，让开发者更方便地在智能体框架集成端侧应用，把安第斯智能云、AndesGPT 的能力植入到终端中。
从内功到外功，OPPO大模型技术边界上的探索从未停止
从内部应用到构建生态，OPPO 在 AI 领域的探索愈发深入，技术边界不断向外延伸。目前已经看到，OPPO 在对话增强、个性专属、端云协同的可信通信、大模型幻觉、内容安全可控等问题上取得了不错的进展。如今，大模型技术发展虽然日新月异，但从行业整体发展来看，还处于初期阶段，其面临的诸多难题和挑战还有待解决。比如训练和部署成本问题。有人认为，大模型的成功建立在“巨资+巨头+人才”的强势资源联合基础上，资源投入巨大。确实如此。“从零开始”研发训练和部署推广大模型，需要强大的算力支持，以及大量的技术精英。据测算，ChatGPT 自建算力平台的固定成本约为 8 亿美元，训练 1 次耗时 1 个月，成本超过 1200 万美元。如此高额的成本，非巨头企业难以为之。此外，大模型技术演进路径仍未定型，应用场景还主要面向互联网产业，同时还面临监管治理等问题。不过，正是因为这些挑战，我们更加期待，有一天 OPPO 能依靠其构建的大模型应用生态中的新生力量，来共同突破那些未知却又终将到来的挑战。这应该就是OPPO赢下这次“大模型比武”的内功与外功。
往期推荐
周热点 | 2023.11.13-2023.11.16开源中国将在年末推出大模型托管平台，大量人才招募中我勒个去，竟然质疑我的开源项目“死了”？
这里有最新开源资讯、软件更新、技术干货等内容
点这里 ↓↓↓ 记得 关注✔ 标星⭐ 哦