没绷住，vivo提前“泄密”大模型能力
明敏 萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
最卖座的安卓手机，竟然要实 装 大 模 型 了？！
还是发布即可用那种——新版手机系统直接搭载，不整虚的。
要知道，虽然国产大模型百花齐放，但手机端“百模大战”，可以说是才刚进入热身阶段。
自研大模型的手机厂商已有不少，但真正装进手机系统中的，还几乎没有。
搞出这个大新闻的，正是已连续两年国内份额第一的蓝厂vivo。
前段时间，vivo悄悄自研手机AI大模型的消息传得沸沸扬扬，如今靴子落地，官宣定档11月1日vivo开发者大会，上机新版系统OriginOS 4。
从vivo负责人剧透的消息中，可以窥见三个要点：
一口气发布5个大模型
大模型嵌入手机，当助理还会画画
70亿版本大模型，对行业开放可用
vivo副总裁、全球AI研究院院长周围，还提前两周在微博上“泄露”了一番大模型的能力：
一套连贯操作下来，网友先激动了。
还有网友已经在幻想工作量骤减的场景了。
所以，这番vivo官宣大模型，究竟放出了哪些信号？具体到手机端上，又会带来哪些功能的改变？
vivo大模型，哪些信号已剧透？
先来看看vivo大模型的曝光信息。
vivo新版自研大模型，取名vivoLM。
这次要发布的vivoLM一共有5个版本，参数量分成十亿（1B/7B）、百亿（66B）和千亿（130B/175B）三个级别。
无论是70亿大模型版本，还是参数量更大的版本，vivoLM都已经提前在两大中文大模型评测榜单C-Eval和CMMLU上“刷榜”了一波。
在C-Eval榜单上，vivoLM取得了平均82.3分的榜一成绩，尤其在STEM、人文学科上表现突出；
而在CMMLU榜单上，无论是Five-shot（仅给5个样本示例）还是Zero-shot（0样本示例），vivoLM-7B版本都占据了TOP 1，并同样在人文学科上“一骑绝尘”。
值得一提的是，登顶CMMLU榜单的vivoLM-7B即70亿版本大模型，正是vivoLM将对外开放的版本。
当然，无论是哪个版本，vivoLM此次发布的目的都非常明确——
放进vivo最新版本的手机系统OriginOS 4中，作为手机助理感知用户需求、识别意图并辅助决策。
但众所周知，相比其他应用领域，手机端实际上是大模型最难落地的场景之一。
一方面，受体积、耗电量所限，手机端侧算力相比云端算力“少得可怜”。
以“大”著称的大模型，如果直接部署在端侧，往往难以取得较好的使用效果，即使能运行起来，推理速度也不及预期，按周围的话来说就是：
如果做输入法的出词推荐，2秒才能出一个词。
但缩小模型体积，效果肯定会打折扣。
另一方面，如果将大模型直接上传到云端联网使用，又会失去端侧部署的优势。
例如，大模型原本可以根据用户信息，在手机上个性化定制手机助理，且确保信息不上传到云端；但如果大模型在云端加载，势必要将个人信息通过网络上传，隐私安全无法保障。
除此之外，云端运行大模型的成本非常高。周围介绍称：
vivo有3亿中国大陆用户，如果每天用10次，一天的运算成本大概是3000万元，一年需要花费约90-100亿元。
vivo究竟是怎么将大模型部署到手机端的？
从vivoLM已剧透的大模型参数设置、以及目前已有的一些大模型运行研究来看，或许能推测出其中用到的一些“技巧”。
技巧之一，在于大模型的参数设计，不同的参数量级，分别用于处理不同的任务。
其中，最小的大模型，包括10亿和70亿参数的模型，可以直接部署在端侧，确保耗电量不高。
涉及用户信息等个性化任务需求时，可以用这类大模型来完成，例如一键将备忘录内容加入日历、并设置闹钟提醒。
更大的大模型，如660亿、1300亿和1750亿参数的大模型，则根据任务难度来决定调用情况。
毕竟从目前学界公认的说法来看，大模型“智力涌现”所需的参数量级，几百亿足矣。
像用超大模型如GPT-4来总结电子邮件的行为，就一直被调侃为“开兰博基尼送披萨”。（手动狗头）
所以，遇上“难度系数较低”的任务时，可以切换更小的模型来进行，更复杂的如对上下文长度和输出效果要求更高的任务，再调用千亿参数大模型来完成。
技巧之二，在于大模型的运行方式，不依靠单一算力，而是云端协同的方式兼顾运行速度和体验。
目前，上千亿的大模型尚难以部署到手机端，即使能部署，运行速度和耗电量也无法接受。
至少从目前业界已有研究来看，靠端云协同的方式来运行大模型并非不可能之事。
以谷歌和DeepMind同时推出的投机采样（speculative sampling/decoding）为例，这项技术就能在提升大模型推理速度的同时，确保生成效果。
具体而言，它将一个大模型和一个较小的大模型（draft模型）进行组合，来解决大模型推理时的“内存限制”问题。
然而，这个较小的模型并非“随便就能找到”，它必须和大模型“配套”，例如接口要统一、概率分布也要接近等。
vivoLM这5个大模型如果相互“配套”，就能运用类似技术来实现端云协同的效果：大模型在云端进行计算，更小的模型则放在端侧运行，能节省相当的推理成本。
这一套大小组合拳下来，搭载大模型的vivo手机新系统会拥有什么新功能，似乎也能管中窥豹一番。
使用方法上，vivoLM目测会以语音助手的形式作为入口，作为全机的“智能助理”随叫随到；
具体功能上，又主要可能分为三大类：
生成类任务，如邮件智能撰写、AI头像生成等；
复杂任务调度，如一键总结通话内容、设置特定使用场景等；
意图理解，如根据模糊需求定制差旅等。
随着大模型的不断“进化”，更丰富的功能还会出现。周围认为：
大模型在手机上的应用，有辅助智能和主动智能两个应用阶段。在主动智能阶段，还有相对高阶的呈现。
所以，vivo搭载大模型的新系统，究竟是否值得期待一波？
为什么值得期待？
最直接的原因当然是玩手机可以更爽了。
而且这也顺势把更多人推入最新一轮科技浪潮中，拥抱大模型，切实感受AI影响下人机交互的变革。
更深层的原因则在于，vivo作为头部手机厂商自研大模型，本身就令人期待。
其一，vivo自研AI大模型一定是用户导向型的。
它有明确的应用落地场景——手机；清晰的目标——用AI重塑操作系统。
这使得vivo自研大模型将会天生和手机操作系统更加适配，从而能激发出大模型在端侧应用的更多潜力。
其二，vivo本身有着扎实自研功底，在AI领域更是深耕多年。
如今一朝推出自研大模型，不仅是研发实力的再一次自证，更能从这一成果中窥探出vivo对于最新技术趋势的理解。
vivo的AI战略最早起始于2017年，vivo创始人兼总裁沈炜当时提出：
人工智能是所有技术创新的最底层技术，在未来很长一段时间，我们都应该去“过饱和”的投入。
vivo人工智能全球研究院也在这一年开始筹备，2018年正式成立。
由此vivo也成为首批设立专攻人工智能方向研究院的中国手机公司之一。
数据显示，自成立起至今，vivo AI研究院就维持着千人规模的研发团队。到2021年，vivo已有超过600人专注研发大模型。
2018年以来，vivo累计在顶级期刊发表高水平论文70余篇，并持续将顶尖学术成果转化为算法和工程应用。
同时还成立了图谱研究院，通过专业团队建设知识图谱，目前已累计2800TB数据。
△vivo副总裁、全球AI研究院院长周围
而在AI之外，vivo在芯片、系统软件、影像算法等方面的自研实力同样不俗。
从2021年至今，vivo自研影像芯片已推出三代。
最新一代V3采用6nm制程，在安卓手机上实现了首次4K电影人像视频和4K级拍后编辑。
而且还能实现大量自研影像算法同时开启的效果。
如AI降噪、MEMC插帧算法、HDR技术以及图像变焦算法等，V3都能同时处理，并将延迟保持在用户可接受范围内。
系统软件方面，vivo在安卓系统上提出了自己的理解：OriginOS，让系统交互和设计更加人性化。
比如点赞颇多的原子通知和原子组件，就很好体现了OriginOS更直观的交互逻辑，通过点、触、滑动能直接使用组件功能。
OriginOS 3中的侧边栏，具备场景识别能力，能根据用户正在浏览的界面，在侧边栏中匹配所需的应用。
此外，vivo还将诸多创新技术注入OriginOS，从系统更底层带来更加丝滑流畅的操作体验。
OriginOS的智算中枢基于上中下三层框架创新，底层实现基础能力突破、中层对资源调度优化、上层升级视觉与操控感知。
还自研了“不公平调度”，可实现系统资源优先调度至前台，暂缓后台需求，提升运行流畅度。
在更前沿的技术探索上，vivo的布局也相当超前。
比如vivo从2019年开始就已经启动了6G项目，2020年10月发布6G系列白皮书，2022年对外展示一系列6G核心技术原型机。包括通信感知一体化的无线呼吸监测与目标测距测速，基于反向散射的极低功耗通信，以及AI通信四台原型机。
而且这些在6G上的研发投入还号称“不设预算上限，该投多少就投多少。”
△通信感知一体化——目标测距测速原型样机
综上，vivo自研大模型，确实值得期待。
不仅因为它是又一家快速跟进大模型趋势的头部手机厂商，更在于vivo有着对手机场景的深刻理解，同时还具备可观的技术储备和自研能力。
它的大模型答卷能直接影响到普通用户，也为行业带来了一份新的理解和参考，甚至也会为推动大模型趋势向端侧发展做出贡献。
vivo自研AI大模型意味着什么？
首先对于普通人来说，一个有大模型打底的手机操作系统，几乎是最便捷拥抱大模型的入口。
最新一轮技术趋势席卷而来，试问谁不想快速尝鲜、跟上潮流、甚至用技术改变生活？
但大模型的使用确实还存在一定门槛。而且对于很多人来说，最新技术该怎么用、用在哪，都还是个问题。
而手机刚好能成为一个连接大模型和普通人的平台，并且直接提供了使用场景，操作门槛也不高。
由此，新一代人机交互的底层逻辑，不知不觉间渗透到了大众群体之中。
其次对于行业而言，vivo入局大模型不是意料之外，而是必然使命。
ChatGPT带起行业趋势后，人们对于超级AI助手的想象更加具体了，钢铁侠的贾维斯也在过去一段时间内被反复讨论。
回到现实中来看，离这一角色最近的，不正是手机中的语音助手吗？所以对于手机行业来说，给语音助手注入大模型能力，几乎是水到渠成的事。
但并不意味着这件事很简单。
如何让普通用户能深切感受到大模型的能力？如何与上一代语音助手明显区分？如何实现真正意义上的更便捷、更高效？这些模糊要求背后，需要一个个明确的行动目标和具体技术作为支撑。
谁有能力搞定这些问题？
当然是既懂AI、又懂手机，还要能一线触及广大普通消费者的那个厂商，vivo是会被想到的名字之一。
Canalys报告显示，今年第二季度，vivo以18%市场份额位列国内智能手机市场榜首。
作为头部厂商，vivo更彻底、更全面接入大模型能力，不仅是对自家产品的重大升级，也是对行业发展的正向推动。
大模型趋势给当下发展成熟的手机产业带来了新增长点，如何抓住趋势、快速跟进，还要看各家厂商具体的行动。
从vivo的最新动向里不难看出：
第一，vivo肯定大模型趋势，决定躬身入局；
第二，vivo认为这会是一场全行业的行动，由此它们在发布大模型的同时，还要将70亿参数版本模型的能力贡献出来，把训练的能力、调优的能力、各个行业数据热拔插的能力，全部整合起来、贡献出来。
更进一步，vivo还给行业带来了自己的理解。
周围此前在采访中透露：
vivo从3-5年的角度去看行业可能出现的冲突和难题：大模型应用如果要解决成本的问题就要上端，如果要上端的话就要解决系统最小权限和算力以及最重要的内存资源的问题。
另外，要解决大家私有化、核心竞争力自我保护的问题，未来vivo将拿出解决方案，贡献给行业。
而透过这样的理解和规划，也不难得出一个结论：
vivo入局大模型趋势，更是给自己创造新的增长点。
结合行业近况不难发现，大模型的端侧应用竞争已露出苗头。各大手机厂商纷纷押注大模型，自研也好、合作也罢，总之是要先在赛道中抢占优势身位。
但入局还只是完成了起跑。
毕竟大模型的应用落地，如何持续迭代、不断优化、提升体验更为关键，稍有不慎可能就会被弯道反超。这无疑对团队的技术研发能力、产品理解能力和趋势洞察能力都提出了更高要求。
所以，大模型端侧应用趋势的到来，不仅给手机行业带来新的增长周期，更带来了一个覆盖全行业的技术升级周期。
也怪不得有人提出，今年大模型重塑搜索引擎，明年或许就要重塑端侧了。这也让人更加期待由手机厂商自研的大模型，会带来哪些新改变？
11月1日，vivo自研大模型将正式与大家见面。
你期待看到哪些升级和改变？欢迎评论区讨论~
— 完 —
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~