知源笔记

AI-GO, 让 AI 更普惠

无忌 · 2023 年 4 月 11 日

1AI-GO 是什么?

AI-GO 是我们自研的 AI 一站式平台, 可以为整个链路的参与者赋能, 提升模型研发和迭代的效率, 加快业务落地的进程! 这样听上去, 是不是觉得还很抽象, 我们一起来看个具体的案例吧!

这是一个真实男性用户的 Feed, 如果需要打压治理这些性感内容, 当然不能完全靠人工审核, 我们需要搞个性感图片识别模型. 如果模型准确率够高, 可以直接依赖模型输出进行打压; 如果模型准确率一般, 也可以减少进人审的量, 而不是全量进人审.

为了让大家对模型研发过程, 有简单的了解, 先来聊聊研发这样一个模型的基本步骤:

  1. 问题分析: 先从业务角度分析问题, 定义问题的类型和范围
  2. 数据标注: 按照梳理的规范, 进行大规模数据标注. 当然这一步也不是必须的, 如果有开源数据集, 又或者直接采购标注好的数据. 另外, 对于像推荐/搜索系统中的一些模型, 是基于用户行为数据来训练的, 那也不需要额外标注数据.
  3. 算法研发: 算法同学根据具体问题的类型, 进行建模, 开发对应的机器学习算法逻辑
  4. 模型训练: 基于标注好的数据, 通过机器学习算法, 学习并输出一个模型
  5. 效果评估: 在上线之前, 还需对模型的效果进行评估, 最简单的看看准确率和召回率
  6. 服务部署: 将模型服务化, 接入线上流程

接入线上之后, 又可能发现新的问题, 就会继续这个流程. 接下来, 继续看看性感内容治理这个项目, 为了数据标注环节, 当时这这样做的.

  • 先找些疑似性感的图片, 通过百度网盘给到武汉标注团队
  • 我们上传, 他们下载, 尤其是下载, 不是会员, 那龟速会让你抓狂
  • 等你好不容易下载好了, 却发现敏感图片被百度网盘"净网"了, 后来没办法, 是通过快递硬盘寄过去的
  • 由于没有标注工具, 他们会将几万张图片拆分成若干个文件夹 (800个), 方便多人并行分拣 (标注)
  • 经过业务产品对问题的分析, 性感图片, 主要分成六种情形, 加上没问题的, 一共创建七个文件夹, 通过拖拽图片, 进行人工分类

这样做有多低效, 大家可以想象! 还有标准的对齐, 分类分错了, 如何翻修! 要想训练一个好的模型, 又需要大量的优质的标注数据, 而标注数据又是一个工作量极其繁重的环节, 如果有个强大的工具, 提升他们的标注效率, 就会事半功倍!

我们来看看麦兜的心路历程:

到了武汉之后,说实话对我的触动还蛮大的,这都2020年了,在一家头部互联网公司还存在着这样一个刀耕火种的原始部落,样本用网盘下载到本地之后,分了大概八百个文件夹吧,每天拖来拖去,鼠标拖坏多少个都不谈了,手指都快磨掉半根了

麦兜从武汉出差回来, 就找到无忌, 希望可以做个标注平台! 而对于无忌, 那几天心情也有些沉重:

最近不是我们都加入了视频2.0战队嘛, 就在7月6日, 就在建筑教室, 开了个会, 会上对目前各个职能模块的现状进行了评估, 内容理解能力垫底, 才20分. 这几天我一直在思考, 怎么能通过半年的时间, 将内容理解能力提升到 70分. 你也知道, 要做好内容理解模型, 就需要大量的优质的标注数据, 你刚刚说他们为了标数据, 拖坏了好几个鼠标, 要不我个人出资赞助他们一批鼠标吧? 再或者, 强制他们团队的同学再多加点班? 再或者, 找人事帮他们多招点人? 哎, 感觉现在无论业务方, 还是数据标注, 还是搞算法模型的同学, 都在赤手空拳地打怪兽, 我在想怎么能给到他们赋能呢! 我有个更大胆的想法, 就是搭建 AI 一站式平台, 除了你说的数据标注, 还有问题分析/算法研发/模型训练/效果评估/服务部署, 让 AI 的整个流程线上化,提升大家的工作效率

于是, 我们就一起来搞这个 AI 一站式平台, 命名 "AI-GO"!

2项目进程

要做这么重一个工具平台, 需要很多开发资源, 并需要很多时间和业务进行打磨, 同时为了不延误在推进的业务进程, 第一个 MVP 版本, 只是解决数据标注部分, 上线之后, 得到了使用方的认可.

“AIGO平台对标注团队的数据标注业务带来了极大的便利,原来用文件夹分类、用表格标注等方式特别原始落后,AIGO能有效的实现数据权限管理,人效管理,质量管理;任务线上化、数据化直观展示。丰富了使用场景,标注效率至少提升了30%以上。” ——张传扬,武汉基地模型标注组组长

“ 我是媒体智能技术部负责数据工程这一块的产品运营,承接公司的模型训练数据标注任务,AIGO主要支持我们对语音数据的标注能力。在开发初期,产品和开发同学不厌其烦地了解我们的标注业务需求,向着更快更准的方向不断努力。同时,休息时间在线调bug、手动支持误删数据回滚更是让跨部门协助更加丝滑。目前语言数据提升的ASR能力已经用于支持安全审核的高危音频专项整治,后续也会不断支持我们的音频能力提升。”——布雷,北京媒体智能技术部数据工程组

AI-GO 不止关注标注效率的提升,对于标注质量的把控, 模型的在线训练/评估/上线, 都有相应的功能模块支持! 我们也不是为了开发平台开发, 坚持从业务中抽象沉淀为工具平台, 这里记录一些里程碑时间节点:

  • 2020.07,项目立项,为平台命名AI-GO,确定平台目标
  • 2020.08,MVP版本上线,创建第一个项目“知识笔记识别”,支持知识类目冷启动
  • 2020.8.31, 支持惊喜盒子笔记识别, 从立项到模型上线, 仅用时 18 天
  • 2020.09,AI-GO逐步完善,支持图片标注,创建第一个图片标注项目“性感图片识别”
  • 2020.10,上线一致率对比、质检等管理工具,对标注的质量把控力上升一个台阶
  • 2020.11, 上线模型训练和模型管理功能
  • 2020.12,支持音频转写,标志着AI-GO从仅支持分类标注,到支持更多类型的复杂标注任务
  • 2021.4, 上线效果评估功能
  • 2020.7.28, 服务模块开发同步进行, 基于 Python 3 开发 Thrift RPC 框架 caesar, 接入公司微服务中间件, 截止目前, caesar 有 51 个模型服务
  • 截至目前,AI-GO已经推广到多个团队在使用,项目数已经达到133个, 有 2k+ 数据集

支持图像/文本/笔记/评论等多种业务场景的问题处理

AI-GO 由两个部分组成: David 控制端和 Galaxy 标注端. 优秀的团队+强大的工具就能发挥更大的作用!

3项目组分工

  • 研发/算法:张无忌、布瑞、秋山、追日
  • 前端支持:酒吞
  • 产品:埼玉、麦兜
  • 还要感谢:在前端人力时雪中送炭的凯奇博士、雷恩,平台搭建过程中不断提供建议和帮助锦上添花的布雷、张传扬等各位的大力支持

4未来的规划

AI-GO 会更加闭环链路, 支持更多业务场景, 惠及所有参与其中的人!

  • AI-GO 更产品化, 增加易用性
  • 模型训练环节, 目前线上仅支持简单的文本/图片分类, 需要拓展到所有的领域
  • 服务部署环节, 目前提供了 Python3 Thrift RPC 框架接入公司微服务, 还需与 k8s 打通, 支持在 AI-GO 上一键部署
  • 未来可期,我们会继续努力,整合沉淀公司各团队模型能力,服务需求方能快速应用已有模型能力,协助让AI开发者能高效高质训练模型,让“AI更普惠”

很多业务细节在文中并未提及, 如果你想进一步了解 AI-GO, 参与 AI-GO, 使用 AI-GO, 欢迎找项目成员进一步了解~

2023 年 4 月 11 日