导读 大模型幻觉问题在大模型应用过程中,非常阻碍实际业务落地。解决该问题是一项复杂的系统工程任务,需多角度综合探索。业界正通过持续的研究与实践,寻找更有效的检测与缓解策略,以提升大模型的可靠性、安全性与实用性。
本文将从五个方面探讨大模型幻觉问题,具体探讨内容如下:1. 什么是大模型幻觉问题
2. 360 可信大模型的幻觉解决方案
3. 360 可信大模型应用案例
4. 360 可信大模型的未来探索
5. 问答环节
通过对上述五个方面的深入分析,希望可以为理解和应对大模型幻觉问题提供清晰的视角与方法。
分享嘉宾|孙林 360 算法高级研究员,大数据协同安全技术国家工程研究中心大模型专委会主任
编辑整理|马同学
内容校对|李瑶
出品社区|DataFun
01
什么是大模型幻觉问题1. 什么是大模型幻觉首先介绍一下什么是大模型的幻觉。 在某些情况下,我们在使用大模型生成结果时,会有一个直观的感受,就是“一本正经的胡说八道”。2. 大模型幻觉问题产生的原因
上节介绍了大模型幻觉的定义和分类,接下来介绍大模型幻觉问题产生的原因,共有三大类。3. 如何检测大模型幻觉
上文介绍了大模型幻觉问题的产生原因,接下来介绍大模型幻觉问题的检测。(1)按照知识的确定性划分类别 首先,判断用户问题是否可以回答,即问题是否客观、真实、确定性。例如主观问题、哲学类问题、科学想象问题、尚未形成科学共识的问题等,如果希望模型给出确定性答案,大概率是存在问题的。当然,对这种问题,有一个讨巧的办法,让生成结果更符合人类偏好,对于主观问题,给出多种可能答案。其次,当排除掉非确定性答案的问题后,对于有确定答案的问题,从大模型对知识掌握的认知层面看,又可以分成如下几类:大模型知道自己知道知识
大模型不知道自己知道知识
大模型不知道自己不知道知识
大模型知道自己不知道知识
360 可信大模型的幻觉解决方案
1. 在数据、算法、推理阶段,缓解大模型幻觉问题
综上来看,大模型幻觉产生的各类问题都有相应的缓解方案,在实际工作过程中,根据不同问题可以利用不同解决办法,包括预训练、微调、对齐、解码策略、RAG、知识编辑等技术。2. 使用 RAG 缓解大模型幻觉
(1)RAG 工作流程 利用预训练阶段优化方法去解决幻觉问题成本较高,可以考虑利用 RAG 和知识库的方法来缓解大模型幻觉。首先,对于用户输入进行预处理工作。然后,进入语义路由判断问题类别,对于创意性任务例如写小说,则无需考虑幻觉问题,因此这类任务偏好多样性和创意性。对于事实性、政治性、严肃性问题,需要通过特定的知识库,进行知识增强,进一步生成答案。生成的答案依然可能存在幻觉问题,需要分类器判断是否存在幻觉,如果有再进一步缓解。最后,为了判断回答是否与任务相关,如果大模型回答没有解决用户问题,则需要新一轮的迭代处理策略。(2)RAG 技术架构 这是一个比较详细的 RAG 技术架构图,主要包括 query 分析、建索引、搜索排序、上下文选择、推理等阶段。Query 预处理,包括query 扩展、query transformation、query routing 语义路由等模块。对于检索模块,需要根据不同的数据类型使用不同的检索技术。比如结构化数据、半结构化数据、非结构化数据,公开数据、私域数据等。对于非结构数据和半结构化数据,可以通过文档解析、切片、embedding 向量化后,通过向量检索引擎进行索引。对于结构化数据,可以使用关系型数据库、图数据库等进行建模;最后,对于不同的索引数据类型,使用不同的 query 查询技术进行混合建设,比如关键词搜索、基于 embedding 的语义相似度检索、text 转 SQL 后的结构化查询、text 转 graphSQL 的 N 元组查询等,对于查询结果进行重排序,将重排序后的结果给到大模型作为上下文信息,由大模型进行推理。3. query 预处理
(1)sub-query 对于某些问题,本身需要多步推理,可以先针对这些问题,通过大模型,基于少量示例(fewshot)学习或者特定任务微调(SFT),生成一系列子查询,从而引导大模型一步一步针对性回复,在我们实际的工作中能够得到比较好的收益。(2)Text2SQL Text2SQL 在智能 BI 场景里也在落地。目前,对于简单的 SQL 效果还可以,但是联表等复杂查询效果还有进一步提升空间。在实际业务中,可以通过减少联表查询的策略来提升相应的效果,比如创建一个大宽表(wide table)。text2sql 技术包括3 个阶段,预处理、sql 语句生成、后处理。通过 schema linking 技术,结合 Few-shot 学习方法或者 SFT 技术,让模型快速学习如何根据特定的 schema 生成 SQL 语句。生成的 SQL 语句,可能存在错误,因此需要通过后处理阶段来进一步修正。一方面可以通过调用多个大型语言模型来生成 SQL 语句,通过多模型投票的策略提高查询的准确性和可靠性,也可以通过对单个模型多次生成具有不同温度参数(temperature)的查询结果,增加结果的多样性,然后通过一致性投票技术来选择最终的输出结果。4. 文件解析
用户可能上传 PDF 文档、word 文档、FAQ 数据等结构化、半结构化的数据。对于 PDF,不仅是文字,还涉及表格、公式、图表等,都需要解析,这里涉及版面识别的工作。 识别区域后需要进一步处理。对于表格,需要使用图像处理 OCR 的方法,对表头、列、元素等进行定位和提取。 同时,我们需要对文档中的公式进行识别和解析,并建立索引,以帮助提升搜索结果的准确性。5. 数据增强
对于解析后得到的文本数据,可以通过数据增强技术来帮助进一步提升搜索效果。Self-QA 这项工作针对于文档让大模型生成多个问题,然后将问题和原始文档给到大模型,让大模型生成答案,从而构造了<question, answer>的 pair 对,形成了 FAQ 库。后续在检索时,不只是对原始的 document 做索引,还可以对 FAQ 做索引。此外,还可以进一步对 FAQ 库进行数据增强,比如对 question 通过大模型构造相似问,或者对 answer 进行 summarize 后,让大模型生成 question 等。这种方式还有一个好处,后续可以将 badcase 的维护工作交由产品运营同学来完成。 对于图片数据,可以使用 LLaVA 等模型通过图像描述(image captioning)技术,将图片转成文本描述进行索引召回。在索引的时候,需要在索引的 meta 字段记录图像和文本描述的链接关系,大模型输出时,可以通过证据溯源技术,把原始图像引用出来。 我们在实际业务中,经常会遇到一些 bad case,比如对文档进行总结摘要,这种场景使用传统的 RAG 技术无法得到很好的满足。我们使用了微软团队的 GraphRAG 工作,对文档进行增强建模。具体来说,对于 document 先切成 trunk,即 Text unit。对于每个 textUnit,进行 SPO 三元组抽取、claims 抽取、摘要生成等工作。然后构建知识图谱,并进行层次聚类,构建成子图、社区等层级,并向量化。在查询的时候,既可以使用全局搜索技术利用社区层级摘要来推理有关语料库的整体问题,也可以使用局部搜索技术通过扩展到其邻居和相关概念来推理特定实体的情况。6. context selection
研究发现,如果给到大模型的文档或知识库本身就是不相关的,效果反而更差。因此,我们可以在检索后或者重排后将结果进行过滤。例如,通过小模型把不相关的结果过滤掉。如果是复杂的查询,可以将搜索结果组织成选择题形式,使用大模型做选择题的能力,过滤掉不相关的查询片段。此外,也可以利用 small2big、调大长文本窗口甚至让大模型直接处理整篇文档等技术来提升效果。7. 在推理时解决幻觉
(1)解码策略 大模型在推理过程中,前期生成的内容幻觉率不高,但在推理后期,由于解码的时候依赖于前面生成的 token,这个时候幻觉问题就会出现了,可以通过动态调整解码参数的方法来缓解。此外也有一些工程化的方案,比如基于 semantic routing 的技术,对于不同任务,设置不同的解码参数,也能达到不错的效果。(2)Contrastive Decoding 对比解码技术,是通过比较不同模型(通常是一个小模型和一个大模型)的输出来提高解码过程的准确性的。在对比解码中,分析大模型和小模型在下一个 token 预测上的分布差异(DIFF),以此来评估输出的可靠性。在解码过程中,通过识别和剪除可能导致幻觉的路径来减少不真实的输出。需要对差异阈值进行细致的调整,以平衡减少幻觉和避免错误剪除有效输出之间的权衡。这个工作,需要注意线上成本,即是否接受小模型在线上运行。(3)Recitation-augmented generation 回忆增强技术是一个比较有意思的工作,类似于人类在回答问题时会先回忆自己已经学习到的知识,然后再进行回答。可以通过模拟人类回答问题的策略,通过提示工程技术,让大模型在回答之前先回忆内部知识,将知识显性化放到上下文中,然后再根据上下文信息进行回答,以提高其回答问题的准确性。(4)Gen-Critic-Edit 自我批判或者知识编辑,是利用外部数据库、外部工具、大模型自我判断等方法,让大模型对生成结果进行反思和自我批评,然后再修正回答的一种技术。在修正阶段,可以使用对答案进行多次生成与一致性投票、训练一个额外的模型来对生成的回答进行打分以评估其质量、使用 RAG 技术从知识库中抽取相关证据并利用抽取的证据来指导模型进行进一步的生成等多种策略,来提高回答的准确性和可靠性。这里列举几个比较典型的工作。①RARR RARR 这个工作通过让大模型对原始 query 进行改写从而生成多个 query,然后对每个 query 调用搜索引擎,将搜索结果作为参考信息,用于与模型生成的回答进行比较。如果搜索结果与原始回答存在冲突,模型将根据这些信息进行进一步的生成和修正。如果搜索结果与原始回答一致,模型可能认为没有幻觉存在。②FAVA FAVA 工作需要训练一个改写模型,具体来说,通过数据增强的方式,比如插入噪声文本,修改文本等技术对原始文本进行破坏,将得到的错误文本和原始正确文本给到大模型进行训练,让大模型学会纠正能力。这种技术具备一定的成本,适合解决事实性问题,例如政治敏感场景,效果较好。③some critics 在自我反思和自我批判模块,还有 CRITIC、self-refine 等一些优秀的工作,这里就不做过多介绍了,大家感兴趣可以自行查阅相关材料。8. 模型增强技术
接下来是一些成本比较高的方法,包括预训练和微调对齐技术。(1)预训练 当大型语言模型缺乏特定知识时,首要方法就是将这些知识通过预训练的方式训到大模型中。可以从外部数据源,如 Common Crawl 等数据集中提取相关知识,并将其纳入模型训练中。对于时效性较强的知识,可以通过时效性搜索引擎或数据抓取工具,实时或定期地更新模型的知识库,在模型的持续预训练阶段,不断引入新知识以保持模型知识的时效性和覆盖面。训练过程中需要仔细调整数据回放比例、学习率、数据配比等。(2)微调和对齐 在微调阶段,如果微调数据集中包含了预训练模型中不存在的知识,大模型可能会生成不准确或虚假的回答,可以在预训练的退火阶段对微调数据集进行 next token prediction 的建模,然后通过 SFT 和 DPO 技术进行进一步微调对齐。注意,直接使用人工标注的数据和搜索引擎结果作为正负例进行对齐训练可能存在问题。正例和负例的生成应尽量来自原有模型的输出,而不是外部来源,以保持数据的一致性和可靠性。建议训练一个打分模型来评估数据质量,帮助识别哪些数据是高质量的正例,哪些可能是低质量的负例。03360 可信大模型应用案例
1. 360 大模型安全解决方案
我们将上述 360 可信大模型解决方案应用在了大模型的内容安全检测业务和防护上,在中国信通院 AI Safety Benchmark 的 Q1 和 Q2 两个季度的安全性评估上,360 智脑的安全性蝉联第一名。2. 360AI 搜索
同时,我们将上述解决方案应用在了 360AI 搜索产品中,可以看到 360AI 搜索产品可以很好解决这些 GPT4 解决不了的幻觉性问题。3. 360AI 浏览器
360AI 浏览器的智阅产品,用户可以上传文档,根据文档做问答、做翻译、生成脑图,读者有兴趣可以去体验一下这套方案在真实的业务场景里面到底做得怎么样。04360 可信大模型的未来探索
我们的探索不是完成时,而是进行时。在真实生成环境中,随着业务、方案落地,我们遇到更多挑战。随着评测,我们发现 benchmark 跟真实场景的数据分布和幻觉一致性不完全相同。所以,我们需要自己在业务场景中构建自己的 benchmark,并且不断迭代,去进一步发现问题。05问答环节
Q1:RAG 工作流程中,二元分类器是怎么训练的?A1:首先建立幻觉体系,根据不同幻觉类型,标注不同类别。数据主要来自于线上日志。通过使用各种自动化辅助标注工具进行离线数据挖掘和数据标注,并进行人工打标,最终形成了我们的训练数据,然后再进行分类模型的训练。Q2:混合检索结果的重排序,有哪些方法?A2:我们的方案涉及到了多种检索策略,包括关键词搜索、语义搜索、关系型数据库搜索、图搜索、工具调用等。对于每种检索策略,首先会调用自己的重排序方法,比如对于语义搜索,可以使用 bge-rerank 相关的模型。最终多条召回流的结果,可以使用策略重排或者通过数据标注训练一个重排模型,这里要结合自己的业务场景来进行调优。以上就是本次分享的内容,谢谢大家。分享嘉宾
INTRODUCTION
孙林
360
算法高级研究员,大数据协同安全技术国家工程研究中心大模型专委会主任
孙林,现任 360 算法高级研究员,大数据协同安全技术国家工程研究中心大模型专委会主任,负责 360 智脑基础大模型研发管理工作,曾先后供职于腾讯、贝壳找房,任数据智能中心总经理,知识图谱标准联盟副秘书长。拥有十多年人工智能技术研发和多元化团队管理经验,长期深耕于自然语言处理、大模型、搜索引擎、知识图谱等领域。
活动推荐
往期推荐
如何用Agent打造游戏Copilot?「永劫无间」手游AI队友的技术实现路径
数智平台重回“战国时代”:新一代 Data+AI 架构设计与演进
腾讯大数据实时湖仓智能优化实践
大模型数据建设探索与实践
一念 LLM 大语言模型推理加速
数据治理全景:技术成熟度曲线深度分析
主动元数据平台——实现持续、主动、长效数据治理的基石
面向 Data+AI 时代的数据湖优化与实践
创新 IAA 技术:360 引领语言模型在多模态理解中的无损进化
LLM 快速发展时代下图基础模型初探
点个在看你最好看
SPRING HAS ARRIVED