Llama 3.1模型开源及RAG问答最新进展：兼看角色扮演大模型、text-SQL总结

今天是2024年7月24日，星期三，北京，天气晴。

我们今天来回顾下昨日大模型进展，这是社区每日例行的工作，感兴趣的可以加入共享。

昨日主要动态主要围绕RAG、text-SQL、Llama 3.1模型开源等几个方面的内容。

很多工作和思路都很有趣，供大家一起思考并参考。

一、综述进展：从角色扮演到text-SQL

1、关于角色扮演的一个论文汇总

最近出来一个系统性的整理工作，Awesome-Role-Play-Papers (beta) - Your Guide to Role-Playing with Language Models，对应论文是《The Oscars of AI Theater: A Survey on Role-Playing with Language Models》(https://arxiv.org/abs/2407.11484)

尽管大型语言模型（如GPT-3、BERT等）已经能够作为助手，但人类对它们的需求正在逐渐超越这一角色，开始让这些模型扮演电影明星、游戏角色或亲属等特定角色。

该工作介绍了角色扮演语言代理（RPLAs）的架构，包括记忆、规划和行动等关键模块，并回顾了角色扮演的基础模型，包括非预训练模型、基于PLM的模型和基于LLM的模型。

可以看看对应的数据：

也可以看看对应的模型：

地址在: https://github.com/nuochenpku/Awesome-Role-Play-Papers

2、text-SQL进展，用大模型进行文本到SQL任务的综述

text-SQL一直是当前的一个有趣话题。最近的工作《A Survey on Employing Large Language Models for Text-to-SQL Tasks》主要探讨了如何利用大型语言模型（LLMs）来解决文本到SQL（Text-to-SQL）任务。

重点可以看看当前text2sql的精度演变：

以及text2sql中的工程策略，LLMs应用于下游任务的两种主要方式是提示工程和微调。提示工程通过检索增强生成（RAG）、少样本学习和推理等方法来改进LLMs的输出。微调则是在特定领域语料库上对预训练的LLMs进行进一步训练。

地址在：https://arxiv.org/pdf/2407.15186

二、RAG进展-RadioRAG、chain-of-thought-rag及实践复现

1、RAG进展，里面提到的动态RAG可以看看

《RadioRAG: Factual Large Language Models for Enhanced Diagnostics in Radiology Using Dynamic Retrieval Augmented Generation》，通过动态检索增强生成技术，利用放射学在线资源，提高大型语言模型（LLMs）在放射学诊断中的准确性和事实性。

里面的动态不是什么新东西，指的是直接从权威的放射学在线资源（如 www.radiopaedia.org）动态检索数据。

框架如下：

• Key-phrase Extractor（关键短语提取器）：使用GPT-3.5-turbo模型通过API提取给定放射学问题中最有代表性的关键词，最多提取五个。

• Online Context and Database（在线上下文和数据库）：根据提取的关键词，在www.radiopaedia.org上搜索相关文章，选择与每个关键词最相关的五篇文章。将这些文章分割成1000个标记的块，每个块有200个标记的重叠，并将每个块转换为向量。

• Retriever（检索器）：使用相同的嵌入函数将原始查询转换为向量，并与数据库中的所有向量进行比较，以余弦相似度检索最相似的前三个向量。

• Large Language Model (LLM)（大型语言模型）L最后阶段涉及正在研究的LLM，接收原始查询以及前一步骤检索到的上下文相关文本片段，并提供基于提供上下文的简洁回答。

地址在：https://arxiv.org/pdf/2407.15621

2、RAG进展，结合链式思考(chain-of-thought)方法增强生成对话模型的能力

An Empirical Study of Retrieval Augmented Generation with Chain-of-Thought，通过结合链式思考(chain-of-thought)方法增强生成对话模型的能力，描述了RAFT微调（RAFT Finetuning）的过程，包括如何结合检索增强生成（RAG）和监督式微调（SFT），以及如何使用思维链风格的回答作为目标文本来提高模型的推理能力。

其中提到的样例如下：

地址在：https://arxiv.org/pdf/2407.15569

3、关于RAG实践

社区成员这几天把论文《Searching for Best Practices in Retrieval-Augmented Generation》提到的模块基于llamaindex都做了一遍。

大模型检索增强生成技术最佳实践。本项目对论文《Searching for Best Practices in Retrieval-Augmented Generation》(https://gitee.com/link?target=https%3A%2F%2Farxiv.org%2Fabs%2F2407.01219)中提到的方案进行实现，论文中将RAG过程划分为如下阶段，并通过实验说明每个阶段模块选择最佳实践方案。

• Query Classification：并非所有查询都需要检索增强。
• Chunking：块大小显著影响性能。更大的块提供了更多的上下文，增强了理解，但增加了处理时间。较小的分块提高了检索的召回率，减少了时间，但可能缺乏足够的上下文。使用sliding window技术更加有效，即将文本按照句子进行划分，每个块包含窗口大小个句子。
• Embedding：嵌入模型选择LLM-Embedder，其与BAAI/big-large-en的效果相当，但前者的大小比后者小三倍。
• Vector Database：Milvus支持多种索引类型、十亿规模的向量支持、混合搜索和云原生能力。
• Retrieval：HyDE（pseudoDoc+query）+Hybrid Search（=0.3*BM25+Original embedding）。
• Reranking：monoT5模型参数量小且准确率相对较高，RankLLaMA绝对准确率更高。
• Repacking：reverse方式最好。
• Summarization：Recomp | Fangyuan Xu,Weijia Shi, and Eunsol Choi. Recomp: Improving retrieval-augmented lms with compression and selective augmentation. arXiv preprint arXiv:2310.04408, 2023.
• Generator Fine-tuning：混合相关和随机上下文可以增强生成器对无关信息的鲁棒性，同时保证相关信息的有效利用。用一个相关文档和一个随机选择的文档来训练。

其中，项目基于LlamaIndex RAG框架实现，向量数据库选择Qdrant。

大模型选择基于Ollama本地调用qwen2-1.5b模型，嵌入模型选择BAAI/bge-large-zh-v1.5。 选择原因：

LlamaIndex框架对当前较为常用的技术进行了模块化封装，其认为相较于langchain框架来说，其抽象层级更高，把更多的时间用于高层次的思考，而不是陷入编程的细节。

此外，Qdrant数据库比Milvus更容易部署，且文档较为详细直观。

地址在：https://gitee.com/ccql/rag-best-practices，感兴趣的可以看看。

三、大模型开源进展-Llama 405B开源

Llama 3.1模型开源，包括405B、70B和8B版本，提升了上下文长度至128K，整体大小约820GB：

其中，

在数据方面，与之前的Llama模型相比，此次版本提高了用于预训练和后训练的数据量和质量。这些改进包括为预训练数据开发了更加谨慎的预处理和策划流程，以及为后训练数据开发了更加严格的质量保证和过滤方法。在大约15万亿个多语言token的语料库上预训练Llama 3，相比之下，Llama 2的token数量为1.8万亿。

在规模方面，在一个比以往Llama模型大得多的规模上训练模型：型使用3.8 × 10^25次浮点运算进行预训练，几乎是Llama 2最大版本的50倍。具体来说，在15.6万亿个文本token上预训练了一个具有4050亿个可训练参数的旗舰模型。

在扩展性方面。选择了一个标准的密集Transformer模型架构并进行了一些小的调整，而不是选择一个专家混合模型以最大化训练稳定性。同样，采用了一个相对简单的后训练程序，该程序基于监督式微调（SFT）、拒绝采样（RS）和直接偏好优化（DPO），而不是更复杂的强化学习算法，这些算法往往不太稳定，更难扩展。

对应的技术报告地址：https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

官方地址：https://ai.meta.com/blog/meta-llama-3-1/

总结

本文主要回顾了昨日大模型进展，主要动态主要围绕RAG、text-SQL、Llama 3.1模型开源等几个方面的内容。

大家感兴趣的可以查看原文，会有更多收获。

关于我们

老刘，NLP开源爱好者与践行者，主页：https://liuhuanyong.github.io。

老刘说NLP，将定期围绕大模型&知识图谱&RAG&文档理解四大主题，进行前沿技术、实践项目等总结等内容，欢迎关注。

对大模型&知识图谱&RAG&文档理解感兴趣，并对每日早报、老刘说NLP历史线上分享、心得交流等感兴趣的，欢迎加入社区，社区持续纳新。

加入会员方式：关注公众号，在后台菜单栏中点击会员社区->会员入群加入