再谈RAG范式的2个问题：文档解析流程的具象化理解及语义分割方案
今天是2024年5月8日，星期三，北京，天气晴。
今天我们来看看2个问题，一个是再看RAG中文档解析流程的具象化理解，理解下文档处理中几个模块的输入输出；另一个是现在的语义分割模型，这种思路很依赖于场景标注数据集。
供大家一起参考并思考。
问题1：再看RAG中文档解析流程的具象化理解
《A Method for Parsing and Vectorization of Semi-structuredData used in Retrieval Augmented Generation》（https://arxiv.org/pdf/2405.03989）这个实验报告其中提到的针对半结构化文本的具象化理解，可以看看，加深印象。
1、整个的实现流程
在解析过程中，利用目标检测系统detectron2(https://unstructured-io.github.io/unstructured/platform.html)，将.docx文件划分为多个元素，包括标题、文本、图像、表格、页眉和页脚。细化过程只保留了四个核心元素：“标题”、“文本”、“图像”和“表格”，对于“Table”元素，核心文本信息保留在元素的“text属性”中。
2、关于图表部分的处理
对于“图像”元素，利用“gpt-4-vision-preview”API，生成特定查询，提示GPT提供图像的详细文本描述，取代图像最初占据的位置。
3、关于表格部分的处理
为了表格的格式保真度，存储了其HTML表示，可以具象化如下：
这类数据也可以转成html格式进行渲染
实际上，当前的许多工具都已天然支持，例如llama_parse：https://docs.llamaindex.ai/en/stable/module_guides/loading/connector/llama_parse.html，以及ragflow(https://github.com/infiniflow/ragflow.git)
当然，当前也有一些开源工具集合：
问题2：RAG中的语义分割方案是什么
语义分割模型是当前进行chunk以及在缺少段落信息的场景下，我们所需要关注，langchain中内置的一些方案实际上很粗糙暴力切分。我们可以看看这个问题，一个具象化的结果如下：
有一些方案，例如，基于Cross Segment Attention的文本分割。例如，工作《Text Segmentation by Cross Segment Attention》(https://aclanthology.org/2020.emnlp-main.380.pdf)中提到了3种方案：
在跨段BERT模型（左侧）中，模型提供潜在段落断点周围的局部上下文：左侧k个标记和右侧k个标记。
在BERT+Bi-LSTM模型（中间）中，首先使用BERT模型对每个句子进行编码，然后将句子表示输入到一个Bi-LSTM中。
在分层BERT模型（右侧）中，首先使用BERT对每个句子进行编码，然后将输出的句子表示输入到另一个模型当中。
另外，也有一个开源项目SeqModel模型，用于文本切分，地址：nlp_bert_document-segmentation_chinese-base(https://modelscope.cn/models/damo/nlp_bert_document-segmentation_chinese-base/summary)可以进行调用。
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
p = pipeline(
task=Tasks.document_segmentation,
model='damo/nlp_bert_document-segmentation_chinese-base')
result = p(documents='......')
print(result[OutputKeys.TEXT])
当然，效果并不是很好，如下一个badcase:
总结
本文主要谈了2个问题，一个是再看RAG中文档解析流程的具象化理解，一个是RAG中的语义分割方案是什么，后者实际上很依赖标注数据。
参考文献
1、https://blog.csdn.net/v_JULY_v/article/details/135386202
2、https://arxiv.org/pdf/2405.03989
关于我们
老刘，刘焕勇，NLP开源爱好者与践行者，主页：https://liuhuanyong.github.io。
老刘说NLP，将定期发布语言资源、工程实践、技术总结等内容，欢迎关注。
对于想加入更优质的知识图谱、事件图谱、大模型AIGC实践、相关分享的，可关注公众号，在后台菜单栏中点击会员社区->会员入群加入。