大模型prompt工程及Text2SQL方案总结：从数据集、模型策略及评测基准角度

今天是2024年6月14日，星期五，北京，天气晴。

我们来看看两个问题，一个是关于prompt工程的多方位索引整理，旨在回答当前文本、多语种、多模态都有哪些流行及常用的prompt策略；

另一个是关于Text2SQL技术方案的一个系统整理，都很干货，感兴趣的可以看看。

问题1:关于prompt工程的多方位方案索引

我们来看看关于prompt工程的综述整理，实际上，目前做的比较好的，有两个综述。

一个是 《The Prompt Report: A Systematic Survey of Prompting Techniques》(https://arxiv.org/abs/2406.06608) ，该工作围绕prompt工程，提出了一个全面的33个词汇术语词汇表，58种仅文本提示技术的分类，以及40种其他模态的提示类型，其可以作为一个很好的提示索引。

可以关注的点，包括其对prompt的提示分级：

对于文本模态text-based prompting techniques：

以及每个promp方案的流行度，该工作也做了统计：

也包括一些多语种的提示，multilingual prompting techniques。

也包括一些多模态的提示，multimodal prompting techniques。

另一个是 《A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications》(https://arxiv.org/abs/2402.07927)，该工作围绕的主要是文本侧的prompt策略，也很有指导意义。

关注点1：LLMs中提示工程技巧的分类，围绕应用领域组织，为在不同情境中定制提示提供了细致的，

关注点2:LLMs普遍提示技术的总结：应用、提示获取、提示轮次、语言模型、数据集和度量指标。

问题2：关于基于大模型来完成Text2SQL的方案索引

作为第二个问题，我们来看看一个基于大模型方案，一般的流程如下图所示：

从Spider中选取的一个基于大型语言模型（LLM）的文本到SQL的示例。用户提出了一个问题：“哪些卡通片是Joseph Kuhr编写的？”LLM将这个问题及其对应数据库的schema作为输入，然后生成一个SQL查询作为输出。这个SQL查询可以在数据库中执行，并检索到内容“蝙蝠侠系列”，以回答用户的问题。

最近的工作 《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》(https://arxiv.org/pdf/2406.08426) 介绍了文本到SQL任务的背景和挑战，然后概述了从传统方法到深度学习方法再到预训练语言模型（PLM）和大型语言模型（LLM）的演进过程。接着，文章详细地介绍了用于评估文本到SQL系统的数据集和指标，并对近期LLM在文本到SQL领域的进展进行了系统性分析。

看几个图：

一个是Text2SQL的整体技术演变进展：