ACL 2024 | Parrot（鹦鹉）：增强大语言模型在多轮对话中的指令跟随能力

多轮对话是大语言模型与人类互动的主要方式，广泛应用于消费娱乐、生产力工具和创意生成等场景。然而，构建多轮对话能力所需的训练数据人工标注成本高，且难以控制质量和多样性。因此，如何增强大模型的多轮交互能力，一直是业界一项重大技术挑战，其对于大模型研发和落地应用的重要价值不言而喻。

本文介绍了快手「快意」大模型团队和中国人民大学合作，在多轮指令跟随模型训练、数据合成以及评测上所做的系统工作 Parrot（鹦鹉）。Parrot 提出上下文感知的偏好优化策略，引入提问模型构建高质量的多轮指令跟随数据，从而提升大模型多轮指令跟随能力。

在相同配置下，Parrot 使用了约 40k 的训练数据（约为基线模型 Vicuna v1.5 的 32%），但相较于基线模型实现了约 7% 的绝对性能提升。该工作于近期被自然语言处理顶级会议 ACL 2024 录用为主会论文。

论文题目：Parrot: Enhancing Multi-Turn Instruction Following for Large Language Models

论文作者：

Yuchong Sun, Che Liu, Kun Zhou, Jinwen Huang, Ruihua Song, Wayne Xin Zhao, Fuzheng Zhang, Di Zhang, Kun Gai

论文链接：

https://arxiv.org/pdf/2310.07301

多轮对话是人们与大语言模型（LLM）进行互动的主要方式，LLM 的多轮指令跟随能力是衡量其效果的关键指标。然而，目前业界大部分现有研究对于 LLM 在遵循多轮指令方面的能力——包括训练方法、训练数据集和评估基准都未给予足够的关注，这导致模型在单轮评测上表现良好，但在实际应用中效果不够理想。

这篇论文提出了 Parrot（鹦鹉）模型，一种旨在增强 LLM 在多轮交互中遵循指令能力的系统性方案。Parrot 创新的提出了上下文感知的偏好优化策（CaPO）、并基于训练提问模型来收集多轮指令微调数据，提升了 LLM 处理复杂多轮交互的能力。作者还建立了一个新的多轮基准测试 MT-Bench++，为量化评估 LLM 的多轮指令遵循能力提供了基准。

研究背景

多数开源的大语言模型（LLM）在单轮交互中表现出色，在一些评测基准上已经接近或超过了 ChatGPT、GPT-4。然而，在现实世界的应用场景中，用户与 LLM 通常需要进行多轮次对话来交换信息，模型不仅需要理解单一指令，还要在此基础上理解和遵循连续的指令。但是很多现有研究和评测基准都忽略了 LLM 在多轮指令跟随方面的表现，从而导致在实际应用中的模型效果不够理想。[5] 现有工作的不足主要表现在以下三个方面：

训练方法方面，大部分现有工作直接使用 SFT 对模型进行指令微调，这种方式没有针对性地对多轮指令上下文的复杂关系进行优化。尤其是模型在应对包含指代、省略等的复杂指令时，可能导致模型上下文理解能力不足或者产生上下文幻觉。

▲ 图1: Parrot-Ask 合成多轮数据

训练数据方面，现有的多轮数据集通常轮次很短，比如常用的 ShareGPT 约 60% 的数据都在三轮以内。一些合成的多轮数据集使用 ChatGPT 或 GPT-4 来模拟用户，并通过迭代式对话来收集多轮数据，但是这些合成的指令和真实用户指令的分布差异很大，特别是缺少如图 1 所示的真实用户对话中的复杂特征，如指代、省略、口语化等等。

评测基准方面，常用的 MT-Bench 基准虽然包含了八种类别的指令，但只能评测两轮的指令遵循能力。而实际应用中用户与 LLM 的交互可能会远远超过 2 轮，这导致 MT-Bench 不足以评测 LLMs 的多轮指令跟随表现。

针对上述问题，作者设计了上下文感知的强化训练策略，提出了一套高效的多轮数据收集方法，最后通过所构建的包含 8 轮次的多轮指令跟随评测集 MT-Bench++，系统地研究了如何增强和评估大语言模型（LLM）的多轮指令遵循能力。

方法

▲ 图2：Parrot 框架图

多轮数据收集：

▲ 表1：Parrot 数据集和其他数据集的比较

首先，如图2（a）所示，作者通过训练 Parrot-Ask 模型来自动生成类似于人类的多轮指令序列。作者利用真实用户和 ChatGPT 的对话记录数据（如 ShareGPT）来训练 Parrot-Ask 模型，让其从真实数据中学习真实用户的提问风格，从而更好地模拟人类来提出有上下文针对性的问题。

这一训练过程与传统的指令微调实现相反，Parrot-Ask 基于对话历史来预测用户的下一个问题，即在问题令牌上计算损失。在完成 Parrot-Ask 的训练后，作者让它与 ChatGPT 持续交互，并限定最大交互轮次为 10，从而收集了 Parrot-40K 数据集。经过后处理过滤等策略，该数据集的平均对话轮次为 8.7 轮。

上下文感知偏好优化：

其次，作者提出了上下文感知偏好优化策略（CaPO）来增强模型利用对话上下文信息的能力。如图 1（b）所示，通过选择对上文具有强依赖的指令（如省略、指代等），构建相应负样本来模拟 LLM 常见的上下文感知退化现象：

忽略上下文：通过让 ChatGPT 生成回复时不考虑对话历史，模拟当语言模型没有参考对话历史时可能产生的错误回复。
上下文幻觉：首先提示 ChatGPT 猜测指代词或省略所指的是什么，然后基于它的猜测生成回应。这种策略模拟了语言模型在缺乏足够的指代省略推理能力，因此产生幻觉的错误情况。
上下文误解：指示 ChatGPT 从对话历史中选择不相关的信息，并强制模型误解它，来为当前查询中的省略或指代信息生成回应。这种方法模拟了语言模型错误推理指代省略等信息导致的错误。

基于上述三种策略，作者构建了 30K 正-负例 CaPO 训练样本对。接下来，这些数据用于通过直接偏好优化（DPO）算法，来在 SFT 后的 LLM 基础上进一步强化模型在多轮交互中的上文感知和利用能力。通过以上优化，最终得到了增强多轮交互能力的 Parrot-Chat 模型。

实验

▲ 表2：MT-Bench++ 中关于经济主题的八个问题

为了评估 Parrot 方法在多轮交互中的有效性，作者扩展 MT-Bench 形成了包含八个问题的评测集 MT-Bench++。作者要求 MT-Bench++的标注员构建具有挑战性、上文相关性和多样性的问题，来更好地评价 LLM 的多轮交互能力。与 MT-Bench 一样，作者使用 GPT-4 按照【1-10】打分的方式进行评测。

▲ 表3：Parrot-Chat 和基线模型的性能比较

Parrot-Ask 和 Parrot-Chat 采用了 LLaMA-2-13B 验证方案的有效性，与现有的基于 LLaMA-2-13B 基座微调的开源对话模型，包括 Baize、UltraLM、Vicuna 以及 LLaMA-2-13B-Chat 相比，Parrot-Chat 即使在没有应用 CaPO 策略的情况下，已经在 MT-Bench 基准的所有评估指标上超越了其他模型。

引入 CaPO 策略后，Parrot-Chat 在 MT-Bench 以及 MT-Bench++ 的整体表现上进一步显著提高，特别是在 MT-Bench 的第二轮，以及 MT-Bench++ 的第三到第五轮中，显示出 CaPO 策略在提升模型处理复杂上下文信息方面的效果。尽管 OpenAI 的 ChatGPT 和 GPT-4 在性能上领先，但 Parrot-Chat 作为一个开源模型，仅使用 40K 样本的 Parrot-40K 数据集，便展现出相较于开源模型的卓越性能，进一步证明了 Parrot 方法的有效性。

▲ 表4：消融实验

作者进一步进行了消融实验，在使用同样 20K 数据的情况下，用 Parrot-Ask 收集的数据训练得到的模型超过了 UltraChat 和 ShareGPT。表明相比于用 ChatGPT 模拟用户，利用 Parrot-Ask 可以收集到更高质量的多轮指令微调数 [7] 据，带来约 3.5% 的性能提升。同时对比 ShareGPT，更多轮次的交互也带来了约 1.8% 的性能提升。另外，作者提出的三种负面响应的构造策略都是有效的，而组合这三种策略带来了 2.4% 的提升。