CVPR 2024 | 通过细粒度人类反馈对齐数据，提高多模态大模型可信度

多模态技术是 AI 多样化场景应用的重要基础，多模态大模型（MLLM）展现出了优秀的多模态信息理解和推理能力，正成为人工智能研究的前沿热点。然而，与大语言模型一样，多模态大模型也依然受到“幻觉”问题的困扰，即模型在回答中出现与图片信息不符的内容。经过测试发现，即便是 GPT-4V 也会在 45.9% 的图片回答中出现明显的“幻觉”。

大模型出现“幻觉”的症结之一在于未经人类对齐时发生的“过泛化”情况。例如，让模型描述街景图片时，无论画面中是否有行人出现，模型都会因为自身过度的泛化问题，输出对行人的描述。这种现象在当前的多模态大模型中普遍存在，也使得多模态大模型的应用在可信度问题得到解决之前仍受限制。

因此，如何尽可能减少多模态大模型的“幻觉”，提高回答的准确性和可信度，是所有人工智能研究者都在奋力攻克的难题。

为缓解多模态大模型的幻觉问题，我们提出了全新的多模态大模型对齐框架 RLHF-V，从数据和算法层面入手显著减少“幻觉”的出现。

目前，这一工作已被 CVPR 2024 接收。应用该方法训练的开源模型 OmniLMM-12B 在多个幻觉指标上取得了接近 GPT-4V 的水平。

核心优势：

首次提出采用人工修改的方法获得细粒度多模态人工偏好数据；
拥有突出的数据效率：仅需 1.4k 人类反馈的细粒度数据单机 8×A100 训练 1 小时即可使模型幻觉率降低 34.8%；
具有优秀模型可信度和通用性能：在保持模型输出信息量的情况下，RLHF-V 在幻觉评测中超越现有的开源多模态大模型，甚至抵抗“过泛化”的效果超越 GPT-4V。

论文地址：

https://arxiv.org/abs/2312.00849

项目主页：

https://rlhf-v.github.io

DEMO：

http://120.92.209.146:8081

效果展示：RLHF-V方法有效减少“幻觉”问题

将使用 RLHF-V 方法训练后的模型与 InstructBLIP、LLaVA-RLHF、GPT-4V 模型在相同视觉问答（VQA，Visual Question Answering）任务下的表现进行比较，结果如下：

测试效果1：在短回复问题上，RLHF-V 模型能够给出正确且简练的回复。

▲ 在短回复问题上 RLHF-V 模型与其他模型效果对比，其中红色部分为幻觉，绿色部分为正确的回答。

可以看到，当用户提问：“图片中的男人正在干什么？”时，RLHF-V 模型正确地答出图中的人在“竖大拇指”。InstructBLIP 也给出正确回答，即图中的人在接电话。而 LLaVA-RLHF 的过长回答里包含多条事实错误，GPT-4V 的短回答里正确与错误信息参半出现。

测试效果2：在更容易产生“幻觉”的长回复问题上，RLHF-V 模型提供的回复可信度高，且包含充足有效信息。

▲ 在长回复问题上 RLHF-V 模型与其他模型效果对比，其中红色部分为幻觉。

用户提问“你觉得这张照片里发生了什么？”，RLHF-V 模型和 GPT-4V 都在尽可能通过图片细节正确地描述场景，而 InstructBLIP 和 LLaVA-RLHF 的回答里则包含多处事实“幻觉”。

测试效果3：在减少多模态大模型因过泛化产生的 “幻觉”问题上，RLHF-V 的表现超过 GPT-4V。

▲ 长回复问题中，RLHF-V 与 GPT-4V 在“过泛化”现象上的对比，其中红色部分为幻觉，深红色部分为“过泛化”导致的场景相关的幻觉。

当用户提出“对给定图片进行详细描述”时，GPT-4V 的回答产生了与图片中厨房场景高度相关的过泛化“幻觉”答案，如 “排风扇”、“盘子架” 等，而 RLHF-V 则没有出现场景相关的物体幻觉。

关键创新：细粒度偏好标注与稠密对齐方法

RLHF-V 包含两项创新方法：数据层面，应用基于人工修改的细粒度偏好对齐数据；算法层面，采用稠密监督信号的 DDPO 算法。

基于修改的细粒度偏好对齐数据

在数据标注时，通过人工修改多模态大模型输出回复的方式，得到细粒度的人类偏好对齐数据。这种标注方式相比传统基于排序的数据收集方式具有三点显著优势：

第一，回答更准确：基于排序的偏好数据在训练正例中仍然可能包含幻觉，例如下图中对时钟具体时间的识别，包括 GPT-4V 在内的模型都频繁出现错误，而人工修改的答案能够保证训练正例准确无误，极大提高多模态偏好数据的质量。

第二，无歧义的回答偏好判断：关于丰富图像内容的优质回答一般长而复杂，标注人员对这些回答进行优劣排序的过程是困难的，但如果使用 RLHF-V 提出的人工修改方法，只需找出并修改回答中的错误语句，因优劣排序而带来的标注歧义问题就会迎刃而解。

第三，提供细粒度监督信号：由于 RLHF-V 同时也提供了细化到短语级别的人类偏好数据，所以能够更加精准地鼓励或惩罚模型表现，对齐人类偏好。

▲ 细粒度偏好对齐数据标注过程示意图

目前，我们利用这一方法在 LLaVA、InstructBLIP、Qwen-VL-Chat 等 5 个模型输出上标注了总计 5.7K 高质量偏好对齐数据，该数据已经开源至 Hugging Face。

稠密监督信号的 DDPO 算法

模型“幻觉”的产生很大程度源于人类 “正/负反馈” 的缺失，从而使模型表现偏离人类偏好。在算法层面，缓解模型“幻觉”可以从采用偏好对齐算法入手。目前应用最广的人类偏好对齐算法有两种：近端策略优化（PPO，Proximal Policy Optimization）和直接偏好优化（DPO，Direct Preference Optimization）。

虽然新提出的 DPO 有资源消耗更低、训练更稳定的优势，但作为一个回复级别的算法，DPO 无法直接鼓励或惩罚回复中的细粒度行为。基于此，研究团队提出了 DPO 的“强化版”——DDPO（Dense-DPO）算法，即提高修改片段的优化权重，让模型着重学习人工修改过的语句部分，以更加充分地利用标注数据中的细粒度信息对齐人类偏好。

▲ 稠密监督 DDPO 算法示意图

实验验证和结果

首先，RLHF-V 在长回复与短回复任务上模型幻觉均显著下降，且通用性能不受损失。

为了对模型进行幻觉评测，研究团队测试了模型在长回答指令和短回答指令下的幻觉比例情况，前者需要详细描述图片内容，后者只需简短回答图片相关问题。与此同时，为了评估模型的通用性能，研究团队还分别测试了模型在开放对话（LLaVA Bench）与图片问答（VQAv2）上的性能表现。

实验结果表明：RLHF-V 在幻觉评测指标上超越了已有的开源多模态大模型，且能够在显著减小幻觉的情况下，保持模型优秀的通用性能。

▲ RLHF-V 与其他开源模型及 GPT-4V 在幻觉比例和通用性能上的对比

第二，RLHF-V 解决“过泛化” 问题的表现优于 GPT-4V。

为了评测模型在“过泛化”问题上的表现，作者选择了多模态指令数据中的 4 个典型场景，以及最常出现在每个场景中的 10 个常见物体类别（COCO 物体类别），统计这些物体在所有条目中的幻觉率，以及在对应场景下的幻觉率。

实验结果表明，包括 GPT-4V 在内的现有 MLLM，均有明显“过泛化”倾向，而 RLHF-V 模型“过泛化”倾向最低。

▲ RLHF-V 与其他开源模型及 GPT-4V 在“过泛化”问题上的效果对比

第三，细粒度对齐数据在训练中具有高效性以及规模效应。

数据集规模对模型性能的影响也是非常重要的评测方向。从实验结果来看，相比基于排序的偏好数据，采用细粒度修改标注能够在 1/10 的数据规模下达到相近的模型效果。同时，随着数据量增加，模型幻觉率显著降低。

▲ RLHF-V 数据的规模效应曲线

方法应用

实际上，将 RLHF-V 数据和方法用于调整 LLaVA 等其他多模态大模型，也可以有效降低模型“幻觉”的出现次数，提高模型回答可信度。近期研究团队应用 RLHF-V 方法训练的开源模型 OmniLMM-12B 在多模态综合能力上达到开源模型顶尖水平，并且在多模态幻觉评测指标中显著超越其他开源模型效果。

在未来，研究团队也将继续在多模态大模型算法及数据领域进行研究，助力开源多模态大模型向成熟应用的转变。

作者团队简介

清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）是国内最早开展大模型研究、最具影响力的科研单位之一。

THUNLP 多模态大模型方向深度探索通用多模态大模型的技术体系，研究内容包括通用多模态基础大模型构建、多模态大模型对齐、多模态大模型评测等。研究团队已在多模态大模型研究方面取得多项前沿成果，相关成果发表在国际人工智能顶级会议上。其中基于跨语言跨模态泛化技术构建的中英双语多模态大模型 VisCPM 被 ICLR 2024 收录为 Spotlight 论文；多模态大模型对齐算法 RLHF-V 被 CVPR 2024 收录；端侧大模型 MiniCPM-V 发布一个月内在开源平台下载量超 3 万次。

如果你热衷于探索大模型技术前沿，对多模态大模型研究充满热情，欢迎加入我们！无论期望在公司实习，还是在实验室作为访问学者，我们都会为你提供理想的工作环境和成长空间。

论文地址：https://arxiv.org/abs/2312.00849

项目主页：https://rlhf-v.github.io

DEMO：http://120.92.209.146:8081

联系方式：yu-ty21@mails.tsinghua.edu.cn

更多阅读