【CVPR2023】多视图对抗判别器 MAD ：挖掘未知领域目标检测中的非因果因素

论文题目：Multi-view Adversarial Discriminator: Mine the Non-causal Factors for Object Detection in Unseen Domains

代码：https://github.com/K2OKOH/MAD

导读

这篇论文探讨了一个具有挑战性的问题，即如何在实际应用中将目标检测模型适应到未知的目标领域。在传统的目标检测方法中，通常基于独立同分布（i.i.d.）的假设，即训练和测试数据集具有相同的分布。然而，在现实世界中，这一假设很难成立，因为目标领域的分布通常与源领域不同，这被称为域漂移，而目标检测模型在面对域漂移问题时性能急剧下降。

为了解决这个问题，本文提出了一种全新的方法，称为Multi-view Adversarial Discriminator（MAD），旨在从多个视图中鉴别特征，以去除非因果因素并净化共同特征。为了增加源领域的多样性，作者还引入了一个Spurious Correlation Generator（SCG）。通过将MAD与SCG结合，研究人员构建了一个能够有效处理域漂移问题的新型域泛化模型。

本文贡献

非因果因素的识别和去除：MAD方法通过多个视角观察源域特征，并将这些特征映射到不同的潜在特征空间（视角），以识别和去除在不同视角中非显著的非因果因素。这有助于提取更纯净的领域不变特征。
模块设计：MAD模型包括两个关键模块，一个是假相关生成器（SCG），用于增加源域数据的多样性，另一个是多视图域分类器（MVDC），用于将特征映射到多个潜在空间。这两个模块协同工作，提高了非因果因素的剔除能力。
实验证明：论文通过在六个标准数据集上进行大量实验，证明了MAD算法在目标检测任务中具有最佳的泛化性能，相对于传统方法取得了显著的性能提升。

本文方法

Multi-view Adversarial Discriminator（MAD）主要包括两个部分：

Spurious Correlation Generator (SCG)：这是MAD方法的第一个模块，旨在增加源域的多样性，使潜在的非因果因素更加显著。
Multi-View Domain Classifiers (MVDC)：这是MAD方法的第二个模块，旨在在图像和实例级别识别非因果因素，从而使领域对抗学习更加充分，并在不同视图中丰富非因果因素的信息。

Spurious Correlation Generator (SCG)

根据之前的研究（引用了文献[19]），图像的极高频和极低频部分包含更多的领域私有特征（非因果因素）。SCG的目标是通过保持因果特征不变，同时随机化非因果频率成分，以增加源域数据的多样性。

SCG模块的实现步骤：

频率谱提取：首先，使用离散余弦变换（Discrete Cosine Transform）来获取输入图像 x 的频率谱 F(x) 。在频率谱中，极高频和极低频部分包含更多的非因果因素。
带通滤波器：接下来，通过带通滤波器来在频域中分离非因果因素和因果因素。这个滤波器通过以下公式进行定义：
非因果因素随机化：然后，将这些非因果因素 S 按照高斯分布进行随机化，具体操作为：
image-20230904205652021
逆余弦变换：最后，通过逆离散余弦变换（Inverse Discrete Cosine Transform）来获得具有潜在非因果因素的增强图像。

Multi-View Domain Classifiers (MVDC)

Domain Adversarial Learning (DAL)

DAL是一种标准方法，用于提取不同领域之间的共同特征，它通过最小化不同领域之间提取的特征之间的A-距离（Adversarial Distance）来实现这一目标。

DAL是特征提取器F与理想域分类器之间的极大极小优化问题：

其中，H表示所有可能的域分类器的假设集

标准的DAL方法试图最大化最优领域分类器 hi 对于特定领域的错误率。然而，由于单一领域分类器 h 依赖于最具有区分性的领域专有特征，它可能忽略了特征中的不显著领域特定组件，并错误地将这些非因果组件视为共同特征。

因此，作者将DAL方法扩展到多个视图。MVDC模块能够使用编码器 ei 将特征映射到多个潜在空间，并在每个空间中使用独立的领域分类器 hi 来识别特征。这些领域分类器鼓励特征提取器 F 忽略隐含的非因果因素，并学习领域不变但因果的特征。

领域不变但因果的特征：

"领域不变" 表示模型学习的特征在不同的数据域或情境中具有一定的一致性，不会受到数据域变化的影响。
"因果的特征" 指的是那些与模型任务的因果关系相关的特征，这些特征对于解决任务是有意义的，并且不是由于数据域的变化而引入的非因果或随机特征。

Classifier Structure

图6展示了MVDC的一个分支的结构，该分支代表了多个视图中的一个，用于观察特征。完整的MVDC结构包括M个分支，分别用于图像级特征和实例级特征。每个MVDC分支包含一个自编码器（auto-encoder)和一个分类器。编码器和解码器是每个分支的基本网络结构，用于将特征映射到不同的潜在空间以显示特征的不同特性。为了探索隐藏在整个图像和每个实例中的非因果因素，对于图像级和实例级，MVDC采用不同的设计。对于图像级，重点关注图像的全局非因果因素，如照明、颜色和背景纹理等。这些全局非因果因素在整个图像中相似，因此使用卷积层构建编码器和解码器。在每个分支中，使用不同的扩张率的扩张卷积（dilated convolution）来提取不同领域的不同非因果因素。对于实例级，使用全连接层来捕捉更多语义的非因果因素，例如每个实例的相机角度等。

Loss Function

为了使用MAD方法训练目标检测器，引入了几种损失函数：

重构损失：

领域分类器损失：

多视图差异损失：

一致性损失：

图像级和实例级的MVDC损失可以表示为：

MAD的总体损失：

实验

实验结果

根据表1，可以发现，本文方法在大多数跨领域场景下都能取得更好的结果。使用有限数量的源域进行训练，SCG 方法可以在更多方向上为现有图像添加非因果因素，更好地模拟潜在的目标域分布。

根据表 2 ，将MAD 与主流的 DG 和 DA 方法进行比较。在单源和多源 DG 设置下，本文方法在 DG 方法中具有最好的泛化能力，并在大多数类别中超过了多源方法。

根据表 3，作者在六个数据集上进行了进一步的实验，以验证他们的 MAD 方法的领域泛化能力。

根据表 4，作者还在 PACS 和 VLCS 数据集上进行了单源 DG 实验，与 ERM 和 DANN 框架进行了比较，结果显示了 MAD 方法的有效性。

图z7中展示了特征分布的可视化结果，不同子图显示了不同的特征分布情况。MAD 方法能够将特征映射到不同的空间，并在每个视角下很好地对齐不同的域。

消融实验

MAD 方法包括四个部分：伪相关生成器 (SCG)、图像级和实例级多视图领域分类器 (IMG, INS) 、一致性约束 (CST)。

通过逐步添加这些部分并观察 mAP 性能的变化来研究每个部分的贡献。作者在领域 C 上训练 MAD 并在其他领域 F、R、B 上进行了消融实验。

实验结果表明，SCG 引入了潜在的非因果相关因素，而 MVDC（包括 IMG、INS 和 CST 子模块）进一步挖掘并移除了领域中不显著的非因果相关因素。每个部分都在 MAD 方法中发挥了重要的作用，以提高模型的性能和泛化能力。

结论

本论文从因果机制的角度分析了领域对抗学习（DAL）的问题。作者指出，现有的领域泛化（DG）方法未能去除潜在的非因果因素，因为DAL受到领域判别器的单视图性质的影响。为了解决这个问题，作者提出了一个多视图对抗判别器（MAD），用于学习领域不变但因果的特征。MAD包括一个生成潜在伪相关性的SCG，以增加源域的多样性，以及构建多视图领域分类器的MVDC，以删除潜在的非因果因素。最终，MAD提纯了领域不变特征，增强了因果性。作者在用于跨领域目标检测的基准数据集上进行了广泛实验，验证了对未知领域的泛化能力。

☆ END ☆如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 woshicver」，每日朋友圈更新一篇高质量博文。↓扫描二维码添加小编↓

【CVPR2023】多视图对抗判别器 MAD ：挖掘未知领域目标检测中的非因果因素

导读

本文贡献

相关工作

域自适应目标检测（Domain Adaptive Object Detection，DAOD）

域泛化（Domain Generalization）

因果机制（Causal Mechanism）