【ICCV2023】频率成分在少样本学习中的重要性
论文标题：Frequency Guidance Matters in Few-Shot Learning
论文链接：https://openaccess.thecvf.com/content/ICCV2023/html/Cheng_Frequency_Guidance_Matters_in_Few-Shot_Learning_ICCV_2023_paper.html
代码：暂未开源
引用：Cheng H, Yang S, Zhou J T, et al. Frequency Guidance Matters in Few-Shot Learning[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 11814-11824.
导读
少样本学习旨在学习一种具有判别性的特征表示，以便使用很少标记的支持样本来识别未见过的类别。虽然大多数少样本学习方法关注图像样本的空间信息，但频率表示在分类任务中也被证明是重要的。本文研究了不同频率分量对少样本学习任务的影响。为了增强少样本学习方法的性能和泛化能力，作者提出了一种新颖的"Frequency-Guided Few-shot Learning"（FGFL）框架，该框架利用任务特定的频率成分来自适应地遮蔽相应的图像信息。该框架采用了一种新颖的多级度量学习策略，包括原始图像、遮蔽图像和未遮蔽图像之间的三元损失，以及遮蔽和原始支持集和查询集之间的对比损失，以利用更多的判别性信息。作者进行了广泛的实验，涵盖了四个基准数据集，并考察了几种不同的少样本学习场景，包括标准场景、跨数据集、跨领域和粗粒度注释分类。无论是定性还是定量的结果都表明，所提出的FGFL方案能够关注与类别判别相关的频率成分，从而将这些信息整合到更有效和更具泛化性的少样本学习中。本文贡献
首先，本文提出了FGFL框架，利用频率信息来增强少样本学习方法在空间域中的性能和泛化能力。
其次，提出了两种类型的排名损失函数，包括原始和生成图像的样本和任务级别的三元组和对比损失函数，以强制网络专注于每个少样本元任务的类别判别频率成分。此外，生成的未遮蔽图像也被用于增强支持集的可区分性。第三，研究了不同频率成分对当前方法在几种泛化少样本设置下的影响，即跨数据集、跨领域和粗到细粒度注释泛化。实验证明了所提出的FGFL能够提高少样本方法的性能和泛化能力，在几种少样本设置下获得了卓越的结果。相关工作
少样本学习
少样本学习的目标是识别只有少数可用的支持样本的新的查询样本。近年来，现有的深度少样本学习方法主要可分为三类。首先，基于优化的元学习方法[2,11,20,28,33]依赖于设计一种良好的模型初始化或优化策略，能够快速适应新的任务。其次，基于度量的方法[7,29,30,36,48,55,58]专注于构建一个合适的潜在空间来提取区别性特征嵌入，然后基于支持样本和查询样本之间的相似性进行预测。第三，基于数据生成和增强的方法侧重于生成更多的变异样本来学习更准确的分类器，例如，通过自监督学习应用数据旋转或转换[21]，用生成模型[14,23]合成新数据，或使用带有伪标签[18,44,52]的外部数据。上述算法大多只使用空间图像作为网络输入，而没有利用频率信息。在本文的工作中，作者研究了频率信息在离散余弦变换（DCT）域中的影响，并利用它来指导空间域中的少样本分类。频域学习频域学习包含丰富的图像理解模式，在一些计算机视觉任务中得到了广泛的研究，如压缩感知[43,51,56]、视觉预训练[47]、域转移[19,53]和图像分类[4,8,32,42,50]。Yang等人，[53]使用快速傅里叶变换（FFT），通过简单地在源域和目标域样本之间交换低频频谱来实现域对齐。最近的一些工作考虑应用离散余弦变换（DCT）在频域进行学习。
在这项工作中，本文也使用DCT将图像转换到频域。与之前的工作[4]不同，作者考虑了空间域和频率域之间的相互作用，并学习生成区分频率掩模，以增强空间域的学习。
本文方法
少样本学习的频率分析
这部分研究了频率成分对不同少样本分类设置下现有少样本方法的泛化性能的影响。研究通过在元任务中去除和保留每个图像的部分频率成分，用于进行类别预测。为了生成输入RGB图像X的频率表示，作者采用了2D-离散余弦变换（2D-DCT）函数，得到D = DCT(X)。
然后，可以去除或保留每个输入图像的部分频率成分，随后再应用反2D-DCT函数，将其转换回到具有原始输入尺寸的空间域，得到
通过使用DCT函数，可以将原始数据分解为两部分
对于给定的新测试集上的少样本任务
可以观察到，去除特定频率成分可以提高少样本模型的泛化性能，但会降低相同测试场景下的标准少样本性能。因此，频率信息在不同分类场景中起到不同的作用。通过评估和观察，可以推测少样本方法的泛化行为与频率成分有关，而这些频率成分在不同数据集和领域之间可能有所变化。
频率引导的少样本学习
由于不同的频率成分编码了特定的图像信息，作者提出了"Frequency-Guided Few-shot Learning"（FGFL）框架，利用频率掩模来指导在空间域中的训练。如图3所示，FGFL具有两个分支，分别具有两个编码器
首先，根据频率域中的分类生成任务特定的类别判别频率掩模。这个掩模会突出与当前任务相关的重要频率信息。接下来，我们将遮蔽和未遮蔽的频率样本转换回到空间域，并根据遮蔽和未遮蔽区域生成两个图像集。最后，采用新颖的多级度量策略（如图4所示）来进行类别预测。
图4为所提出的多级度量策略的示意图。具体来说，对于元任务中图像集X中的每一幅图像，我们分别从相应的未掩蔽和掩蔽集
在任务级别，我们通过重新组合
其中，
此外，为了分类，我们使用未遮蔽的图像来增强支持集，并使用
其中，
增强分类损失：
综上，总体分类损失如下：
实验
实验结果
与SOTA的比较：
可视化结果：
5-way 5-shot 设置下的结果：
3-way 1-shot设置下的三个具有挑战性的少样本泛化场景：
消融实验
结论
本文提出了一种新的频率引导的少样本学习（FGFL）框架，用于少样本的分类和泛化。具体而言，DCT域中由分类梯度生成的频率掩模可以强调当前元任务中的类别判别频率组分。本文提出的多级度量策略，包括样本级三元组损失和类别级对比损失，可以更好地利用样本和任务级别的频率信息，并鼓励模型捕获更多与任务相关的频率信息，以帮助空间域中的分类。此外，本文系统地研究了频率信息对少样本泛化行为的影响。大量实验证明，FGFL在标准少样本设置上取得了与最先进方法相竞争的结果，并显著改善了在未见测试领域的泛化性能。
☆ END ☆如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 woshicver」，每日朋友圈更新一篇高质量博文。↓扫描二维码添加小编↓