大语言模型（LLMs）作为基于神经网络的大规模预训练统计语言模型系列，在自然语言处理、多智能体系统和多模态AI等多个领域取得了显著成功。由于应用场景广泛，LLMs 面临显著的效率挑战。直接在个人电脑和智能手机等边缘设备上部署拥有数十亿参数的LLMs几乎是不可能的。这些场景为LLMs时代的模型压缩研究提供了强大动力，例如模型量化、稀疏化和蒸馏，可以降低计算成本并加速推理。然而，仍有若干挑战阻碍了LLMs压缩方法的广泛实际应用。首先，现有的LLMs压缩算法往往会导致不可避免的性能下降甚至失败，尤其是在极端压缩条件下（如1~2位宽量化）或较小规模模型（参数少于30亿的LLMs）时。这导致压缩后的LLMs难以在实际任务中表现良好。其次，压缩LLMs的硬件部署支持仍然有限，使得在常用的GPU和各种边缘设备（如CPU、FPGA等）上实现所提出的内存节省和计算加速变得具有挑战性。因此，LLMs压缩方法所声称的效率提升在许多硬件中难以实现。第三，训练和微调LLMs所需的数据资源并非总是可以获得的，并且在压缩过程中还需要大量的计算资源。因此，包括训练后压缩和压缩感知训练/微调LLMs在内的高效LLMs方法的可重复性难以持续保证。考虑到这些方面，实用的LLMs压缩仍有很长的路要走。

因此，LLMs压缩应考虑以下方面，包括预测准确性、计算效率、硬件部署和在各种场景中的可重复性。在本期特刊中，我们旨在汇集来自这些领域的研究人员，以解决开放和迫切的挑战，进一步构建准确、高效和可重复的LLMs压缩算法和系统。请注意，作为学术期刊，Neural Networks鼓励发表可重复的研究成果。提交到本期特刊的论文应主要基于可访问（开放）数据资源，并具有可靠的可重复性。本期特刊欢迎与以下（但不限于）主题相关的研究贡献：

• LLMs的低位量化

• LLMs的知识蒸馏

• LLMs的稀疏化和剪枝

• 专家混合的稀疏化

• LLMs的高效神经架构搜索

• LLMs的低秩近似和分解

• 资源受限硬件和系统的LLMs压缩

• 具有高可重复性的LLMs压缩流程和框架

• 联邦学习用于LLMs压缩

• 边缘处理器上的微型压缩LLMs

• 高效LLMs的硬件推理库

• 增强生成的高效LLMs

• LLMs压缩的基准测试、综述和理论/实证研究

特刊介绍：https://www.sciencedirect.com/journal/neural-networks/about/call-for-papers

稿件提交信息

• 稿件提交截止：2024年10月1日

• 初审：2025年1月1日

• 修订提交截止：2025年3月1日

• 最终决定：2025年6月1日

• 预定出版日期：2025年7月1日

Neural Networks是CCF-B类国际学术期刊，专注于神经网络及相关领域的前沿研究。Neural Networks鼓励高质量、可重复的科研成果。

有意向的作者应遵循Neural Networks的标准作者指南，并在线提交稿件，网址为：https://www.editorialmanager.com/neunet。

作者必须在“文章类型”步骤中选择“VSI: LLM Compression”。请参考作者指南：https://www.elsevier.com/journals/neural-networks/0893-6080/guide-for-authors 以准备稿件。

如需进一步信息，请联系特刊编辑。

特刊编辑

Prof. Dr. Xianglong Liu (执行特刊编辑)
Beihang University，北京，中国
Email: xlliu@buaa.edu.cn

PD. Dr. Michele Magno
ETH Zürich，苏黎世，瑞士
Email: michele.magno@pbl.ee.ethz.ch

Dr. Haotong Qin
ETH Zürich，苏黎世，瑞士
Email: haotong.qin@pbl.ee.ethz.ch

Dr. Ruihao Gong
SenseTime Research，香港，中国
Email: gongruihao@sensetime.com

Prof. Dr. Tianlong Chen
UNC Chapel Hill，教堂山，美国
Email: tianlong@cs.unc.edu

Prof. Dr. Beidi Chen
Carnegie Mellon University，匹兹堡，美国
Email: beidic@andrew.cmu.edu

关键词

• 大语言模型

• 模型压缩

• 高效深度学习

• 生成AI

• 硬件加速

• 微型机器学习

关于我们