Neural Networks (CCF-B) 特刊征稿：大语言模型时代的模型压缩
简介
大语言模型（LLMs）作为基于神经网络的大规模预训练统计语言模型系列，在自然语言处理、多智能体系统和多模态AI等多个领域取得了显著成功。由于应用场景广泛，LLMs 面临显著的效率挑战。直接在个人电脑和智能手机等边缘设备上部署拥有数十亿参数的LLMs几乎是不可能的。这些场景为LLMs时代的模型压缩研究提供了强大动力，例如模型量化、稀疏化和蒸馏，可以降低计算成本并加速推理。
然而，仍有若干挑战阻碍了LLMs压缩方法的广泛实际应用。首先，现有的LLMs压缩算法往往会导致不可避免的性能下降甚至失败，尤其是在极端压缩条件下（如1~2位宽量化）或较小规模模型（参数少于30亿的LLMs）时。这导致压缩后的LLMs难以在实际任务中表现良好。其次，压缩LLMs的硬件部署支持仍然有限，使得在常用的GPU和各种边缘设备（如CPU、FPGA等）上实现所提出的内存节省和计算加速变得具有挑战性。因此，LLMs压缩方法所声称的效率提升在许多硬件中难以实现。第三，训练和微调LLMs所需的数据资源并非总是可以获得的，并且在压缩过程中还需要大量的计算资源。
因此，包括训练后压缩和压缩感知训练/微调LLMs在内的高效LLMs方法的可重复性难以持续保证。考虑到这些方面，实用的LLMs压缩仍有很长的路要走。因此，LLMs压缩应考虑以下方面，包括预测准确性、计算效率、硬件部署和在各种场景中的可重复性。在本期特刊中，我们旨在汇集来自这些领域的研究人员，以解决开放和迫切的挑战，进一步构建准确、高效和可重复的LLMs压缩算法和系统。请注意，作为学术期刊，Neural Networks鼓励发表可重复的研究成果。提交到本期特刊的论文应主要基于可访问（开放）数据资源，并具有可靠的可重复性。本期特刊欢迎与以下（但不限于）主题相关的研究贡献：
LLMs的低位量化
LLMs的知识蒸馏
LLMs的稀疏化和剪枝
专家混合的稀疏化
LLMs的高效神经架构搜索
LLMs的低秩近似和分解
资源受限硬件和系统的LLMs压缩
具有高可重复性的LLMs压缩流程和框架
联邦学习用于LLMs压缩
边缘处理器上的微型压缩LLMs
高效LLMs的硬件推理库
增强生成的高效LLMs
- LLMs压缩的基准测试、综述和理论/实证研究
稿件提交信息
稿件提交截止：2024年10月1日
初审：2025年1月1日
修订提交截止：2025年3月1日
最终决定：2025年6月1日
预定出版日期：2025年7月1日
Neural Networks是CCF-B类国际学术期刊，专注于神经网络及相关领域的前沿研究。Neural Networks鼓励高质量、可重复的科研成果。
有意向的作者应遵循Neural Networks的标准作者指南，并在线提交稿件，网址为：https://www.editorialmanager.com/neunet。
作者必须在“文章类型”步骤中选择“VSI: LLM Compression”。请参考作者指南：https://www.elsevier.com/journals/neural-networks/0893-6080/guide-for-authors 以准备稿件。
如需进一步信息，请联系特刊编辑。
特刊编辑
Prof. Dr. Xianglong Liu (执行特刊编辑)
Beihang University，北京，中国
Email: xlliu@buaa.edu.cn
PD. Dr. Michele Magno
ETH Zürich，苏黎世，瑞士
Email: michele.magno@pbl.ee.ethz.ch
Dr. Haotong Qin
ETH Zürich，苏黎世，瑞士
Email: haotong.qin@pbl.ee.ethz.ch
Dr. Ruihao Gong
SenseTime Research，香港，中国
Email: gongruihao@sensetime.com
Prof. Dr. Tianlong Chen
UNC Chapel Hill，教堂山，美国
Email: tianlong@cs.unc.edu
Prof. Dr. Beidi Chen
Carnegie Mellon University，匹兹堡，美国
Email: beidic@andrew.cmu.edu
关键词
1. 大语言模型
2. 模型压缩
3. 高效深度学习
4. 生成AI
5. 硬件加速
6. 微型机器学习
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
··