人手一个编程助手！北大最强代码大模型CodeShell-7B开源，性能霸榜，IDE插件全开源
新智元报道
编辑：桃子 好困【新智元导读】继CodeLlama开源之后，北大等机构正式开源了性能更强的代码基座大模型CodeShell-7B和代码助手CodeShell-Chat。不仅如此，团队还把方便易用的IDE插件也开源了！
今天，北京大学软件工程国家工程研究中心知识计算实验室联合四川天府银行AI实验室，正式开源70亿参数的代码大模型CodeShell，成为同等规模最强代码基座。
与此同时，团队将软件开发代码助手的完整解决方案全部开源，人手一个本地化轻量化的智能代码助手的时代已经来临！
具体来说，CodeShell-7B基于5000亿Tokens进行了冷启动训练，上下文窗口长度为8192。
在权威的代码评估基准（HumanEval和MBPP）上，CodeShell取得同等规模最好的性能，超过了CodeLlama-7B和StarCodeBase-7B。
与此同时，同CodeShell-7B配套的量化与本地部署方案，以及支持VSCode与JetBrains IDE的插件也全部开源，为新一代智能代码助手提供了轻量高效的全栈开源解决方案。
CodeShell模型和插件的相关代码已经在Github发布，并严格遵循Apache 2.0开源协议，模型在HuggingFace平台发布，支持商用。
CodeShell：性能最强的7B代码基座大模型
CodeShell构建了高效的数据治理体系，通过冷启动预训练5000亿Token，代码生成性能超过了CodeLlama-7B与StarCoder-7B。相比而言，CodeLlama在强大的Llama2上继续预训练依然学习了超过5000亿Token，而StarCoder冷启动训练了10000亿Token，是CodeShell的两倍。CodeShell的原始训练数据基于自己爬取的Github数据、Stack和StarCoder数据集，以及少量高质量的中英文数据。通过在数据判重、数据过滤规则、数据质量模型上设计了一套体系化的数据治理流水线，CodeShell构建了高质量的预训练数据。CodeShell构建了包含7万个词的词表，中文、英文、代码的压缩比分别为2.83、3.29、3.21，支持中英文和代码的平衡且高效的编解码。在更小规模的各种基座架构上进行大量预训练实验后，CodeShell架构设计最终融合了StarCoder和Llama两者的核心特性。以GPT-2为基础，采用fill-in-middle（FIM）模式支持代码特有的补齐生成方法，引入Grouped-Query Attention和ROPE位置编码，最终形成了CodeShell高性能且易于扩展上下文窗口的独特架构。为了获得最大的分布式训练效率，Codeshell基于Megatron-LM，在Attention算子优化、数据预处理、数据加载、日志输出、状态监控、分布式训练管理等方面进行了深度定制，支持Flash Attention2加速，训练吞吐量达到了每GPU每秒3400 Token的业界先进水平。CodeShell预训练的上下文窗口为8192。经过5000亿Token训练，CodeShell在humaneval和mbpp两个主流评测数据集都体现了明显的优势。在humaneval的其它编程语言评测中，如JavaScript、Java、C++，CodeShell依然性能领先。CodeShell-Chat：功能齐全的代码助手模型
在CodeShell底座基础上，团队面向真实的软件开发场景，通过高效微调，训练了支持对话、代码生成、代码补齐、代码注释、代码检查与测试用例生成的全能代码助手模型CodeShell-Chat。为此，CodeShell团队分别构造了数万条高质量代码对话数据和代码补齐数据，设计了基于规则与基于嵌入表示相结合的微调数据筛选方法，构造了多任务一致的微调数据格式，并在基座模型上采用任务分类优化策略进行小规模微调，最终得到了高效实用的代码助手模型。为了进一步降低使用门槛，支持轻量级本地部署，团队针对CodeShell独有的架构扩展了llama.cpp —— 一个纯 C/C++ 实现的LLaMA模型高效推理接口，以支持CodeShell的模型在各种计算架构中的格式转化、推理运行以及量化部署。在16G内存的苹果笔记本上进行推理，响应速率可达每秒18 Token，真实的使用体验非常流畅。想象一下，一个在飞行途中的程序员，打开普通的Mac电脑，即可使用性能几乎无损、仅占4G内存的4-bits量化版本。本地部署不仅保障了数据安全，更是可以随时随地使用！方便易用的CodeShell代码助手插件
对众多开发者而言，即便拥有功能强大的代码助手模型，其应用门槛仍然过高。为此，CodeShell团队诚意满满地把IDE插件也开源了！IDE插件目前支持VSCode和IntelliJ IDEA，适用于各种主流编程语言。在开发过程中，CodeShell代码助手插件提供了两种模式，即专注模式和交互模式，两种模式相互协同，共同提升开发效率。全面的代码能力自动评估工具
CodeShell团队同时发布了一个针对代码助手能力的统一评估基准，近期将开源并公开论文，加入到CodeShell的开源「全家桶」中。在大模型评测上，CodeShell团队底蕴深厚，团队此前曾经发布过通用大模型对话能力的自动评估工具PandaLM。开源地址：https://github.com/WeOpenML/PandaLMCodeShell团队在模型训练中发现，现有的评估基准无法准确反映其真实能力，其面临的问题包括试题难度较低、评估场景与实际开发环境脱节等，同时评估基准提供的任务上下文信息也非常有限，导致代码大模型评估者难以进行深入分析。为此，CodeShell团队提出了一个包含完整程序上下文的多任务编程模型评估基准CodeShell-UCB（Unified Code Bench）。CodeShell-UCB的评估任务提供了完整的程序上下文信息，包括完整的真实项目代码、运行环境和执行脚本。CodeShell-UCB通过执行程序分析、规则筛选、人工筛选，提炼出了代码助手任务试题，并提供了一套统一的编译、运行、测试环境。