标注星号的是MiniMax调用API测试得到的结果,其余分数来自对应的技术报告。
abab 6.5和abab 6.5s采用相同的训练技术、数据,支持200k tokens上下文长度。abab 6.5s更高效,1秒能处理近3万字的文本。MiniMax在200k tokens内进行了业界常用的“大海捞针”测试。在891次测试中,abab 6.5均能正确回答。
MiniMax团队称找到了越来越多加速实现Scaling Laws的途径,包括改进模型架构、重构数据pipeline、训练算法及并行训练策略优化等。今天发布的abab 6.5和abab 6.5s是其加速Scaling Laws过程的阶段性成果。
abab 6.5系列模型会滚动更新到MiniMax旗下的产品中,包括生产力产品海螺AI和MiniMax开放平台上。2024年中国生成式AI大会预告