百度开源文心 5.5 Flash Base 模型，多基准测试刷新同尺寸 SOTA

封面为AI生成的主题示意图，非新闻现场照片。

11 月 5 日，百度正式开源最新基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用 MoE 架构，总参数量达 2800 亿，每个 Token 激活参数为 140 亿。模型使用 33.5 万亿个 Token 完成预训练，预训练上下文长度最高可达 128K，微调与推理阶段支持最长 100 万 Token 上下文。在知识、推理、数学、代码、多语言和长上下文等多个基准测试中，文心 5.5 Flash Base 取得同尺寸模型 SOTA 表现，性能超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型。开源地址为：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base。针对大模型应用向长文档分析、多轮交互和智能体任务延伸带来的资源压力，文心 5.5 Flash Base 围绕“效率”主线进行了系统性优化。在注意力机制上，模型提出 Latent-Gated Sparse Attention，结合混合稀疏注意力、低秩门控注意力与虚拟头注意力。具体技术细节方面，模型通过组合 HCA 与 MLA，让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务；低秩门控注意力利用已有的低维表示计算信息门控，使门控投影权重参数减少 75%；虚拟头注意力可提升模型表达力与训练质量，推理时融合进注意力算子且开销极小。在专家路由上，模型采用 Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，改善路由评分与专家实际效用之间的相关性，降低单一评分偏差的影响。在训练目标上，模型引入 ECHO，无需额外增加 MTP 模块，而是复用主干最后一层让自身学习预测后续 token，有效提升推理与代码能力。此外，百度对分布式 Muon 优化器进行了优化，并推出面向大 head dim 的注意力算子 FlashMask-4，改善大规模训练中的通信、显存利用与计算效率。这些基建创新为模型能力的提升提供了坚实支撑。基座模型为开发者和企业提供了进一步微调与定制的空间，可基于自身业务需求构建适应不同场景的专业模型与应用。文心 5.5 Flash Base 在提升基础能力与训练推理效率的同时，为推动模型技术走向多样化的能力探索与应用创新提供了更具拓展性的技术基础。