阶跃 Step 5 Preview 大模型权重开放，支持 100 万 token 上下文窗口

封面为AI生成的主题示意图，非新闻现场照片。

10 月 15 日，阶跃实验室正式开放 Step 5 Preview 大模型权重。此次发布提供了 BF16 与 FP8 格式的模型文件、相关技术博客以及配套的开源开发工具，旨在推动长程智能体（Agent）任务的落地应用。Step 5 Preview 采用稀疏 MoE 架构设计，总参数量达到 600B，但每 token 仅激活 27B 参数，原生支持文本与视觉输入。该模型在 AI 编程、软件工程、专业工作流及金融等领域展现出显著性能，近期在 OpenRouter 平台的周调用量与日调用量榜单中均位列全球第二。目前，模型权重已上线 Hugging Face 和 ModelScope，并适配多种芯片平台及推理框架。开发者可利用 vLLM 或 SGLang 部署兼容 OpenAI 接口的 API 服务，或通过 Transformers 库进行离线推理，灵活接入自有数据、工具及系统以构建各类智能体与工作流。官方技术博客详细阐述了模型在架构与训练协同优化方面的关键设计。其中包括 92 层窄深架构以提升隐式多跳推理能力，以及 Sparse GQA 技术通过块级索引将百万 token 上下文下的计算开销降至原来的 1/8。为确保持久稳定性，模型在关键状态与参数上保留 FP32 精度，并结合细粒度梯度裁剪策略缓解深层网络中的激活异常增长与梯度尖峰问题。此外，构建的百万级可验证环境覆盖了软件工程、科学推理及机器学习研发等场景，持续校准任务难度与评估可靠性。面向长程任务的强化学习策略也将上下文压缩纳入端到端训练过程，使智能体能够自主整理任务状态并继续执行复杂流程。同时，通过更精细的奖励归因机制，显著提升了长轨迹环境下的学习效果。