DeepSeek全面开源自研推理引擎DeepInfer，宣称集群日处理超155万亿Token

AI大模型厂商DeepSeek近日宣布全面开源自研推理框架DeepInfer及生产级Token编解码组件deepseek-recipe。开源项目地址分别为github.com/deepseek-ai/DeepInfer与github.com/deepseek-ai/deepseek-recipe。该系统宣称在英伟达SM100 GPU和华为昇腾950 NPU等硬件上均得到支持，旨在解决大模型推理中的算力浪费问题。

根据官方公布的线上统计数据，该框架平均每个请求输入77K Token，首字生成延迟仅为400毫秒。在生成阶段，每秒可输出230个Token，编程任务场景下最高可达300个。系统声称通过高效的缓存机制，96%的输入可直接命中缓存，无需重新计算。

DeepSeek将大模型处理请求拆分为Prefill（预填充）和Decode（解码）两个阶段。Prefill阶段主要消耗算力，通常部署在8卡机器上；Decode阶段则依赖显存读取，常配置64至128卡的超节点。请求中若包含图片，会先由独立的图像编码服务处理。

针对多轮对话场景，deepseek-recipe统一了OpenAI、Anthropic等主流API格式，并将算过的KV缓存存入3FS存储集群（容量约100PiB），使得任何Prefill机器均可读取。实验数据显示，开启缓存命中后，单卡每秒处理Token数从6万提升至150万，效率提升25倍。

框架引入滑动窗口注意力机制（SWA），将关注范围限制在最近128个Token上，大幅降低了Prefill阶段的计算量。在Decode阶段，自研组件DSpark通过预估猜测概率跳过低价值验证，并优化CPU与GPU的并行调度，实现线上Decode阶段每张卡每秒生成1.4万个Token。

对于多专家模型（MoE）架构，DeepSeek将384个专家参数动态分配到64张卡上，每张卡负载差异控制在合理范围。系统支持跨机房部署，建议在相邻机房配置约400Gbps互联带宽。DeepInfer采用Apache 2.0协议开源，初始版本基于vLLM搭建。

DeepSeek研究员Deli Chen表示，团队致力于通过开源与闭源两种路径探索技术未来，愿意与全球开发者共同推动行业进步。目前GitHub上的部署问答文档已详细说明从架构设计到具体实施的细节，帮助开发者快速上手。