日均6万亿Token服务背后，商汤大装置揭秘异构推理效能提升之道

封面为AI生成的主题示意图，非新闻现场照片。

10月16日，第十届CSDI Summit中国软件研发智能创新科技峰会在深圳举行。商汤大装置副总裁、CTO宣善明在主论坛发表演讲，分享公司在Agentic时代的大规模推理服务技术实践。他指出，随着AI应用从对话式问答转向多Agent协作和长任务执行，Token需求呈千倍级增长，行业竞争焦点已从算力规模转向通过架构创新与异构协同以更低成本、更高效率地持续产出高质量Token。

面对高端芯片供给受限与推理需求爆发的矛盾，商汤大装置探索以PD分离为核心的万卡级异构推理集群。在大模型推理中，Prefill阶段具有计算密集型特征，Decode阶段对显存带宽要求高。该方案由适配的国产算力集中承担Prefill任务，由高带宽的高阶GPU承担Decode任务，通过KV Cache传输连接两阶段，重新组织算力资源以提升混合集群的整体效率与性价比。

针对异构集群规模扩大带来的节点故障和资源闲置挑战，商汤大装置在临港AIDC实践了两种优化方式：一是在Prefill资源池预留少量高端算力以便快速补位Decode节点故障；二是赋予节点动态切换角色能力，根据实时负载灵活调整分工。在此基础上，公司构建了覆盖能源设施、资源互联、KV数据面等六层的架构体系。

在特定测试配置下，通过异构推理与资源协同，在相同数量的高端旗舰卡条件下，整体Token吞吐量可提升至基准方案的5倍。此外，商汤大装置正探索跨域PD分离与AF分离技术，旨在打破数据中心边界，利用不同地区算力资源，并进一步解耦Attention与FFN任务以优化硬件资源配置。

随着1M上下文模型KV Cache规模从近100GB降至约1GB，跨域传输压力大幅降低。未来，从调参艺术走向系统工程，推理基础设施的优化将围绕端到端服务质量（如响应速度、并发能力）与成本（单位投入产生的有效Token）两个核心指标展开。