是石科技发布 TokenFleet 调度框架：首 Token 延迟降低超三成，国产推理算力再提效

封面为AI生成的主题示意图，非新闻现场照片。

在近日举行的 2026 CCF 全国高性能计算学术大会上，独立第三方全栈算力运营商是石科技正式发布了分布式调度框架 TokenFleet。该框架旨在解决 GPU 集群中请求排队与资源闲置并存的难题，重点优化了请求路由、跨机房容量协同及混合负载治理，以提升现有算力的有效产出。

TokenFleet 将推理服务比作一座“国产 Token 优化工厂”，其中 GPU 为生产设备，推理实例是工位，而业务请求则是订单。该框架通过三项核心技术实现精细化调度：TokenPilot 负责在模型池内智能选择实例，平衡缓存收益与排队代价；FleetMind 面向跨机房容量协同，汇聚多地域模型可用性与网络状态；SLOMax 则针对混合负载进行准入控制与队列治理。

数据显示，在该框架的调度机制下，基于 GLM5.3 模型的调优测试显示，P95 首 Token 延迟降低了 32.4%，P50 首 Token 延迟降幅达到 71.3%。这意味着在同等硬件条件下，系统的响应速度有了显著提升，特别是对于高延迟的尾部请求改善明显。

除了降低延迟，该框架还大幅提升了算力的有效利用率。在 GLM5.3 的收益测算示例中，采用流控协同调度后，总输出吞吐增加约 1.5%，达标输出吞吐提高约 29.4%，达标比例从约 67% 提升至约 86%。这得益于系统减少了超时、取消和重复计算导致的资源浪费。

TokenFleet 的核心指标是 Goodput，即成功完成且满足服务要求的请求所产生的输出 Token 总量除以测试时长。不同任务类别如实时对话、长文档处理及离线批量任务被分别定义达标门槛。系统将持续反馈达标吞吐与失败情况，动态调整准入策略和容量比例。

作为不绑定特定大模型厂商的算力运营商，是石科技希望通过 TokenFleet 推动推理服务的优化从实例层面推进到集群乃至跨机房层面。未来，该框架将帮助客户在硬件、组网、调度及运营全栈环节实现更高效的国产化算力利用。