Claude 自研推理引擎首token延迟降至半秒:在Singularity-Bench测试中大幅超越人类基线

AI新闻阅读 2
Claude 自研推理引擎首token延迟降至半秒:在Singularity-Bench测试中大幅超越人类基线

最近的一项测试显示,人工智能模型Claude能够将用户在等待AI回复第一个字的时间从约12秒缩短至0.48秒。这一成果源于卡内基梅隆大学和NVIDIA等机构的研究者提交的预印本《奇点基准测试:智能体能构建智能体吗?》,其中详细记录了Claude Opus 5.5在受控环境下构建并优化推理引擎的表现。

研究人员为Claude提供了基础服务器代码、4张GB300显卡以及12小时的计算时间,并要求其在无法联网的条件下自主开发一套推理引擎。该引擎需负责接收请求、调度模型运行及生成回复。随后,研究者利用两套引擎回放同一批16路并发的真实编程会话,重点衡量P90首token延迟指标。

在相同的硬件和模型条件下,Claude自研的推理引擎将P90首token延迟降至0.478秒,而成熟的成熟引擎SGLang(v0.5.20)则耗时约12.029秒。这意味着用户只需输入指令后的半秒内即可看到AI回复的第一个字,相比传统等待流程效率显著提升。

Claude引擎实现这一突破的关键在于对「前缀缓存」策略的优化以及改进的请求调度机制。通过保留并复用同一段前文对应的两份计算记录(一份用于回溯信息,一份用于更新余额),引擎在处理新请求时仅需计算新增内容。同时,系统采用类似超市结账的逻辑,优先处理剩余计算量少的请求,避免大任务阻塞资源。

此外,引擎在生成阶段叠加了「投机解码」技术,利用轻量预测层先行猜测token并由主模型核验,以加速输出;同时将零散的GPU操作打包合并,减少数据搬运开销。在测试中,Claude引擎不仅保持了与SGLang相近的生成速度,还将未缓存输入的处理效率提升了19%。

在严格的Singularity-Bench基准测试中,参测的11套AI自研引擎最终仅有5套同时通过了完整生成规定长度回复和隐藏测试准确率两道硬门槛。相比之下,其余6套引擎因出现断句或准确率崩盘被判为零分。Claude Opus 5.5搭配Claude Code在推理之外,还在预训练、中期训练等另外四项任务中均优于人类基线方案。

继续了解相关 AI 工具

本文涉及的相关场景,可按分类对比工具。价格与免费额度以各工具官网当前说明为准。

Claude 自研推理引擎首token延迟降至半秒:在Singularity-Bench测试中大幅超越人类基线 - SmartAITool