至知创新研究院发布IQuestRT引擎：Agent研发两周性能反超人工，单请求吞吐量达910.70 tokens/s

近日，至知创新研究院（IQuest Research）正式发布并开源了面向其基础模型IQuest-Q1的专用推理运行优化引擎IQuestRT。在由8张高性能GPU组成的集群、单请求且开启8路张量平行的测试条件下，该引擎实现了910.70 tokens/s的实测解码吞吐量，达到vLLM参考配置的2.94倍。与团队此前经过长时间人工精细调优的计算流水线相比，IQuestRT仅耗时两周便完成了性能超越。这一研发效率的提升得益于AI Agent的深度参与，多个Agent并行开展了代码实现、性能实验及系统调试工作，体现了自动化在底层基础设施优化中的应用潜力。针对Coding Agent类应用常见的顺序依赖问题，即模型在读取代码、生成修改、调用工具间反复跳转导致等待时间累积的现象，IQuestRT通过多项底层技术路径进行针对性优化。官方技术报告指出，这些措施旨在让单条请求的生成过程持续、高效地运行。在系统架构层面，IQuestRT将更多控制逻辑直接置于GPU端，改变了传统由CPU读取结果并发起下一轮任务的执行模式。候选Token验证、采样、缓存更新等关键操作均在GPU内部完成，消除了主机与设备间反复交互造成的延迟。配对重放实验显示，此举使每轮计算节省了约22至25微秒，后续精简执行边界又带来额外3微秒收益。该引擎还引入了动态投机深度策略，允许系统根据当前生成的候选Token概率和熵值信息，由GPU自主决定继续预测是否值得投入成本。在滑动窗口注意力层中，团队通过提前预取策略加载可能被调用的专家权重至L2缓存，并仅在计算路径有效时启用预取机制。此外，针对跨GPU通信，系统利用NaN标记设计了新的同步与归约方法，将数据就绪判断融合进结果归约流程以减少额外等待。在模型层面，IQuestRT服务的IQuest-Q1采用稀疏混合专家（MoE）架构，总参数约320B，每个Token激活约15B参数，支持递归多Token预测（MTP）机制以提升单次计算的有效产出。尽管单项改进仅节省数十微秒，但累积效应显著提升了整体生成速度。报告同时指出，部分路由融合操作采用了不同的数值计算方式，需在更高精度参考实现下进行独立验证以确保浮点数值结果的一致性。性能测试基于400条Claude Code运行轨迹，在两个随机种子下完成了800次解码测试，采样参数设置为temperature=1、top-k=20、top-p=0.95。IQuestRT展现了从模型生成速度到推理引擎研发方法的双重技术演进，为高性能推理系统探索了新路径。