英伟达优化 Kimi K3 模型推理性能，GB300 NVL72 集群速度提升 1.68 倍

封面为AI生成的主题示意图，非新闻现场照片。

调研机构 SemiAnalysis 今日发布消息称，英伟达通过上游 vLLM 技术优化，显著提升了超大参数模型的计算效率。在相同的 GB300 NVL72 硬件架构下，Kimi K3 模型的推理速度达到每用户每秒 423 个 Token（423 tok/s/user），相比未优化状态提升了 1.68 倍。该项性能突破由英伟达 CentML 团队工程师 Benjamin 主导完成。优化方案通过大规模 Megakernel 融合技术实现，利用 Cute DSL 语言编写了专门针对新解码架构的内核。Megakernel 代码规模达到 1.2 万行，代表了 AI 辅助生成高级计算内核的发展趋势。除 Kimi K3 外，英伟达 vLLM 团队正在同步推进对 DeepSeek V4.1 等模型的系统优化工作。此次技术升级不仅验证了新型解码专用内核的实用性，也为后续大模型部署提供了更高的吞吐量基础。随着模型参数规模向万亿级别演进，底层推理框架的效率成为关键瓶颈。英伟达此次利用 Megakernel 融合与定制化 DSL 脚本，有效释放了 GB300 NVL72 集群的算力潜能，为商业化应用降低了单位 Token 的计算成本。