谷歌TPU跑Kimi比英伟达GPU快57%！用的还是DeepSeek推理框架

在最新测试中，16块谷歌TPU v7芯片运行Kimi K3模型时，每秒处理709个token，比英伟达GB200 GPU快57%。这项成绩由推理创业公司Inferact达成，该公司团队源自vLLM开源项目。

Inferact团队开发了名为megakernel的推理内核，将原本需要调度的数百个小程序合并为单一程序，配合TPU片上内存架构，将内存带宽利用率提升至硬件理论峰值。同时采用DeepSeek提出的DSpark加速框架，使K3在TPU上实现上述性能表现。

测试显示，在相同条件下，TPU v7 Ironwood对阵英伟达GB200，前者每秒处理709个token，后者为452个。DSpark推测解码技术使每轮平均通过6个候选token，单步decode耗时约8.5毫秒。在batch size为1时，TPU每秒处理249个token，GB200仅为127个。

在Qwen 3.8 27B模型测试中，4块TPU v7每秒处理1515个token，而同等配置的GB200仅达695个。Inferact验证显示，TPU版本精度与GPU版本一致，Kimi K3在TPU上的GPQA-Diamond得分为94.4%，GSM8K为97.2%。

TPU v7的HBM带宽为7380 GB/s，而GB200为8000 GB/s，但TPU凭借软件优化实现更高效率。megakernel通过消除程序切换间隙，使跨层权重预取成为可能，配合TPU 64 MiB VMEM片上内存，实现计算与数据搬运同步。

Inferact团队由vLLM原班人马组成，今年1月成立并完成1.5亿美元种子轮融资。CEO Simon Mo为vLLM原始维护者，联合创始人Woosuk Kwon为项目发起人，团队正在扩展megakernel对更多模型架构的支持。