Meta-Infer高效推理引擎突破PCIe显卡性能瓶颈

是石科技研发的Meta-Infer高效推理引擎通过内核补齐、算子通信重构等技术，显著提升PCIe架构硬件的推理性能。在国产GPU与国际主流GPU上均验证了该方案的有效性。

针对DeepSeek-V4.1-Flash等模型，Meta-Infer在单机8卡配置下实现文生视频296条/时、参考图生视频131条/时的吞吐量，分别达到B300的67%和58%。通过Ours Cache方案，约1.5台6000D可对应1台B300的参考图生视频性能。

该引擎无需改动模型权重与结构，在保持原有业务语义的前提下，通过执行路径优化、通信模式调整和并行策略适配，使长尾硬件的推理性能接近规模化生产需求。例如在国产GPU测试中，仅调整Shared Expert与Routed Expert的提交方式就带来11.26%的吞吐提升。

技术核心包含四方面：内核补齐解决硬件兼容性问题，算子通信重构提升计算效率，并行容量调优优化资源利用率，缓存复用策略减少冗余计算。这些技术组合使PCIe架构硬件的性能上限得到充分释放。

在国产GPU验证中，需启用NSA稀疏注意力实现、关闭Shared Expert特性，并采用DeepEP normal模式与low_latency模式分阶段配置通信策略。这种系统级适配方案为长尾硬件提供了新的性能突破路径。

该方案证明在高端算力成本居高的背景下，通过深度软件优化，成本更友好的PCIe GPU可在部分推理指标上接近高端硬件服务能力。硬件上限由芯片决定，但实际性能释放程度取决于软件体系。