12GB 显存显卡运行 125B Qwen3.8 模型：Strata 引擎发布，RTX 5070 实现 94 词元/秒推理速度

科技媒体 gigazine 报道，开发者 Niko1221 开源推出 Strata 引擎，可在 12GB 及以上显存的消费级显卡上运行量化版 Qwen3.8-Flash-Next 模型（1250 亿参数）。该模型是阿里巴巴 Qwen 团队 2026 年 8 月发布的多模态混合专家（MoE）模型压缩版本，支持 262K token 上下文长度。

Strata 通过两项关键技术降低显存占用：一是将 MoE 模型整体载入 RAM，仅加载高频使用的专家模型至 VRAM；二是采用轻量模型进行投机解码，预测下一 Token 加速推理过程。该引擎支持 Windows 10/11 或 Linux 系统。

硬件配置要求包括：12GB 以上 VRAM 的 NVIDIA/AMD 显卡、32GB 以上 RAM、80GB 以上存储空间（推荐 SSD）。在 RTX 5070（12GB VRAM）+ Ryzen 5 7600 + 64GB RAM 的环境下，2 比特量化版 Q2_0 推理速度达 94 词元/秒，3 比特量化版 IQ3_S 为 53 词元/秒。

AMD Radeon RX 9070 XT（16GB VRAM）环境下，Q2_0 版本实现 60 词元/秒。英伟达显卡的写答案速度（生成回复）和阅读提示速度（处理输入）分别为 94/2650 词元/秒、79/2090 词元/秒、62/1750 词元/秒等。AMD 显卡对应速度为 60/1160 词元/秒、52/1110 词元/秒等。

Strata 引擎已开源，开发者可通过 GitHub 体验。该技术突破使大模型在消费级硬件上实现高效推理，为本地化部署提供新可能。

Qwen3.8-Flash-Next 模型包含 125B 参数及 51B 参数的 n-gram 嵌入表，原生支持超长上下文长度，适用于复杂场景的自然语言处理任务。