英伟达发布 Nemotron 3.5 Super VL 大模型：单 GPU 吞吐量提升 5 倍，Bolt 端侧模型支持本地部署

封面为AI生成的主题示意图，非新闻现场照片。

10 月 15 日消息，英伟达正式推出面向 AI 智能体的开放多模态模型 Nemotron 3.5 Super VL。该模型采用混合专家（MoE）架构，总参数量为 1200 亿，激活参数 120 亿，旨在解决需要持续运行和执行多步骤任务的场景。在单张 GPU 执行智能体任务时，Nemotron 3.5 Super VL 的吞吐量最高可达同规模其他开放模型的 5 倍。模型整合了推理、指令遵循及工具调用能力，并与文本、图像、文档及视频理解能力结合，可应用于代码调试、跨网站检索、威胁识别等场景。英伟达公布了多个企业定制案例以展示模型效果。Scale AI 为 Skydance Corporation 定制的供应商信用处理智能体预计可降低 97.5% 的推理成本和 80% 延迟；Ramp 平台利用该模型将收据图像转为结构化数据，吞吐量提升 50%、延迟降低 90%；AI21 与 Alice 合作的威胁情报分析任务准确率提升了 40%。在性能评测方面，Nemotron 3.5 Super VL 在 CharXiv 图表推理基准测试中得分为 80.8%，高于 Nemotron 3 Nano Omni 的 63%，结合 Python 代码解释后得分达 84%。其在 Hermes Bench 和 LangChain 行为评估中的得分分别为 63.44% 和 87.05%，表现均优于 Nemotron 3 Ultra。为降低推理开销，该模型采用了投机解码、混合精度和上下文复用等技术。其 LiLiCorr 投机解码方法在 DGX Spark 上可将词元生成速度最高提升至 2.3 倍。模型支持 NVFP4 量化，可在 Blackwell 架构上使用 4 位权重和 4 位激活值。除了基础大模型，英伟达还推出了两款端侧模型。Nemotron 3.5 Bolt 74B-A9B 24GB 采用 MoE 架构，通过原生 2 位量化将模型压缩至 24GB，支持 llama.cpp、Ollama 等本地部署框架。另一款 Nemotron 3.5 Bolt E4B 4GB 面向本地语音助手场景，计划于 10 月 23 日发布。开发者可通过 Hugging Face、OpenRouter、ModelScope 等渠道获取已开放的 Super VL 和 Bolt 74B-A9B 模型资源。英伟达同时开放了基础模型、后训练模型权重、训练配方及数据集，并支持部署于 DGX Spark、数据中心或云端环境。