Liquid AI 开源 d1 系列决策模型,单次推理仅需 8 毫秒

AI新闻阅读 0
Liquid AI 开源 d1 系列决策模型,单次推理仅需 8 毫秒

10 月 7 日,Liquid AI 宣布推出 d1 系列两款开源权重决策模型。其中 d1-3B 拥有 31.2 亿参数,支持文本与图像输入;d1-omni-600M 则以 5.87 亿参数支持文本、图像及语音的多模态输入。

在性能 benchmarks 方面,d1-3B 基于视觉语言模型 LFM2.5-VL-3B 训练,在 Decision Index v0.2.1 公开测试集上获得 48.57 分。Liquid AI 官方称其分数领先所有参数量在 10B 以下的同类模型。

推理速度测试显示,d1-3B 在 NVIDIA RTX 4090 显卡上回答单个问题耗时仅 8 毫秒,处理 384 像素图像耗时 102 毫秒。在 Jetson AGX Thor 和 Jetson Orin Nano 端侧设备上,单问耗时分别为 16 毫秒和 50 毫秒。

此外,用户实测数据显示该模型在 12GB 显存的 GeForce RTX 3060 上单次判断耗时 25 毫秒,峰值显存占用约 6GB。d1-omni-600M 则是 Liquid AI 首个实验性的多模态决策模型检查点。

目前,这两款模型已在 Hugging Face 平台公开,研究人员和开发者可以自由下载、微调并部署到本地环境或特定硬件平台上。”

Liquid AI 开源 d1 系列决策模型,单次推理仅需 8 毫秒 - SmartAITool Blog