国产芯片全栈开源：后摩智能推出M50生态工具链，助力端侧AI大规模落地

面对高端AI硬件成本攀升及云端Token费用高昂的挑战，AI开发重心正加速向本地端侧迁移。在此背景下，国产AI芯片厂商后摩智能近日宣布其全栈开源的AI生态软件栈正式上线，旨在降低开发者将大模型部署到终端设备的门槛。

据后摩智能介绍，该开源项目覆盖从模型获取、量化编译到产品交付运维的全过程，共分为四层架构。其中包括针对LLM.cpp和vLLM的适配版、自研深度优化的推理框架以及各类中间件工具，首批内容已上传至GitHub。

在硬件适配层面，后摩智能推出的M50芯片已在150多款终端产品中量产应用，合作客户超过百家。该芯片支持浮点计算，可原生部署高精度模型，有效解决传统低精度转换带来的调优难题。

应用场景方面，搭载M50的联想AI主机P7仅重300克，功耗控制在10W以内，已能离线运行1220亿参数大模型。此外，长城N90 Pro笔记本和星灵陪伴机器人等产品也已确认使用该芯片。

针对政务、金融等对数据安全和联网环境有特殊要求的行业，M50在银河麒麟V11系统上实现了断网状态下运行35B大模型的能力。后摩智能表示，其芯片是国内唯一做到同时适配主流操作系统与CPU架构的高算力端边AI芯片。

该开源计划将于明年1月陆续发布剩余的15个开源项目，ModelZoo模型示例库现已涵盖语音识别、图像生成等15个大类。后摩智能希望通过这一举措实现‘最佳实践共享无保留’，加速国产AI终端产品的创新迭代。