笔记本跑7000亿参数GLM！无GPU也行? SSD当显存用火爆GitHub

GitHub上开源的大模型推理框架Colibrì因支持744B参数GLM-5.2引发关注。该框架采用纯C实现，无需依赖引擎，已获得32k星标。

Colibrì通过将模型权重拆分为常驻和临时调用两部分，实现无需GPU即可运行大模型。GLM-5.2经int4量化后约372GB权重，可在16GB内存设备上运行，内存不足时自动从SSD加载。

该框架支持9个模型家族，包括975B参数的Inkling和2.8T参数的Kimi K3。后者需1.6TB硬盘空间，但仅需32GB内存即可启动。

Colibrì利用MoE架构特性，仅激活部分专家参数。GLM-5.2每个token实际激活约40B参数，通过LRU缓存和预测机制优化SSD读取效率。

项目支持多层存储协同，将VRAM、RAM和NVMe SSD组织为分级系统。高频使用的专家优先驻留高速存储层，解码速度可达5.8-6.8 token/s。

开发者可直接使用预编译版本运行GLM-5.2，或通过Web Dashboard实时监控模型运行状态。项目地址：https://github.com/JustVugg/colibri