colibri - 是一款能够在仅有 25GB 内存的普通消费级计算机上运行拥有7440亿参数的 GLM-5.2 模型的工具。

该程序完全使用 C 语言编写，不依赖任何额外的软件库或运行时环境。

它采用了混合专家（Mixture of Experts，MoE）架构，按需从磁盘加载各个专家（Expert）模块，而不是一次性全部载入内存，因此大幅降低了运行所需的内存容量。

🧬 https://github.com/JustVugg/colibri

#Privacy #Web #AI