一句话：把 125B 的超大 MoE 模型落到"一张消费级显卡 + 64GB 内存"的普通主机上——一键安装，写出 60-95 tokens/s，读 prompt 2000+ tokens/s。
它能帮你干什么
- 把 125B 参数、含 24576 个专家的 MoE 模型，落到一张 12-24GB 的 NVIDIA 显卡 + 64GB 内存的普通主机
- 一键安装即可跑：写出答案 60-95 tokens/s（比你能读得快），读 prompt 可达 2000+ tokens/s
- 核心思路是把 MoE 模型"拆开放在整台电脑上"：
- 显卡只常驻最常用的一小撮专家
- 全部专家放内存
- CPU 与显卡并行计算
- SSD 存查表
- 配合 MTP（小模型猜词、大模型一次校验），一步产出多个词
- 暴露本地 OpenAI / Anthropic 兼容 API
适合谁
- 只有一张消费级显卡（12-24GB）+ 大内存、想跑 125B 级超大 MoE 的人
- 不想上多卡/数据中心、要"单机跑大模型"的人
- 要 OpenAI/Anthropic 兼容 API 接自己应用的人
关键数据
| 项目 | 情况 |
|---|---|
| 星标 | 约 4.6k，MIT 开源 |
| 模型规模 | 125B 参数，24576 专家 MoE |
| 硬件 | 1 张 12-24GB 显卡 + 64GB 内存 |
| 速度 | 写出 60-95 tokens/s，读 prompt 2000+ tokens/s |
| 架构 | 专家拆分：显卡常驻 + 内存全量 + SSD 查表 + MTP |
| API | OpenAI / Anthropic 兼容 |
上手 / 配置
一键安装 → 配好模型 + 显存/内存分配 → 起服务用兼容 API。 调优：内存越大能常驻的专家越多（速度越快），64GB 是甜点；要更快可加大内存常驻专家比例。
