一句话：没有 GPU 也能跑大模型的推理框架——靠 CPU（尤其 AMX）极致优化，功耗可低于 10W，树莓派都能跑，是"无卡/边缘"场景唯一解。
它能帮你干什么
- 核心靠 CPU 极致优化（尤其 AMX / AMX-tile 加速）实现
- 功耗可低于 10W，树莓派这类边缘设备都能运行
- 定位很清晰：不是追求"快"，而是解决"有没有"
- 在无 GPU 环境、边缘计算、低功耗场景下，是目前唯一能跑大模型的主流选择
- 尤其适合消费级硬件硬扛超大 MoE 模型（如 DeepSeek 671B 这类需要 CPU+AMX 混合调度的场景）
代价（要认清）
- 纯 CPU 吞吐比 GPU 框架低一个量级
- 社区实测约 35 tokens/s 量级，比 GPU 框架慢 5 倍以上
适合谁
- 手上没有 GPU、但想跑大模型的人
- 边缘计算、低功耗、长开机的场景
- 要用消费级硬件硬扛超大 MoE（DeepSeek 671B 级）的人
关键数据
| 项目 | 情况 |
|---|---|
| 优化核心 | CPU（AMX / AMX-tile） |
| 功耗 | 可低于 10W |
| 最低设备 | 树莓派可运行 |
| 吞吐 | 约 35 tokens/s（比 GPU 框架慢 5 倍以上） |
| 定位 | 无 GPU / 边缘 / 低功耗唯一解 |
上手 / 配置
装好 → 选 CPU 后端（确保启用 AMX 加速）→ 加载 MoE 模型。 调优：优先让 AMX/AMX-tile 跑专家计算、CPU 与内存并行调度；把"有没有"跑通为先，别指望 GPU 级速度。
