一句话:一张"为 RTX 3090 专门调过"的 llama.cpp——同样的卡,比原版快一大截,3090 用户不用换卡就能多拿 50% 速度。
它能帮你干什么
- 同样是 27B 模型,100K 长上下文生成能跑到 95+ tok/s(原版 llama.cpp 在 3090 上通常只有 50-70)
- 用法和 llama.cpp 完全一样——你原有的脚本、模型文件全部照用,换个二进制就提速
- 专攻 Ampere 架构(RTX 3090 / 3090 Ti),也兼容其他 Ampere 卡
适合谁
- 手上正好有 3090 / 3090 Ti(24GB 显存)想本地跑 27B 的人
- 已经用 llama.cpp 但嫌速度慢、又不想换显卡的人
- 跑长上下文(10 万 token 级别)特别受益
硬件要求
| 你的设备 | 能跑什么 |
|---|---|
| RTX 3090 / 3090 Ti(24GB) | 27B 模型 Q4 量化,100K 上下文 95+ tok/s |
| 其他 Ampere 卡(3060/3080 等) | 可用,但针对 3090 调优效果最好 |
上手(两句话)
下载对应 release 二进制替换你原来的 llama.cpp,原来的命令原样执行即可。