大模型部署

llamAmpere

llama.cpp 分支专攻 RTX 3090/3090Ti:100K 生成 95+ tok/s、262K 全上下文

免费开源

一句话:一张"为 RTX 3090 专门调过"的 llama.cpp——同样的卡,比原版快一大截,3090 用户不用换卡就能多拿 50% 速度。

它能帮你干什么

  • 同样是 27B 模型,100K 长上下文生成能跑到 95+ tok/s(原版 llama.cpp 在 3090 上通常只有 50-70)
  • 用法和 llama.cpp 完全一样——你原有的脚本、模型文件全部照用,换个二进制就提速
  • 专攻 Ampere 架构(RTX 3090 / 3090 Ti),也兼容其他 Ampere 卡

适合谁

  • 手上正好有 3090 / 3090 Ti(24GB 显存)想本地跑 27B 的人
  • 已经用 llama.cpp 但嫌速度慢、又不想换显卡的人
  • 跑长上下文(10 万 token 级别)特别受益

硬件要求

你的设备 能跑什么
RTX 3090 / 3090 Ti(24GB) 27B 模型 Q4 量化,100K 上下文 95+ tok/s
其他 Ampere 卡(3060/3080 等) 可用,但针对 3090 调优效果最好

上手(两句话)

下载对应 release 二进制替换你原来的 llama.cpp,原来的命令原样执行即可。