一句话：当下社区事实标准的 LLM 推理引擎——PagedAttention 把显存浪费从 60-80% 压到 4% 以内 + 连续批处理，多硬件首选，高并发/长文本标杆。
它能帮你干什么
- 核心创新 PagedAttention：借鉴操作系统虚拟内存分页思想，把 KV 缓存切成固定大小块做动态分配回收
- 传统 attention 处理变长序列产生 60-80% 显存浪费，vLLM 压到 4% 以内，GPU 显存利用率从 30-40% 拉到 80% 以上
- 连续批处理：新请求可实时插入正在执行的批次，让 GPU 计算资源始终饱和
- 多硬件支持好（NVIDIA、AMD、Intel GPU）
- 张量并行多卡扩展近乎线性；8 卡 A100 分布式下 P99 尾延迟可控制在 200ms 以内（比 LMDeploy 低）
适合谁
- 高并发、长文本、要"事实标准"引擎的团队
- 多硬件（NVIDIA/AMD/Intel）都要支持的场景
- 多卡张量并行、要近乎线性扩展的人
关键数据
| 项目 | 情况 |
|---|---|
| 核心 | PagedAttention（显存浪费 60-80% → 4% 以内） |
| 显存利用率 | 30-40% → 80%+ |
| 批处理 | 连续批处理，新请求实时插入 |
| 多卡 | 张量并行近乎线性，8 卡 A100 P99 < 200ms |
| 硬件 | NVIDIA / AMD / Intel GPU |
上手 / 配置
装好 → 起服务 → 按负载调 max-model-len（长文本）与 tensor-parallel-size（多卡）。 调优：高并发开连续批处理吃满 GPU；长文本调 max-num-batched-tokens 与 KV 缓存比例；多卡用张量并行（扩展近乎线性）。
