一句话：NVIDIA 官方 LLM 推理引擎——内核融合 + INT4/FP8 量化 + 预编译，把延迟压到纳秒级，是 N 卡延迟敏感场景的性能天花板。
它能帮你干什么
- 核心是深度优化的内核融合（Kernel Fusion）+ INT4/FP8 量化 + 预编译引擎，把端到端延迟压到纳秒级，充分发挥单卡 NVIDIA GPU 全部算力
- 社区实测（Llama-3-8B / A100-80G）：
- 短序列吞吐约 250 tokens/s（领先 vLLM 约 37%）
- 首 Token 延迟仅 32ms（领先约 33%）
- FP8 量化下大模型（Llama-405B 级）吞吐可达 vLLM 约 2.1 倍
- 配合 Triton 推理服务器可提供企业级 SLA
适合谁
- N 卡生态、对延迟敏感（首 Token 要快）的场景——性能天花板
- 要高并发企业级 SLA（配 Triton）的部署
- 要 INT4/FP8 量化榨性能的人
关键数据
| 项目 | 情况 |
|---|---|
| 出品 | NVIDIA 官方 |
| 核心 | Kernel Fusion + INT4/FP8 量化 + 预编译 |
| 短序列吞吐 | 约 250 tokens/s（领先 vLLM 37%） |
| 首 Token 延迟 | 32ms（领先 33%） |
| FP8 大模型 | 吞吐约 vLLM 2.1 倍 |
| 企业级 | 配 Triton 提供 SLA |
上手 / 配置
装好（NVIDIA 环境）→ 选量化（INT4/FP8）→ 预编译引擎 → 配 Triton 起服务。 调优：要最低延迟用 FP8/INT4 量化 + 预编译；大模型（405B 级）FP8 量化吞吐优势最明显（2.1 倍）。
