一句话：新一代 LLM 推理引擎，与 vLLM 并驾齐驱——核心是 RadixAttention：前缀 KV 自动复用，减少约七成重复计算，Agent 和结构化生成任务首选。
它能帮你干什么
- 核心创新 RadixAttention：用前缀树（Radix Tree）组织 KV 缓存，自动识别并复用相似请求的公共前缀
- 减少约 70% 重复计算；结构化生成任务上内存占用可低至其他框架的约 1/6
- 提供声明式语法描述复杂生成逻辑：JSON 输出、程序合成、多轮推理、外部 API 调用
- 这类需要精确控制的任务，端到端延迟比 vLLM 低约 40%
- 纯 Python 为主、部署门槛低，支持主流 NVIDIA GPU，社区迭代极快
适合谁
- 跑 Agent 和结构化输出（JSON、程序合成、多轮推理）的任务
- 大量请求有公共前缀（多轮对话、共享系统提示）的场景——RadixAttention 收益最大
- 要低部署门槛（纯 Python）+ 快速跟进新功能的团队
关键数据
| 项目 | 情况 |
|---|---|
| 核心 | RadixAttention（前缀 KV 复用） |
| 计算节省 | 约 70% 重复计算 |
| 内存 | 结构化生成可低至其他框架 1/6 |
| 延迟 | 端到端比 vLLM 低约 40% |
| 部署 | 纯 Python 为主，NVIDIA GPU |
上手 / 配置
装好 → 起服务 → 用声明式语法描述你的生成逻辑（JSON/程序合成/多轮）。 调优：多轮对话或共享系统提示的场景收益最大（公共前缀被复用）；纯单轮、无公共前缀的场景优势会小一些。
