一句话：专为单张 5090 而生的 C++/CUDA 推理引擎——手写 kernel 没有通用抽象层开销，直接吃 Blackwell 的 GDDR7 高带宽和 FP8/NVFP4，把单卡性能榨到极限。
它能帮你干什么
- 从头用 C++/CUDA 手写 kernel，没有通用抽象层的开销
- 直接吃 Blackwell 的 GDDR7 高带宽 与 FP8/NVFP4 原生格式
- 按 Qwen 系列做专门调优，支持 Qwen3.6 / Qwen3.8 多个 Checkpoint
- 可处理文本、图片、视频输入
- 和 vLLM、SGLang 是两条路：通用引擎拼覆盖面，NInfer 拼"在特定 GPU + 特定模型上把性能榨到极限"
适合谁
- 手上正好是单张 RTX 5090（或同代高端单卡）、要跑 Qwen 系列的人
- 要"单卡极致性能"、不追求多硬件覆盖的人
- 要处理文本+图片+视频多模态输入的单卡场景
关键数据
| 项目 | 情况 |
|---|---|
| 实现 | C++/CUDA 手写 kernel |
| 目标硬件 | 单张 RTX 5090（同代高端单卡） |
| 模型 | Qwen3.6 / Qwen3.8 多 Checkpoint |
| 输入 | 文本 + 图片 + 视频 |
| 硬件红利 | GDDR7 高带宽 + FP8/NVFP4 原生 |
上手 / 配置
装好（针对 5090/Blackwell）→ 选 Qwen 对应 Checkpoint → 加载。 调优：优先 FP8/NVFP4 原生精度吃满带宽；这是"特定卡+特定模型"的极致方案，别指望它跑非 Qwen 或非 5090。
