按场景探索 · CURATED WORKBENCH
大模型部署
本地部署、推理框架、模型转换与优化
- 15
- 精选工具
- 2
- 工作流分组
- 1
- 本地优先
THE CURATED STACK
按工作流挑工具
15 个真实工具
01Strata125B MoE 在单张消费级显卡 + 大内存上跑通，一键安装，OpenAI/Anthropic 兼容 API02TensorRT-LLM (NVIDIA)NVIDIA 内核融合 + INT4/FP8 量化 + 预编译，N 卡延迟敏感场景性能天花板03SGLangRadixAttention 前缀 KV 复用 + 结构化生成，Agent 与 JSON 任务首选04llmfit一条命令找出本地硬件能跑哪些大模型05vLLMPagedAttention + 连续批处理，多硬件事实标准，高并发 / 长文本首选06NInfer专为单张 5090 而生的 C++/CUDA 推理引擎，榨干 Qwen 系列单卡性能07FlagAttention (FlagOpen)国产 FlashAttention 加速库，支持 Ampere 及以上 N 卡，降低 attention 显存与延迟08KTransformers零 GPU 依赖 + CPU（AMX）极致优化，无卡 / 边缘设备跑大模型唯一解09LMDeploy (InternLM)TurboMind 双引擎 + 量化 + 服务全家桶，国产算力（昇腾）首选10OpenClaw系统级 AI Agent 框架，2026 年 GitHub 星标 24.8 万，曾超越 Linux 成为第一11QMD本地文档智能搜索引擎，BM25 + 向量语义 + LLM 重排序三合一12Qwen Code开源终端编码智能体13pd-bridge异构 prefill/decode：CUDA 卡 prefill + Mac Metal decode，普通 10GbE 网线互联14llamAmperellama.cpp 分支专攻 RTX 3090/3090Ti：100K 生成 95+ tok/s、262K 全上下文15SplashApple Silicon 本地推理引擎：DFlash 2 推测解码 + Metal 内核，一条 brew 跑 Qwen3.8-27B
运行 → 调优 → 应用
从最小可行环境开始，逐步增加性能、训练能力和应用层。
01 运行建立基础环境02 调优适配实际任务03 应用接入业务流程