LMDeploy (InternLM)

一句话：清华 InternLM 团队的"全家桶"式 LLM 推理框架——TurboMind 双引擎 + 量化 + 服务一条龙，国产算力（昇腾）首选。

它能帮你干什么

• 架构核心是 TurboMind 双引擎：
  • C++/CUDA 高性能引擎：负责计算图融合与内存池管理
  • PyTorch 兼容引擎：负责调试友好
  • 二者按需切换
• 内置完整工具链：模型量化压缩（INT4 / INT8 / FP16）→ 服务部署（RESTful API、gRPC）→ 性能监控与调试，一套跑完全流程
• 128 并发吞吐测试可达约 420 tokens/s，明显领先 vLLM 的约 230 tokens/s
• 深度支持国产算力（昇腾）

适合谁

• 要"量化+部署+监控"一条龙、不想在多个工具间来回切的团队
• 用国产算力（昇腾）部署的——首选
• 高并发场景（128 并发级）要吞吐的人

关键数据

上手 / 配置

装好 → 先量化（选 INT4/INT8/FP16）→ 用 RESTful 或 gRPC 起服务 → 按需切 TurboMind 引擎（要性能用 C++/CUDA，要调试用 PyTorch）。 调优：高并发场景优先 C++/CUDA 引擎 + INT4 量化；调试期切 PyTorch 引擎。