KNOWLEDGE & PRACTICE
从部署教程、模型评测到行业观察，把复杂问题整理成可执行的路径。
FEATURED · 精选文章
部署教程Qwen3.8-Flash-Next 125B 激活 6B，NVIDIA QAD 蒸馏 NVFP4 量化 GPQA 91.5%。官方验证硬件只有 RTX PRO 6000 和 DGX Spark；24-32GB 卡走 GGUF（最小 72.5GB）或 Strata 按需加载，内存才是真瓶颈。含量化细节、容器要求与照抄配置档。
LATEST ARTICLES · 其余文章
74双卡 5070 Ti 跑 125B MoE：最高 140 t/s双卡 RTX 5070 Ti 16G + Threadripper + Strata 跑 125B MoE（IQ3_XXS）：prefill 3200 t/s，decode 最高 140 t/s，256K 全程可用。75DSH 上下文裁剪：不需要大模型DeepSeek API 断网那天，本地模型顶上但上下文超限，云端压缩用不了。解法：不需要压缩，直接裁剪——不靠大模型，纯脚本成对剪掉最旧对话。76搬一个 WMMA Kernel，Strata Prefill 翻近一倍Strata 刚支持 7900XTX 时 prefill 才 700 多，把 vLLM 上的专用 WMMA kernel 搬过来，prefill 直接干到 1300+。思路简单但收益巨大。77单卡 R9700 二次开发 SGLang：MXFP4 原生内核单卡 R9700 32G 二次开发 SGLang，Qwen3.8 27B 从 AWQ 改造成 MXFP4 原生内核：PP 2000 / TG 90 t/s，上下文 229K。买的是用上 RDNA4 的 FP4 硬件。78JEV-Ultrafast：桌面 Agent 提速 10 倍同一个 computer-use 任务，改前 271 秒改后 27 秒，差 9.9 倍。核心是读结构化 DOM（46ms）而不是看截图，决策简化成一次 TypeSafe Choice。79NInfer：70+ t/s 的速度代价是显存NInfer 主打速度极致：单卡 3090 跑 27B 稳定 70+ t/s，远超 llama.cpp。代价是显存占用激进——上下文拉长或多并发时显存就是墙。80llama.cpp 官方支持 DFlash2 投机解码不用魔改、不用双卡、不用 SGLang——llama.cpp 官方版本直接支持 DFlash2 投机解码，单卡 7900XTX 开箱即用。轻量 Draft 模型猜 4-7 个 token，主模型批量验证。81M5 Ultra 256GB：1.2TB/s 带宽意味着什么M5 Ultra 256GB 统一内存、1.2TB/s 带宽，跑 MoE 的 prefill 预计比 M3 Ultra 快 3-4 倍。统一内存带宽是本地推理核心指标，MoE 每层 expert 搬运速度直接翻倍。82Strata 125B MoE 全档位实测与 Prefill 调优单卡 7900XTX + 64G DDR3 跑 125B MoE，prefill 峰值 1602 t/s，256K 仍有 1258 t/s。hipBLASLt 调优让 prefill 743→1179 t/s（+58.7%），回退率 55%→0%。全程 ROCm。83老平台双卡 P2P 的解法：PCIe Switch两块 9700 想跑 P2P 但主板不支持——老平台双卡最头疼的问题。一张 PCIe Switch 卡 + 台达 1500W，让显卡间数据走 Switch 直接转发，绕过 CPU 中转。84双卡 SGLang 多并发：TTFT < 1s双卡 TP 跑多并发，90% 情况首 token 延迟 <1s，80K 上下文 80-100 t/s，比 llama.cpp 和 vLLM 都丝滑。核心是把 VLLM kernel port 到 SGLang 支持 gfx1100。8524G 显卡跑 512K 上下文：KVMem 内存分页24G 显存跑 512K 上下文，不是显存变多，是 KVMem 把'全部历史驻留显存'改了——GPU 只留有限工作集，大的放 Host RAM。单卡 64K→512K decode 全程不衰减。