KNOWLEDGE & PRACTICE
从部署教程、模型评测到行业观察，把复杂问题整理成可执行的路径。
FEATURED · 精选文章
部署教程Qwen3.8-Flash-Next 125B 激活 6B，NVIDIA QAD 蒸馏 NVFP4 量化 GPQA 91.5%。官方验证硬件只有 RTX PRO 6000 和 DGX Spark；24-32GB 卡走 GGUF（最小 72.5GB）或 Strata 按需加载，内存才是真瓶颈。含量化细节、容器要求与照抄配置档。
LATEST ARTICLES · 其余文章
26双卡 / 多卡 TP 跑通 P2P 的完整实战：从 BIOS 到带宽实测R9700 等多卡张量并行的落地全记录：主板选型、BIOS 三件套、ACS 绕过、卡间带宽实测数据与常见坑。2712GB 显卡跑 125B 大模型：真实速度 9-40 tok/s，hugepages 和 PCIe 校准两个坑一次讲完Strata 把 125B 的门槛定在 12GB 起步：3500 Ada 12GB 实测 decode 9-10 tok/s 是'能用级'，但加内存、跑 calibrate、配 hugepages 三步做完速度明显提升。两个坑：nr_hugepages 给小了系统静默退化成 4K 页不报错，PCIe 启动探测读数漂移 3 倍必须手动校准。附 12GB 完整配置和选型建议。28RTX 5090 拉满 Strata 125B：decode 149 tok/s、prefill 6004 tok/s 与 1M 上下文的完整配置5090 32GB 是 Strata 的完全体：decode 125-149 tok/s、prefill 6004 tok/s、MTP 接受率 76%、1M 上下文 YaRN 能跑。三个加速开关：prefill auto:32768 让 prefill 快 21-35%、conversation-cache 让追问快 10-20 倍、kv-resident 追问免重算。附跨版本 stager 回归坑和 200K+ prefill 阻塞调度的注意事项。298GB 和 11GB 老显卡跑 125B：5500 XT 15 tok/s，2080 Ti 跑满 262K 完整窗口2019 年的 RX 5500 XT 8GB 能到 15-17 tok/s，Tesla P4 8GB 22 tok/s，RTX 2080 Ti 11GB 更狠——显存压满 10.5G 靠 KV streaming 跑满 262,144 token 完整窗口，decode 34 tok/s，250K 深度追问 3.56 秒出结果。三组小显存锚点数据 + MTP 在老卡上开还是关的完整判断标准。30Strata 双卡 layer split 让 125B decode 翻倍：16+16 显存实测 54-61 tok/s，NVLink 没用，第三张卡是负优化Strata 双卡的价值不是算力叠加而是容量叠加：两张 16GB 卡的专家缓存合计覆盖 98% 路由专家，把 GPU+CPU 混跑变成纯 GPU 跑。同 45W 功耗限制下 decode 从 30-37 提到 54-61 tok/s 接近翻倍。附完整配置和三个反直觉结论：NVLink 零收益、第三张卡拖慢长 prompt、low-RAM 与 layer split 互斥需手编 json。31R9700 单卡跑 Qwen3.8-27B MXFP4：prefill 3300 tok/s 的完整配置与 4 个坑RDNA4 没有原生 MXFP4 运算单元，原生 ROCm vLLM 会退回 BF16 模拟反量化慢 3-5 倍。4 组 R9700 单卡实测：vllm-radiance 原生 kernel 下 prefill 2300-3300 tok/s、decode 峰值 161 tok/s、8 并发聚合 152。附三套方案（打包镜像/裸配/NVFP4）完整启动参数和显存、并发、ROCm 版本四个坑。32二手 RTX 3080 20G 魔改卡跑 27B：30+ t/s 的千元级方案i5-5600 + 32G 内存 + 二手 3080 20G 魔改卡，跑 Qwen3.8-27B 稳定 30+ t/s、1200 t/s prefill，挂 DeepSeek Harness 当 coding agent。核心是 llama.cpp 按架构编译 + KV 量化，不是堆硬件。33把 7900XTX 当 7x24 本地 API 服务器7900XTX 的正确用法不是跑分，是当本地 API 服务器长期挂着，给 opencode / pi.dev 等编码 agent 当后端——代码不出家门、不限量、离线可用。质量追平云端，隐私自己掌握。34免费模型自己走全流程测试Hermes 官方免费 stealth/space-bunny-alpha，给 forkgram 改 bug 并让它自己走桌面 APP 全流程测试，一次走通。免费 Agent 模型把'让 AI 自己验证自己'的门槛降到零。357900XTX 跑 Flash-Next：两周 Prefill 涨 43 倍同一张 7900XTX，两周前 29 t/s prefill '能用就行'，两周后 Strata 直接干到 1270 t/s。从第 1 条路线到第 5 条，prefill 涨 43 倍，254K 上下文不衰减。367900XTX 的 daniel-mtp HIP 新分支7900XTX 单卡 + daniel-mtp 的 HIP 分支 + MTP 投机解码，Qwen3.8-27B Q4_K_M 稳定 50+ t/s。gfx1100 的 unroll threshold 微调是收益关键一环。37DSH 系统监控悬浮卡DSH 里的 GPU 监控悬浮卡：数值时效与 nvitop 一致或更快，可随意拖拽、调整尺寸、悬浮不遮挡、一键隐藏。把 GPU 状态钉在 DSH 界面上，不切窗口。