KNOWLEDGE & PRACTICE
从部署教程、模型评测到行业观察，把复杂问题整理成可执行的路径。
FEATURED · 精选文章
部署教程Qwen3.8-Flash-Next 125B 激活 6B，NVIDIA QAD 蒸馏 NVFP4 量化 GPQA 91.5%。官方验证硬件只有 RTX PRO 6000 和 DGX Spark；24-32GB 卡走 GGUF（最小 72.5GB）或 Strata 按需加载，内存才是真瓶颈。含量化细节、容器要求与照抄配置档。
LATEST ARTICLES · 其余文章
02复旦开源 MOSS-Image 进 ComfyUI：int8 量化 5.41GB，16GB 显存跑中文海报级出图（含文件清单与原生工作流坑位）OpenMOSS 5B DiT 文生图，中文文字渲染+JSON 坐标控版，Apache-2.0 可商用。ComfyUI 原生支持 10-16 已合入主干，官方 int8/W4A8 量化文件体积实测，Base 与 SFT 怎么选、原生与插件工作流不能混用等坑一次讲清。03一张老 3090 跑出 100+ tok/s，双卡 R9700 直接 200+：lcz 社区两组最新实测48 小时内两组社区实测：单张 2022 年的 3090（24G）用 IQ3_XXS 特化量化跑 Qwen3.8 Flash Next 125B 级模型，128K 上下文下 Coding 破 100 tok/s、Chat >60 tok/s；双卡 AMD R9700（32G×2）配 vLLM+Paiton 插件 decode 站上 200+ tok/s、prefill >8000 tok/s。04被低估的 6800XT：32G 云桌面退役卡 V620 跑大模型全记录云桌面退役卡 V620 = 6800XT 核心 + 32G 显存：刷 BIOS + 装涡轮后跑 ROCm 实测——34B Q4 全量装得下，推理 15-28 tok/s（比 2080Ti 慢 30-60%），全参微调打平 2080Ti，绘图短板 2-6 倍。买前问 BIOS/散热/显存三件事。05MTP / DFlash2 / MXFP4 加速矩阵：N 卡 vs A 卡支持情况 + R9700 实测同一个 27B 模型，N 卡开 MTP 快 2.5 倍，R9700 上 MTP 反而比 DFlash2 慢 2.8 倍。MTP、DFlash2、MXFP4/NVFP4 量化、FP8 KV、前缀缓存在 CUDA 线与 ROCm 线的版本级支持矩阵 + R9700 一手实测数据 + 踩坑清单。06Underdog：全端侧 AI 助理，基于 Qwen3.8 27BThiel Fellow 的端侧助理：Husky 引擎优化 GPU 到 CPU 搬运，免费无订阅，部分 benchmark 宣称对标 Opus 4.6（厂商口径）。本站同款底座实测对照。07NVIDIA DGX Spark 64GB 版：4999 美元的本地 AI 入门内存涨价潮下的降配版：64GB 统一内存、存储减半。统一内存带宽陷阱、双机组集群网口瓶颈、与 R9700 的带宽优先对比。08Reflection Beam：501B 开源权重 MoE，推理算力省 3-4 倍23B 激活的 coding/agent 向开源 MoE，23.8T token 预训练。老卡跑大模型的新选项：显存估算与 offload 路线。09AMD ROCm 10.1 发布：Hyperloom 自主优化系统AMD 把让 AI 自己调优 AI 引擎做出来了：Hyperloom 自动 profile、找瓶颈、改 kernel、验证，官方口径 3.3 倍推理提速。A 卡阵营的结构性动作，本站环境踩坑与升级路线。10R9700 单卡跑 Qwen3.8-27B MXFP4：prefill 3300 tok/s 的完整配置与 4 个坑RDNA4 没有原生 MXFP4 运算单元，原生 ROCm vLLM 会退回 BF16 模拟反量化慢 3-5 倍。4 组 R9700 单卡实测：vllm-radiance 原生 kernel 下 prefill 2300-3300 tok/s、decode 峰值 161 tok/s、8 并发聚合 152。附三套方案（打包镜像/裸配/NVFP4）完整启动参数和显存、并发、ROCm 版本四个坑。11单卡 R9700 二次开发 SGLang：MXFP4 原生内核单卡 R9700 32G 二次开发 SGLang，Qwen3.8 27B 从 AWQ 改造成 MXFP4 原生内核：PP 2000 / TG 90 t/s，上下文 229K。买的是用上 RDNA4 的 FP4 硬件。