KNOWLEDGE & PRACTICE
从部署教程、模型评测到行业观察，把复杂问题整理成可执行的路径。
FEATURED · 精选文章
部署教程Qwen3.8-Flash-Next 125B 激活 6B，NVIDIA QAD 蒸馏 NVFP4 量化 GPQA 91.5%。官方验证硬件只有 RTX PRO 6000 和 DGX Spark；24-32GB 卡走 GGUF（最小 72.5GB）或 Strata 按需加载，内存才是真瓶颈。含量化细节、容器要求与照抄配置档。
LATEST ARTICLES · 其余文章
9824GB 显存甜点区：RTX 3090 / 7900 XTX / 4090 本地大模型实测与选卡同样 24GB 显存，N 卡与 A 卡跑大模型的真实差距只有 10-14%——本文用公开实测数据讲透 24GB 能装多大模型、3090 与 4090 的速度差、7900 XTX 的量化阶梯，以及超频、PCIe 插槽、ROCm 环境三个最常踩的坑，给出按预算的选卡结论。99RTX 2080 Ti 22G 魔改卡实测：22GB 显存怎么来的、能跑什么、三件必须想清的风险2019 年的 Turing 卡把 11GB 显存换成 2GB 芯片堆到 22GB，约 1900 元拿到接近专业卡的容量。本文整理魔改原理、SDXL/SVD/大模型公开实测、Mats 验卡流程，以及无保修虚焊、矿卡来源、架构天花板三件买前必看的风险。100Ollama + ROCm：AMD 显卡从零跑通本地大模型AMD 显卡用户跑本地模型的完整路径：ROCm 环境准备、ollama-for-amd 部署、模型运行验证与常见坑，附 R9700 实测。101V100 32G 本地大模型部署与调优全指南：验卡、散热、驱动到调优32GB 显存档里价格最低的方案：Volta 架构、HBM2 900GB/s、250W 单 8pin。本文记录完整链路——Mats 验卡 + 24 小时烤机、双 12cm 风道散热整备、Windows 535 专业驱动、32GB 三层承载范围，以及双卡显卡坞方案的真实面貌。102推理成本一年跌了十倍：对本地部署意味着什么大模型 API 价格战白热化，推理成本一年降 10~100 倍。云便宜了，本地部署还有没有价值？算清楚这笔账。103多卡 3090 大模型推理：TP / PP / TP+PP 并行策略实测与选卡决策4 张 3090 = 96GB 显存能装下 70B 量化模型还留长上下文。本文基于公开的 4 卡 vLLM 实测讲透三种并行方式的 GPU 利用率差异（TP 80-90% 胜出）、PCIe 互连下的通信开销，以及插槽带宽、供电散热、驱动掉卡、跨厂商混插五大坑，给出双卡/四卡的预算决策。104显存不够时怎么办：量化与 CPU offload 实战策略32GB 显存下跑 27B 模型的实用策略：量化精度取舍、offload 机制原理、层切分的真实效果与常见误区。105RX 7900 XTX 跑大模型实测：量化阶梯、ROCm 调优与两个反直觉点24GB RDNA3 卡跑 LLM 的完整画像：FP16/INT8/INT4 三档量化能装多大模型、Ollama num_ctx 与 num_batch 调参、HSA_OVERRIDE_GFX_VERSION 兜底，以及 24GB 不等于长上下文自由、Vulkan 可能比 ROCm 更快两个反直觉点，附散热与降压超频建议。106RAG 知识库实战：给本地商家搭一个能查能答的 AI 助理一个真实落地方向：把商家文档、产品资料做成 RAG 知识库，本地模型 + 向量检索，让 AI 基于自己的资料回答。107R9700 32GB 本地推理定位：32B 全量 + 长上下文的甜点用法与调优要点RDNA4 架构 32GB 工作站的本地 AI 推理定位：32B Q4 全量 GPU + 8K-16K 上下文是最舒服用法，70B 只能 offload。本文整理 ROCm 部署路径、A 卡通用调优五要点，以及与 V100 32G / 5090 / L20 的 32GB 档对比和跨厂商多卡警告。