KNOWLEDGE & PRACTICE

文章

从部署教程、模型评测到行业观察，把复杂问题整理成可执行的路径。

10
篇文章
5
内容板块

LATEST ARTICLES · 其余文章

022026 高性价比 AI 装机方向：从洋垃圾老平台到高端工作站整理社区几套不同预算的 AI 主机真实配置与用途：老平台洋垃圾、中端工作站、高端 Pro 卡，帮你按预算定方向。032026 消费级显卡跑大模型性能横评：从 3080 到 R9700 的真实 tok/s整理社区热帖的实测数据：各显卡跑 Qwen 系列 27B 的 tok/s 对照，帮你按预算选对卡。04双卡 / 多卡 TP 跑通 P2P 的完整实战：从 BIOS 到带宽实测R9700 等多卡张量并行的落地全记录：主板选型、BIOS 三件套、ACS 绕过、卡间带宽实测数据与常见坑。05我用一张 32G 的 AMD 显卡跑本地大模型：风扇、功耗、量化全部调到位后的最终答案一张 32GB 显存的 AMD 工作站卡（R9700）+ 普通主机跑本地大模型：逐路停转实测风扇映射、锁 250W 降温 8°C 且更安静、量化对撞证明瓶颈不在带宽、前缀缓存 32 倍加速，外加一张"别再折腾"负面清单——所有数字都是反复实测的终版答案。06AMD 显卡本地部署大模型完全指南（ROCm 实战）基于你的 AMD 显卡，从零完成大模型本地部署的实战指南：ROCm 环境搭建、Ollama 与 vLLM 两种方案、27B 量化模型实测速度与显存占用，以及驱动、镜像、量化三大常见坑。07Ollama + ROCm：AMD 显卡从零跑通本地大模型AMD 显卡用户跑本地模型的完整路径：ROCm 环境准备、ollama-for-amd 部署、模型运行验证与常见坑，附 R9700 实测。08显存不够时怎么办：量化与 CPU offload 实战策略32GB 显存下跑 27B 模型的实用策略：量化精度取舍、offload 机制原理、层切分的真实效果与常见误区。09RAG 知识库实战：给本地商家搭一个能查能答的 AI 助理一个真实落地方向：把商家文档、产品资料做成 RAG 知识库，本地模型 + 向量检索，让 AI 基于自己的资料回答。10R9700 32GB 本地推理定位：32B 全量 + 长上下文的甜点用法与调优要点RDNA4 架构 32GB 工作站的本地 AI 推理定位：32B Q4 全量 GPU + 8K-16K 上下文是最舒服用法，70B 只能 offload。本文整理 ROCm 部署路径、A 卡通用调优五要点，以及与 V100 32G / 5090 / L20 的 32GB 档对比和跨厂商多卡警告。