FEATURED · 精选文章
部署教程AMD 显卡本地部署大模型完全指南(ROCm 实战)
基于你的 AMD 显卡,从零完成大模型本地部署的实战指南:ROCm 环境搭建、Ollama 与 vLLM 两种方案、27B 量化模型实测速度与显存占用,以及驱动、镜像、量化三大常见坑。
KNOWLEDGE & PRACTICE
从部署教程、模型评测到行业观察,把复杂问题整理成可执行的路径。
FEATURED · 精选文章
部署教程基于你的 AMD 显卡,从零完成大模型本地部署的实战指南:ROCm 环境搭建、Ollama 与 vLLM 两种方案、27B 量化模型实测速度与显存占用,以及驱动、镜像、量化三大常见坑。
LATEST ARTICLES · 其余文章
0224GB 显存甜点区:RTX 3090 / 7900 XTX / 4090 本地大模型实测与选卡同样 24GB 显存,N 卡与 A 卡跑大模型的真实差距只有 10-14%——本文用公开实测数据讲透 24GB 能装多大模型、3090 与 4090 的速度差、7900 XTX 的量化阶梯,以及超频、PCIe 插槽、ROCm 环境三个最常踩的坑,给出按预算的选卡结论。03Ollama + ROCm:AMD 显卡从零跑通本地大模型AMD 显卡用户跑本地模型的完整路径:ROCm 环境准备、ollama-for-amd 部署、模型运行验证与常见坑,附 R9700 实测。04RX 7900 XTX 跑大模型实测:量化阶梯、ROCm 调优与两个反直觉点24GB RDNA3 卡跑 LLM 的完整画像:FP16/INT8/INT4 三档量化能装多大模型、Ollama num_ctx 与 num_batch 调参、HSA_OVERRIDE_GFX_VERSION 兜底,以及 24GB 不等于长上下文自由、Vulkan 可能比 ROCm 更快两个反直觉点,附散热与降压超频建议。