文章板块
从环境搭建到模型运行的部署实践。
Qwen3.8-Flash-Next 125B 激活 6B，NVIDIA QAD 蒸馏 NVFP4 量化 GPQA 91.5%。官方验证硬件只有 RTX PRO 6000 和 DGX Spark；24-32GB 卡走 GGUF（最小 72.5GB）或 Strata 按需加载，内存才是真瓶颈。含量化细节、容器要求与照抄配置档。
OpenMOSS 5B DiT 文生图，中文文字渲染+JSON 坐标控版，Apache-2.0 可商用。ComfyUI 原生支持 10-16 已合入主干，官方 int8/W4A8 量化文件体积实测，Base 与 SFT 怎么选、原生与插件工作流不能混用等坑一次讲清。
DeepSeek 自研搜索引擎开放 API：搜索+抓网页转 Markdown，按成功请求计费 $0.75/千次，失败不收费。本文拆官方文档、给最小可用代码、算本地模型+外包联网的成本账。
Intel OpenVINO 2026.4 发布：更广模型支持+更快推理+Node.js 语音识别，并对 Qwen 3.8 27B 提供 day-0 支持、可跑在 Intel Agentic PC 上。本文拆解更新内容、day-0 支持的含义、与现役 R9700/ROCm 路径的对比、部署脚本该怎么按平台分流，以及踩坑。
内存涨价潮下的降配版：64GB 统一内存、存储减半。统一内存带宽陷阱、双机组集群网口瓶颈、与 R9700 的带宽优先对比。
AMD 把让 AI 自己调优 AI 引擎做出来了：Hyperloom 自动 profile、找瓶颈、改 kernel、验证，官方口径 3.3 倍推理提速。A 卡阵营的结构性动作，本站环境踩坑与升级路线。
阿里千问 2026-09-20 开源的 7B 图像模型（Qwen-Image-2.1），文生图+图像编辑一体，评测 60.28 分登顶开源榜首——8GB/12GB 显存怎么跑、和 FLUX.1 dev 怎么选，一篇讲透。
通义万相 Wan 视频模型 2026 版本线：Wan2.2（开源本地主力）/Wan2.5（音画同步）/Wan2.7/Wan3.0（30 秒长视频，未开源走 API）。显存需求、本地 vs 云端怎么选、常见坑。
四款主流推理框架 2026 年 10 月实时数据对比：vLLM 9.3 万星、Ollama 18.2 万星、SGLang 3.7 万星、TensorRT-LLM 1.5 万星——从吞吐量、显存效率、上手成本到适用场景，一张表说清该选谁。
PXA 是专攻 Pascal/Volta 的量化推理引擎：自研 PXQN 量化（29% 体积 97% 保真）+ 老卡专用 kernel + MTP 投机解码，单张 V100 跑 27B 代码 61.2 t/s、双卡 107.6 t/s、16GB 单卡 131K 上下文。本文把 PXQN 精度表、多卡速度表、v2026.10.1 修复数据全部拆开，附 R9700 实测横向对照。
单卡 161 tok/s 之后的下一步：TP vs layer split 选型、卡间通信四步验证（ReBAR/ACS/showtopo）、引擎实测对比、锁功耗负面清单、双卡采购决策表
R9700 等多卡张量并行的落地全记录：主板选型、BIOS 三件套、ACS 绕过、卡间带宽实测数据与常见坑。
Strata 把 125B 的门槛定在 12GB 起步：3500 Ada 12GB 实测 decode 9-10 tok/s 是'能用级'，但加内存、跑 calibrate、配 hugepages 三步做完速度明显提升。两个坑：nr_hugepages 给小了系统静默退化成 4K 页不报错，PCIe 启动探测读数漂移 3 倍必须手动校准。附 12GB 完整配置和选型建议。
5090 32GB 是 Strata 的完全体：decode 125-149 tok/s、prefill 6004 tok/s、MTP 接受率 76%、1M 上下文 YaRN 能跑。三个加速开关：prefill auto:32768 让 prefill 快 21-35%、conversation-cache 让追问快 10-20 倍、kv-resident 追问免重算。附跨版本 stager 回归坑和 200K+ prefill 阻塞调度的注意事项。
2019 年的 RX 5500 XT 8GB 能到 15-17 tok/s，Tesla P4 8GB 22 tok/s，RTX 2080 Ti 11GB 更狠——显存压满 10.5G 靠 KV streaming 跑满 262,144 token 完整窗口，decode 34 tok/s，250K 深度追问 3.56 秒出结果。三组小显存锚点数据 + MTP 在老卡上开还是关的完整判断标准。
Strata 双卡的价值不是算力叠加而是容量叠加：两张 16GB 卡的专家缓存合计覆盖 98% 路由专家，把 GPU+CPU 混跑变成纯 GPU 跑。同 45W 功耗限制下 decode 从 30-37 提到 54-61 tok/s 接近翻倍。附完整配置和三个反直觉结论：NVLink 零收益、第三张卡拖慢长 prompt、low-RAM 与 layer split 互斥需手编 json。
RDNA4 没有原生 MXFP4 运算单元，原生 ROCm vLLM 会退回 BF16 模拟反量化慢 3-5 倍。4 组 R9700 单卡实测：vllm-radiance 原生 kernel 下 prefill 2300-3300 tok/s、decode 峰值 161 tok/s、8 并发聚合 152。附三套方案（打包镜像/裸配/NVFP4）完整启动参数和显存、并发、ROCm 版本四个坑。
i5-5600 + 32G 内存 + 二手 3080 20G 魔改卡，跑 Qwen3.8-27B 稳定 30+ t/s、1200 t/s prefill，挂 DeepSeek Harness 当 coding agent。核心是 llama.cpp 按架构编译 + KV 量化，不是堆硬件。
7900XTX 的正确用法不是跑分，是当本地 API 服务器长期挂着，给 opencode / pi.dev 等编码 agent 当后端——代码不出家门、不限量、离线可用。质量追平云端，隐私自己掌握。
Hermes 官方免费 stealth/space-bunny-alpha，给 forkgram 改 bug 并让它自己走桌面 APP 全流程测试，一次走通。免费 Agent 模型把'让 AI 自己验证自己'的门槛降到零。
本地模型不够用又不想花钱？百度搭子积分模型可以白嫖——把积分模型接口接给 DSH 和 Hermes Agent，等于免费多一个云端后端做兜底。换手机号多薅几个号。
同一张 7900XTX，两周前 29 t/s prefill '能用就行'，两周后 Strata 直接干到 1270 t/s。从第 1 条路线到第 5 条，prefill 涨 43 倍，254K 上下文不衰减。
7900XTX 单卡 + daniel-mtp 的 HIP 分支 + MTP 投机解码，Qwen3.8-27B Q4_K_M 稳定 50+ t/s。gfx1100 的 unroll threshold 微调是收益关键一环。
DSH 里的 GPU 监控悬浮卡：数值时效与 nvitop 一致或更快，可随意拖拽、调整尺寸、悬浮不遮挡、一键隐藏。把 GPU 状态钉在 DSH 界面上，不切窗口。
测了三类生成任务（网页/SVG），旗舰模式 6-7 分钟一个页面，效果从'一般般'到'不忍直视'。纯生成质量上打不过本地 27B + 成熟 harness 的组合。
7900XTX + Qwen3.8 27B Q5_K_M + DSH，实测让模型从零写完整 2D 打飞机游戏（单 HTML 文件）：5409 token 代码平均 89 t/s 一气呵成。
桌面 GPU 监控小窗：多卡逐卡显示品牌色标 + 型号 + 温度/功耗/风扇/频率，30 秒利用率历史小图，无边框可拖拽、F11 全屏。MIT 开源一键安装包。
DSH 跑在远端，人不在电脑前——用三个插件把 agent 装进口袋：dsh-im 聊天下指令（9 渠道）、dsh-pocket 手机看界面、dsh-computer-use 桌面自动化。
WSL2 虚拟磁盘损坏，1TB VHDX 只剩 ext4 元数据坏。从 exFAT 连锁故障到 e2fsck 误操作，最后 PhotoRec 只读 raw carving 恢复 6 万多个文件。
单卡 RTX 5090 32G + SGLang 跑 Qwen3.6-35B NVFP4：YaRN 4.0 扩到 1M，KV cache fp8，分层缓存 24GB。出字快到'成篇文章吐出来'，比云端 V4.1 还快。
Mac Studio M5 Max 128GB 跑 Qwen3.8 Flash-Next 128K 上下文：prefill 1900 t/s、decode 49 t/s，retrieval / tool call 全项 PASS。
MTP 下 Qwen3.6-27B 稳定 50+ t/s，但聊几句就刷缓存不命中、重算几十秒到几分钟。换成 Qwen-Fixed-Chat-Templates 后，聊一小时缓存失效只剩个位数次。
X99 + W9700 跑通前，BIOS 有四个设置必须改对，其中一个改错就花屏进不去系统。Above 4G、纯 UEFI、关 Secure Boot、PCIe 锁 Gen3，外加一个千万别碰的 Re-Size BAR。
双卡 RTX 5070 Ti 16G + Threadripper + Strata 跑 125B MoE（IQ3_XXS）：prefill 3200 t/s，decode 最高 140 t/s，256K 全程可用。
DeepSeek API 断网那天，本地模型顶上但上下文超限，云端压缩用不了。解法：不需要压缩，直接裁剪——不靠大模型，纯脚本成对剪掉最旧对话。
Strata 刚支持 7900XTX 时 prefill 才 700 多，把 vLLM 上的专用 WMMA kernel 搬过来，prefill 直接干到 1300+。思路简单但收益巨大。
单卡 R9700 32G 二次开发 SGLang，Qwen3.8 27B 从 AWQ 改造成 MXFP4 原生内核：PP 2000 / TG 90 t/s，上下文 229K。买的是用上 RDNA4 的 FP4 硬件。
同一个 computer-use 任务，改前 271 秒改后 27 秒，差 9.9 倍。核心是读结构化 DOM（46ms）而不是看截图，决策简化成一次 TypeSafe Choice。
NInfer 主打速度极致：单卡 3090 跑 27B 稳定 70+ t/s，远超 llama.cpp。代价是显存占用激进——上下文拉长或多并发时显存就是墙。
不用魔改、不用双卡、不用 SGLang——llama.cpp 官方版本直接支持 DFlash2 投机解码，单卡 7900XTX 开箱即用。轻量 Draft 模型猜 4-7 个 token，主模型批量验证。
M5 Ultra 256GB 统一内存、1.2TB/s 带宽，跑 MoE 的 prefill 预计比 M3 Ultra 快 3-4 倍。统一内存带宽是本地推理核心指标，MoE 每层 expert 搬运速度直接翻倍。
单卡 7900XTX + 64G DDR3 跑 125B MoE，prefill 峰值 1602 t/s，256K 仍有 1258 t/s。hipBLASLt 调优让 prefill 743→1179 t/s（+58.7%），回退率 55%→0%。全程 ROCm。
两块 9700 想跑 P2P 但主板不支持——老平台双卡最头疼的问题。一张 PCIe Switch 卡 + 台达 1500W，让显卡间数据走 Switch 直接转发，绕过 CPU 中转。
双卡 TP 跑多并发，90% 情况首 token 延迟 <1s，80K 上下文 80-100 t/s，比 llama.cpp 和 vLLM 都丝滑。核心是把 VLLM kernel port 到 SGLang 支持 gfx1100。
24G 显存跑 512K 上下文，不是显存变多，是 KVMem 把'全部历史驻留显存'改了——GPU 只留有限工作集，大的放 Host RAM。单卡 64K→512K decode 全程不衰减。
X99 + 7900XTX 在 Windows 下跑 27B 只有 12 t/s、首 token 卡 4 分钟。根因是主板默认把显卡锁死在 256MB Small BAR。注入 ReBarDxe 后 decode 12→37 t/s，+195%。
同样的 24G 显卡跑同一模型，TurboQuant 比传统 Q4 多塞约 2 倍上下文，速度反而更快——省显存的同时省带宽。7900XTX 实测 256K prefill 970 t/s。
一张 32GB 显存的 AMD 工作站卡（R9700）+ 普通主机跑本地大模型：逐路停转实测风扇映射、锁 250W 降温 8°C 且更安静、量化对撞证明瓶颈不在带宽、前缀缓存 32 倍加速，外加一张"别再折腾"负面清单——所有数字都是反复实测的终版答案。
NInfer 是从头用 C++/CUDA 写的单 GPU 推理引擎，定位明确——榨干单张 RTX 5090 上的 Qwen 系列推理（Qwen3.6/3.8，文/图/视频）。本文对比它与 vLLM/SGLang 通用引擎的根本区别，拆解"单卡+单模型"为何能榨出性能，给出选型建议、与 Strata 的上下游关系与踩坑记录。
125B MoE 模型（24576 个专家）正常得几百 GB 显存才跑得动，Strata 把它落到一张 12-24GB N 卡 + 64GB 内存的普通主机上，一键安装，写出答案 60-95 tok/s、读 prompt 2000+ tok/s。本文整理官方 README 一手实测表、量化档位 vs 内存需求、整机分摊原理、双卡/AMD/长上下文进阶玩法与踩坑记录。
没有最快的推理引擎，只有最适合你场景的引擎。本文拆解 5 大主流推理引擎的核心技术（PagedAttention、RadixAttention、TurboMind 双引擎、CPU 极致优化、NVIDIA 内核融合），整理社区实测吞吐 / 延迟 / 显存数据，给出选型决策树与 6 个踩坑记录，帮你把"选引擎"这笔账算明白。
L40S 与 4090 同代架构、同显存，但无游戏限制、ECC 可选、PCIe 满速。本文整理规格对比、社区实测、买 L40S 的决策框架与买前必知。
2016 年上市的数据中心卡，2026 年二手 ¥1500 上下，"每 GB 显存成本"几乎无人能敌。本文整理 P40 性能底细、双卡跑 70B 可行性、买前必知的坑与决策框架。
32GB 显存让 14B 模型从"勉强跑"变成"从容跑全精度"。本文整理 5090 与 4090 在 14B 全精度推理上的公开实测：显存账、速度差、坑位与升级决策框架。
基于你的 AMD 显卡，从零完成大模型本地部署的实战指南：ROCm 环境搭建、Ollama 与 vLLM 两种方案、27B 量化模型实测速度与显存占用，以及驱动、镜像、量化三大常见坑。
同样 24GB 显存，N 卡与 A 卡跑大模型的真实差距只有 10-14%——本文用公开实测数据讲透 24GB 能装多大模型、3090 与 4090 的速度差、7900 XTX 的量化阶梯，以及超频、PCIe 插槽、ROCm 环境三个最常踩的坑，给出按预算的选卡结论。
2019 年的 Turing 卡把 11GB 显存换成 2GB 芯片堆到 22GB，约 1900 元拿到接近专业卡的容量。本文整理魔改原理、SDXL/SVD/大模型公开实测、Mats 验卡流程，以及无保修虚焊、矿卡来源、架构天花板三件买前必看的风险。
AMD 显卡用户跑本地模型的完整路径：ROCm 环境准备、ollama-for-amd 部署、模型运行验证与常见坑，附 R9700 实测。
32GB 显存档里价格最低的方案：Volta 架构、HBM2 900GB/s、250W 单 8pin。本文记录完整链路——Mats 验卡 + 24 小时烤机、双 12cm 风道散热整备、Windows 535 专业驱动、32GB 三层承载范围，以及双卡显卡坞方案的真实面貌。
4 张 3090 = 96GB 显存能装下 70B 量化模型还留长上下文。本文基于公开的 4 卡 vLLM 实测讲透三种并行方式的 GPU 利用率差异（TP 80-90% 胜出）、PCIe 互连下的通信开销，以及插槽带宽、供电散热、驱动掉卡、跨厂商混插五大坑，给出双卡/四卡的预算决策。
32GB 显存下跑 27B 模型的实用策略：量化精度取舍、offload 机制原理、层切分的真实效果与常见误区。
24GB RDNA3 卡跑 LLM 的完整画像：FP16/INT8/INT4 三档量化能装多大模型、Ollama num_ctx 与 num_batch 调参、HSA_OVERRIDE_GFX_VERSION 兜底，以及 24GB 不等于长上下文自由、Vulkan 可能比 ROCm 更快两个反直觉点，附散热与降压超频建议。
RDNA4 架构 32GB 工作站的本地 AI 推理定位：32B Q4 全量 GPU + 8K-16K 上下文是最舒服用法，70B 只能 offload。本文整理 ROCm 部署路径、A 卡通用调优五要点，以及与 V100 32G / 5090 / L20 的 32GB 档对比和跨厂商多卡警告。
