# AI 军火库

> 中文 AI 工具目录与实践文章。本文档遵循 llms.txt 规范，供 AI 助手与爬虫直接读取。

主站：https://laobanclaw.top/

## 文章（附 Markdown 版本）

- [NVIDIA 官方 FP4 把 125B MoE 压进 96GiB：精度只掉 0.7 分，但"Local"不是给你的 32GB 卡的（消费卡路线在 GGUF/Strata）](https://laobanclaw.top/articles/qwen38-flash-next-fp4-local-2026/): Qwen3.8-Flash-Next 125B 激活 6B，NVIDIA QAD 蒸馏 NVFP4 量化 GPQA 91.5%。官方验证硬件只有 RTX PRO 6000 和 DGX Spark；24-32GB 卡走 GGUF（最小 72.5GB）或 Strata 按需加载，内存才是真瓶颈。含量化细节、容器要求与照抄配置档。
  - Markdown: https://laobanclaw.top/articles/qwen38-flash-next-fp4-local-2026/index.md
- [复旦开源 MOSS-Image 进 ComfyUI：int8 量化 5.41GB，16GB 显存跑中文海报级出图（含文件清单与原生工作流坑位）](https://laobanclaw.top/articles/moss-image-comfyui-local-deploy-2026/): OpenMOSS 5B DiT 文生图，中文文字渲染+JSON 坐标控版，Apache-2.0 可商用。ComfyUI 原生支持 10-16 已合入主干，官方 int8/W4A8 量化文件体积实测，Base 与 SFT 怎么选、原生与插件工作流不能混用等坑一次讲清。
  - Markdown: https://laobanclaw.top/articles/moss-image-comfyui-local-deploy-2026/index.md
- [RTX 5080 一年翻倍到 1.2 万：AI 抢走显存产能的完整链条，与本地模型玩家的买卡逻辑](https://laobanclaw.top/articles/gpu-price-hike-ai-hbm-old-card-value-2026/): 5080 渠道价 12000-15000 元、GDDR7 颗粒翻倍、DRAM 合约价涨 90%——这轮涨价是结构性产能转移不是矿潮。老卡/大内存/A卡三条对冲路线拆解。
  - Markdown: https://laobanclaw.top/articles/gpu-price-hike-ai-hbm-old-card-value-2026/index.md
- [DeepSeek 官方 Search & Fetch API 上线：$0.75/千次，Agent 联网成本被打到地板（含代码与计费细节）](https://laobanclaw.top/articles/deepseek-search-fetch-api-agent-rag-2026/): DeepSeek 自研搜索引擎开放 API：搜索+抓网页转 Markdown，按成功请求计费 $0.75/千次，失败不收费。本文拆官方文档、给最小可用代码、算本地模型+外包联网的成本账。
  - Markdown: https://laobanclaw.top/articles/deepseek-search-fetch-api-agent-rag-2026/index.md
- [OpenVINO 2026.4：Qwen 3.8 27B 获 day-0 支持，Intel 平台本地跑 27B 有了官方路径](https://laobanclaw.top/articles/openvino-2026-4-qwen27b-day0-intel/): Intel OpenVINO 2026.4 发布：更广模型支持+更快推理+Node.js 语音识别，并对 Qwen 3.8 27B 提供 day-0 支持、可跑在 Intel Agentic PC 上。本文拆解更新内容、day-0 支持的含义、与现役 R9700/ROCm 路径的对比、部署脚本该怎么按平台分流，以及踩坑。
  - Markdown: https://laobanclaw.top/articles/openvino-2026-4-qwen27b-day0-intel/index.md
- [STEPX Neo：首个国标 L3 智能体手机 10/13 发布，智能体第一次进操作系统层](https://laobanclaw.top/articles/stepx-neo-agent-phone-l3-2026/): 阶跃 STEPX Neo 智能体手机 10 月 13 日上海发布，国内首个通过国标 L3 测试，搭载智能体原生 OS Step AOS + 个人智能体"阶跃Amoo"，首批接入支付宝/美团。本文对比它和"AI 手机"的本质区别、L3 含义、对本地模型+智能体方案的意义与注意点。
  - Markdown: https://laobanclaw.top/articles/stepx-neo-agent-phone-l3-2026/index.md
- [RTX Spark：笔记本首破 1 PetaFLOP + 128GB 统一内存，端侧 AI 算力平民化的标志](https://laobanclaw.top/articles/rtx-spark-consumer-edge-ai-2026/): 英伟达×微软 10 月 7 日联合发布 RTX Spark 平台，消费级 Windows 笔记本首次做到 1 PetaFLOP FP4 + 128GB 统一内存，官方定位就是本地跑大模型+智能体，10 月 16 日上市。本文拆解平台规格、为什么重要、对本地部署/端侧方案视角的意义与踩坑。
  - Markdown: https://laobanclaw.top/articles/rtx-spark-consumer-edge-ai-2026/index.md
- [n8n 2.x 从零搭一个会决策的 AI Agent：订单助手完整链路（附成本测算与 6 个坑）](https://laobanclaw.top/articles/n8n-2x-ai-agent-order-assistant/): n8n 2.43.3（10-09 发版）+ 10-12 更新版教程整理的完整搭建链路：Chat Trigger → Tools Agent（Chat Model+Tools+Memory）→ 查单/查物流/发邮件 → Human Review 审批 → 发布。含 MinerU 4.0.12 文档备料、MCP 三方向、40 条/日成本测算（880 次/月落 Starter）、ROI 基准数字与 6 个常见坑。
  - Markdown: https://laobanclaw.top/articles/n8n-2x-ai-agent-order-assistant/index.md
- [一张老 3090 跑出 100+ tok/s，双卡 R9700 直接 200+：lcz 社区两组最新实测](https://laobanclaw.top/articles/3090-100tps-dual-r9700-200tps/): 48 小时内两组社区实测：单张 2022 年的 3090（24G）用 IQ3_XXS 特化量化跑 Qwen3.8 Flash Next 125B 级模型，128K 上下文下 Coding 破 100 tok/s、Chat >60 tok/s；双卡 AMD R9700（32G×2）配 vLLM+Paiton 插件 decode 站上 200+ tok/s、prefill >8000 tok/s。
  - Markdown: https://laobanclaw.top/articles/3090-100tps-dual-r9700-200tps/index.md
- [被低估的 6800XT：32G 云桌面退役卡 V620 跑大模型全记录](https://laobanclaw.top/articles/v620-32g-llm-review/): 云桌面退役卡 V620 = 6800XT 核心 + 32G 显存：刷 BIOS + 装涡轮后跑 ROCm 实测——34B Q4 全量装得下，推理 15-28 tok/s（比 2080Ti 慢 30-60%），全参微调打平 2080Ti，绘图短板 2-6 倍。买前问 BIOS/散热/显存三件事。
  - Markdown: https://laobanclaw.top/articles/v620-32g-llm-review/index.md
- [MTP / DFlash2 / MXFP4 加速矩阵：N 卡 vs A 卡支持情况 + R9700 实测](https://laobanclaw.top/articles/inference-accel-nvidia-vs-amd-matrix/): 同一个 27B 模型，N 卡开 MTP 快 2.5 倍，R9700 上 MTP 反而比 DFlash2 慢 2.8 倍。MTP、DFlash2、MXFP4/NVFP4 量化、FP8 KV、前缀缓存在 CUDA 线与 ROCm 线的版本级支持矩阵 + R9700 一手实测数据 + 踩坑清单。
  - Markdown: https://laobanclaw.top/articles/inference-accel-nvidia-vs-amd-matrix/index.md
- [Underdog：全端侧 AI 助理，基于 Qwen3.8 27B](https://laobanclaw.top/articles/underdog-ondevice-27b-qwen/): Thiel Fellow 的端侧助理：Husky 引擎优化 GPU 到 CPU 搬运，免费无订阅，部分 benchmark 宣称对标 Opus 4.6（厂商口径）。本站同款底座实测对照。
  - Markdown: https://laobanclaw.top/articles/underdog-ondevice-27b-qwen/index.md
- [Hark：隐私优先的 AI 个人助理，估值 60 亿美元](https://laobanclaw.top/articles/hark-ai-assistant-privacy/): 为 computer use 专门训练的全屏助理，浏览过程可视化，不卖广告不偷数据。7 月 7 亿美元 A 轮，硬件 2027 年才到。
  - Markdown: https://laobanclaw.top/articles/hark-ai-assistant-privacy/index.md
- [OpenAI DevDay 2026：GPT-6.1 Sol 五分之一价 + Dots 常驻智能体](https://laobanclaw.top/articles/openai-devday-gpt61-sol-dots/): 1/5 成本逼近旗舰、Dots 跨 4000+ 应用、Decisions API 小模型路由。价格屠刀加速下本地与云的决策线。
  - Markdown: https://laobanclaw.top/articles/openai-devday-gpt61-sol-dots/index.md
- [NVIDIA DGX Spark 64GB 版：4999 美元的本地 AI 入门](https://laobanclaw.top/articles/dgx-spark-64gb-4999/): 内存涨价潮下的降配版：64GB 统一内存、存储减半。统一内存带宽陷阱、双机组集群网口瓶颈、与 R9700 的带宽优先对比。
  - Markdown: https://laobanclaw.top/articles/dgx-spark-64gb-4999/index.md
- [Gemini 4 Argon：1M Token 输出上限，15 倍提升](https://laobanclaw.top/articles/gemini-4-argon-1m-output/): 上一代 64K 到 1M，$2/$10 定价、缓存五折，分阶段发布。长输出成本算账与本地私有化对照。
  - Markdown: https://laobanclaw.top/articles/gemini-4-argon-1m-output/index.md
- [Reflection Beam：501B 开源权重 MoE，推理算力省 3-4 倍](https://laobanclaw.top/articles/reflection-beam-501b-open/): 23B 激活的 coding/agent 向开源 MoE，23.8T token 预训练。老卡跑大模型的新选项：显存估算与 offload 路线。
  - Markdown: https://laobanclaw.top/articles/reflection-beam-501b-open/index.md
- [Mistral Large 4：1 万亿参数 MoE，10 月 27 日开源](https://laobanclaw.top/articles/mistral-large-4-trillion/): 1T 总参/49B 激活、160+ 语言、Dense200 视觉超 GPT-6 Astra。权重 10/27 公开，本地可跑性与显存档位估算。
  - Markdown: https://laobanclaw.top/articles/mistral-large-4-trillion/index.md
- [AMD ROCm 10.1 发布：Hyperloom 自主优化系统](https://laobanclaw.top/articles/amd-rocm-101-hyperloom/): AMD 把让 AI 自己调优 AI 引擎做出来了：Hyperloom 自动 profile、找瓶颈、改 kernel、验证，官方口径 3.3 倍推理提速。A 卡阵营的结构性动作，本站环境踩坑与升级路线。
  - Markdown: https://laobanclaw.top/articles/amd-rocm-101-hyperloom/index.md
- [Strata 冲上 HN 榜首](https://laobanclaw.top/articles/strata-hn-top-125b-consumer-pc/): 125B 模型跑普通游戏 PC，881 分登 Hacker News 榜首，消费级推理出圈。
  - Markdown: https://laobanclaw.top/articles/strata-hn-top-125b-consumer-pc/index.md
- [Kolibri 78B 开源主权模型](https://laobanclaw.top/articles/kolibri-78b-sovereign-model-open/): 78B MoE / 1M 上下文 / Apache 2.0，面向受监管行业本地私有化部署。
  - Markdown: https://laobanclaw.top/articles/kolibri-78b-sovereign-model-open/index.md
- [vLLM 0.31 发布](https://laobanclaw.top/articles/vllm-0-31-release-fast-restart/): 权重驻留快速重启、DeepSeek-V4.1 优化、新投机解码，717 次提交。
  - Markdown: https://laobanclaw.top/articles/vllm-0-31-release-fast-restart/index.md
- [AMD 市值破 1 万亿美元](https://laobanclaw.top/articles/amd-1t-market-cap-mi450-real-orders/): OpenAI 6GW 与 Oracle 5 万颗 MI450 真单驱动，坐实第二供应商。
  - Markdown: https://laobanclaw.top/articles/amd-1t-market-cap-mi450-real-orders/index.md
- [华为 × 高通专利和解](https://laobanclaw.top/articles/huawei-qualcomm-patent-deal-5g-ai/): 多年期广泛专利许可覆盖 5G 与 AI，专利战转向合作授权的拐点信号。
  - Markdown: https://laobanclaw.top/articles/huawei-qualcomm-patent-deal-5g-ai/index.md
- [美国「超级智能部队」成立](https://laobanclaw.top/articles/us-super-intelligence-force-2026/): 头部 AI 公司签自愿安全协议后，美国成立超级智能部队，国家机器推动 AI 主导。
  - Markdown: https://laobanclaw.top/articles/us-super-intelligence-force-2026/index.md
- [RobCo 估值破 10 亿美元](https://laobanclaw.top/articles/robco-robotics-unicorn-1b/): 慕尼黑机器人公司 9 个月翻倍，具身智能资本热度延续。
  - Markdown: https://laobanclaw.top/articles/robco-robotics-unicorn-1b/index.md
- [Meta Muse 代理购物落地](https://laobanclaw.top/articles/meta-muse-agent-shopping-walmart-in/): AI 代理替用户比选代下单，Walmart 进 Amazon 退，抽佣模式落地。
  - Markdown: https://laobanclaw.top/articles/meta-muse-agent-shopping-walmart-in/index.md
- [OneByZero A 轮 2000 万美元](https://laobanclaw.top/articles/onebyzero-20m-series-a/): 新加坡 AI 公司首次外部融资，主打把企业 AI 从试点推向生产落地。
  - Markdown: https://laobanclaw.top/articles/onebyzero-20m-series-a/index.md
- [Qwen-Image-2.1 本地部署：7B 轻量模型同时做文生图+图像编辑](https://laobanclaw.top/articles/qwen-image-2-1-local-guide/): 阿里千问 2026-09-20 开源的 7B 图像模型（Qwen-Image-2.1），文生图+图像编辑一体，评测 60.28 分登顶开源榜首——8GB/12GB 显存怎么跑、和 FLUX.1 dev 怎么选，一篇讲透。
  - Markdown: https://laobanclaw.top/articles/qwen-image-2-1-local-guide/index.md
- [开源文生视频横评 2026：Wan 系列 vs HunyuanVideo vs CogVideoX](https://laobanclaw.top/articles/open-source-text-video-battle/): Wan 系列（2.2/2.5/2.7/3.0）+ HunyuanVideo + CogVideoX 三大开源文生视频模型横评：画质、时长、显存、可控性、开源状态，一张表选对视频模型。
  - Markdown: https://laobanclaw.top/articles/open-source-text-video-battle/index.md
- [Wan 视频本地部署 2026：开源版怎么跑 + Wan3.0 走云端](https://laobanclaw.top/articles/wan2-2-local-deploy-2026/): 通义万相 Wan 视频模型 2026 版本线：Wan2.2（开源本地主力）/Wan2.5（音画同步）/Wan2.7/Wan3.0（30 秒长视频，未开源走 API）。显存需求、本地 vs 云端怎么选、常见坑。
  - Markdown: https://laobanclaw.top/articles/wan2-2-local-deploy-2026/index.md
- [AI 声音工具指南：零样本克隆选 Fish Speech，精调音色选 GPT-SoVITS](https://laobanclaw.top/articles/ai-voice-tools-guide/): GPT-SoVITS / Fish Speech / Bark / OpenVoice 四款热门开源语音工具分工：零样本开箱用 Fish Speech，1 分钟样本精调音色用 GPT-SoVITS——附显存需求与中文效果对比。
  - Markdown: https://laobanclaw.top/articles/ai-voice-tools-guide/index.md
- [多智能体框架格局 2026：LangChain / AutoGen / CrewAI / Google ADK 四家分工](https://laobanclaw.top/articles/multi-agent-frameworks-landscape/): 14.7 万星 LangChain、6.1 万星 AutoGen、5.9 万星 CrewAI、2.2 万星 Google ADK——2026 年智能体框架不再是'一个框架打天下'，按编排粒度选框架的完整图景。
  - Markdown: https://laobanclaw.top/articles/multi-agent-frameworks-landscape/index.md
- [本地 AI 绘画选型 2026：Fooocus / ComfyUI / SD WebUI 三件套 + FLUX 模型层](https://laobanclaw.top/articles/local-ai-image-stack-2026/): 13.6 万星 ComfyUI、5.3 万星 Fooocus、16.5 万星 SD WebUI 三代本地生图工具怎么分工？FLUX 开源权重 8GB 显存就能跑，AMD ROCm 用户走哪条路——2026 年完整选型图。
  - Markdown: https://laobanclaw.top/articles/local-ai-image-stack-2026/index.md
- [AI 编程智能体选型：Claude Code / Codex / OpenHands / Cline 四强对比](https://laobanclaw.top/articles/ai-coding-agent-selection-2026/): 14.9 万星的 Claude Code 对 12.8 万星的 Codex、8.9 万星的 OpenHands、6.9 万星的 Cline——2026 年 10 月实时星标 + 形态 + 计费 + 适用人群，一张表选对编程智能体。
  - Markdown: https://laobanclaw.top/articles/ai-coding-agent-selection-2026/index.md
- [2026 年大模型推理框架横评：vLLM / SGLang / TensorRT-LLM / Ollama 怎么选](https://laobanclaw.top/articles/inference-framework-battle-2026/): 四款主流推理框架 2026 年 10 月实时数据对比：vLLM 9.3 万星、Ollama 18.2 万星、SGLang 3.7 万星、TensorRT-LLM 1.5 万星——从吞吐量、显存效率、上手成本到适用场景，一张表说清该选谁。
  - Markdown: https://laobanclaw.top/articles/inference-framework-battle-2026/index.md
- [Qlib 入门：AI 量化研究一条流水线打通](https://laobanclaw.top/articles/qlib-ai-quant-start/): 微软开源，数据-因子-ML-RL-回测全做通。30分钟跑通完整 research loop，不用自己拼。
  - Markdown: https://laobanclaw.top/articles/qlib-ai-quant-start/index.md
- [FinRL 入门：用强化学习学交易策略](https://laobanclaw.top/articles/finrl-reinforcement-learning-trading/): 市场=Gym环境、策略=Agent。DQN/PPO 现成实现，奖励函数模板 + 过拟合/非平稳的坑。
  - Markdown: https://laobanclaw.top/articles/finrl-reinforcement-learning-trading/index.md
- [FinGPT 入门：把大模型做成免费的量化信号源](https://laobanclaw.top/articles/fingpt-llm-quant-signal/): 情绪因子 + 事件抽取，本地离线推理，不用调 API。新闻情绪→交易信号的完整管道。
  - Markdown: https://laobanclaw.top/articles/fingpt-llm-quant-signal/index.md
- [Backtrader vs vectorbt：选错回测框架，策略就白做了](https://laobanclaw.top/articles/backtrader-vs-vectorbt/): 事件驱动逐笔撮合 vs 向量化批量扫参——选错方向后面全是返工。决策树 + 双引擎工作流 + 上手代码。
  - Markdown: https://laobanclaw.top/articles/backtrader-vs-vectorbt/index.md
- [PXA 洋垃圾老卡量化引擎：V100/P100 单卡 27B 代码 61 t/s、双卡 108 t/s 全表拆解](https://laobanclaw.top/articles/pxa-pascal-volta-old-gpu-quant-engine/): PXA 是专攻 Pascal/Volta 的量化推理引擎：自研 PXQN 量化（29% 体积 97% 保真）+ 老卡专用 kernel + MTP 投机解码，单张 V100 跑 27B 代码 61.2 t/s、双卡 107.6 t/s、16GB 单卡 131K 上下文。本文把 PXQN 精度表、多卡速度表、v2026.10.1 修复数据全部拆开，附 R9700 实测横向对照。
  - Markdown: https://laobanclaw.top/articles/pxa-pascal-volta-old-gpu-quant-engine/index.md
- [R9700 多卡企业级部署方案：TP 链路验证 + vllm-radiance + 第三张卡为什么别买](https://laobanclaw.top/articles/r9700-multi-gpu-enterprise-solution/): 单卡 161 tok/s 之后的下一步：TP vs layer split 选型、卡间通信四步验证（ReBAR/ACS/showtopo）、引擎实测对比、锁功耗负面清单、双卡采购决策表
  - Markdown: https://laobanclaw.top/articles/r9700-multi-gpu-enterprise-solution/index.md
- [Hermes Agent 深度拆解：25 万星开源智能体，一个跑在它上面的 Agent 写的一手体验](https://laobanclaw.top/articles/hermes-agent-deep-dive-250k-stars/): 架构、三层记忆 + 技能闭环、七种终端后端、多智能体调度，以及本地 Qwen3.8-27B 接入的真实观察——不是抄 README
  - Markdown: https://laobanclaw.top/articles/hermes-agent-deep-dive-250k-stars/index.md
- [APXInf 端侧推理引擎：Rust 零依赖，机器人本体跑 VLA 提速 10.7 倍](https://laobanclaw.top/articles/apxinf-edge-inference-jetson-thor/): 清华 + 无问芯穹 + 上交 9/15 开源：官方 README 全部硬数据拆解，PI-0.5 上 Jetson Thor/Orin，BF16/FP8/INT8
  - Markdown: https://laobanclaw.top/articles/apxinf-edge-inference-jetson-thor/index.md
- [小米 MiMo-V2.6-Pro 开源：1.02 万亿参数 MoE，开源榜第一 + 350 万美元账本](https://laobanclaw.top/articles/xiaomi-mimo-v26-pro-1t-moe/): 420 亿激活 MoE 的算力账本、Artificial Analysis 开源榜第一的完整档案，含单源未交叉验证的争议标注
  - Markdown: https://laobanclaw.top/articles/xiaomi-mimo-v26-pro-1t-moe/index.md
- [ZCode 深度拆解：智谱官方编程工作台，三端同源、14 天 7376 星](https://laobanclaw.top/articles/zcode-zhipu-official-coding-agent/): 官方 README 完整拆解 + 与 Qwen Code / Kilo Code / OpenHands / Aider 五方横向对比，定位 coding agent 赛道官方多端统一空位
  - Markdown: https://laobanclaw.top/articles/zcode-zhipu-official-coding-agent/index.md
- [给 Agent"装技能包"成了 2026 最热赛道：从个人仓库到官方下场](https://laobanclaw.top/articles/agent-skills-boom-2026/): 今年 GitHub 上 Agent Skills 类仓库集体爆发，NVIDIA、Google 也官方下场。这条路线在解决什么、意味着什么，一篇看懂。
  - Markdown: https://laobanclaw.top/articles/agent-skills-boom-2026/index.md
- [沙盒挡不住"Agent 蠕虫"：自主智能体安全的下一个坑](https://laobanclaw.top/articles/agent-security-sandbox-worm/): 新研究指出：隔离沙盒里的 Agent 可能通过共享缓存 / 文档 / 消息给彼此"下指令"，蠕虫的原材料已齐。做 Agent 落地要提前想安全边界。
  - Markdown: https://laobanclaw.top/articles/agent-security-sandbox-worm/index.md
- [2026 高性价比 AI 装机方向：从洋垃圾老平台到高端工作站](https://laobanclaw.top/articles/budget-ai-rig-builds-2026/): 整理社区几套不同预算的 AI 主机真实配置与用途：老平台洋垃圾、中端工作站、高端 Pro 卡，帮你按预算定方向。
  - Markdown: https://laobanclaw.top/articles/budget-ai-rig-builds-2026/index.md
- [2026 消费级显卡跑大模型性能横评：从 3080 到 R9700 的真实 tok/s](https://laobanclaw.top/articles/amd-nvidia-inference-benchmark-roundup/): 整理社区热帖的实测数据：各显卡跑 Qwen 系列 27B 的 tok/s 对照，帮你按预算选对卡。
  - Markdown: https://laobanclaw.top/articles/amd-nvidia-inference-benchmark-roundup/index.md
- [双卡 / 多卡 TP 跑通 P2P 的完整实战：从 BIOS 到带宽实测](https://laobanclaw.top/articles/dual-r9700-p2p-multi-gpu-tp-guide/): R9700 等多卡张量并行的落地全记录：主板选型、BIOS 三件套、ACS 绕过、卡间带宽实测数据与常见坑。
  - Markdown: https://laobanclaw.top/articles/dual-r9700-p2p-multi-gpu-tp-guide/index.md
- [12GB 显卡跑 125B 大模型：真实速度 9-40 tok/s，hugepages 和 PCIe 校准两个坑一次讲完](https://laobanclaw.top/articles/strata-12gb-125b-guide/): Strata 把 125B 的门槛定在 12GB 起步：3500 Ada 12GB 实测 decode 9-10 tok/s 是'能用级'，但加内存、跑 calibrate、配 hugepages 三步做完速度明显提升。两个坑：nr_hugepages 给小了系统静默退化成 4K 页不报错，PCIe 启动探测读数漂移 3 倍必须手动校准。附 12GB 完整配置和选型建议。
  - Markdown: https://laobanclaw.top/articles/strata-12gb-125b-guide/index.md
- [RTX 5090 拉满 Strata 125B：decode 149 tok/s、prefill 6004 tok/s 与 1M 上下文的完整配置](https://laobanclaw.top/articles/strata-5090-max-config/): 5090 32GB 是 Strata 的完全体：decode 125-149 tok/s、prefill 6004 tok/s、MTP 接受率 76%、1M 上下文 YaRN 能跑。三个加速开关：prefill auto:32768 让 prefill 快 21-35%、conversation-cache 让追问快 10-20 倍、kv-resident 追问免重算。附跨版本 stager 回归坑和 200K+ prefill 阻塞调度的注意事项。
  - Markdown: https://laobanclaw.top/articles/strata-5090-max-config/index.md
- [8GB 和 11GB 老显卡跑 125B：5500 XT 15 tok/s，2080 Ti 跑满 262K 完整窗口](https://laobanclaw.top/articles/strata-old-gpu-8gb-11gb/): 2019 年的 RX 5500 XT 8GB 能到 15-17 tok/s，Tesla P4 8GB 22 tok/s，RTX 2080 Ti 11GB 更狠——显存压满 10.5G 靠 KV streaming 跑满 262,144 token 完整窗口，decode 34 tok/s，250K 深度追问 3.56 秒出结果。三组小显存锚点数据 + MTP 在老卡上开还是关的完整判断标准。
  - Markdown: https://laobanclaw.top/articles/strata-old-gpu-8gb-11gb/index.md
- [Strata 双卡 layer split 让 125B decode 翻倍：16+16 显存实测 54-61 tok/s，NVLink 没用，第三张卡是负优化](https://laobanclaw.top/articles/strata-dual-gpu-layer-split/): Strata 双卡的价值不是算力叠加而是容量叠加：两张 16GB 卡的专家缓存合计覆盖 98% 路由专家，把 GPU+CPU 混跑变成纯 GPU 跑。同 45W 功耗限制下 decode 从 30-37 提到 54-61 tok/s 接近翻倍。附完整配置和三个反直觉结论：NVLink 零收益、第三张卡拖慢长 prompt、low-RAM 与 layer split 互斥需手编 json。
  - Markdown: https://laobanclaw.top/articles/strata-dual-gpu-layer-split/index.md
- [R9700 单卡跑 Qwen3.8-27B MXFP4：prefill 3300 tok/s 的完整配置与 4 个坑](https://laobanclaw.top/articles/r9700-mxfp4-qwen27b-config/): RDNA4 没有原生 MXFP4 运算单元，原生 ROCm vLLM 会退回 BF16 模拟反量化慢 3-5 倍。4 组 R9700 单卡实测：vllm-radiance 原生 kernel 下 prefill 2300-3300 tok/s、decode 峰值 161 tok/s、8 并发聚合 152。附三套方案（打包镜像/裸配/NVFP4）完整启动参数和显存、并发、ROCm 版本四个坑。
  - Markdown: https://laobanclaw.top/articles/r9700-mxfp4-qwen27b-config/index.md
- [Chatterbox：ElevenLabs 的开源平替（本地跑、情绪可控、5 秒克隆）](https://laobanclaw.top/articles/chatterbox-open-source-tts-elevenlabs/): Resemble AI 开源 TTS（MIT，26.6k star），号称开源 SoTA：零样本 5 秒克隆、情绪强度可控、Turbo 350M 消费级显卡可跑。注意 ElevenLabs 本身闭源，Chatterbox 是第三方本地平替。
  - Markdown: https://laobanclaw.top/articles/chatterbox-open-source-tts-elevenlabs/index.md
- [二手 RTX 3080 20G 魔改卡跑 27B：30+ t/s 的千元级方案](https://laobanclaw.top/articles/rtx3080-20g-27b-budget-setup/): i5-5600 + 32G 内存 + 二手 3080 20G 魔改卡，跑 Qwen3.8-27B 稳定 30+ t/s、1200 t/s prefill，挂 DeepSeek Harness 当 coding agent。核心是 llama.cpp 按架构编译 + KV 量化，不是堆硬件。
  - Markdown: https://laobanclaw.top/articles/rtx3080-20g-27b-budget-setup/index.md
- [把 7900XTX 当 7x24 本地 API 服务器](https://laobanclaw.top/articles/7900xtx-local-api-server-privacy/): 7900XTX 的正确用法不是跑分，是当本地 API 服务器长期挂着，给 opencode / pi.dev 等编码 agent 当后端——代码不出家门、不限量、离线可用。质量追平云端，隐私自己掌握。
  - Markdown: https://laobanclaw.top/articles/7900xtx-local-api-server-privacy/index.md
- [免费模型自己走全流程测试](https://laobanclaw.top/articles/hermes-free-space-bunny-alpha/): Hermes 官方免费 stealth/space-bunny-alpha，给 forkgram 改 bug 并让它自己走桌面 APP 全流程测试，一次走通。免费 Agent 模型把'让 AI 自己验证自己'的门槛降到零。
  - Markdown: https://laobanclaw.top/articles/hermes-free-space-bunny-alpha/index.md
- [白嫖云端模型给 Agent 用](https://laobanclaw.top/articles/baidu-free-cloud-model-for-agent/): 本地模型不够用又不想花钱？百度搭子积分模型可以白嫖——把积分模型接口接给 DSH 和 Hermes Agent，等于免费多一个云端后端做兜底。换手机号多薅几个号。
  - Markdown: https://laobanclaw.top/articles/baidu-free-cloud-model-for-agent/index.md
- [7900XTX 跑 Flash-Next：两周 Prefill 涨 43 倍](https://laobanclaw.top/articles/7900xtx-strata-flashnext-1270pps/): 同一张 7900XTX，两周前 29 t/s prefill '能用就行'，两周后 Strata 直接干到 1270 t/s。从第 1 条路线到第 5 条，prefill 涨 43 倍，254K 上下文不衰减。
  - Markdown: https://laobanclaw.top/articles/7900xtx-strata-flashnext-1270pps/index.md
- [7900XTX 的 daniel-mtp HIP 新分支](https://laobanclaw.top/articles/7900xtx-daniel-mtp-hip-build/): 7900XTX 单卡 + daniel-mtp 的 HIP 分支 + MTP 投机解码，Qwen3.8-27B Q4_K_M 稳定 50+ t/s。gfx1100 的 unroll threshold 微调是收益关键一环。
  - Markdown: https://laobanclaw.top/articles/7900xtx-daniel-mtp-hip-build/index.md
- [DSH 系统监控悬浮卡](https://laobanclaw.top/articles/dsh-monitor-card-plugin/): DSH 里的 GPU 监控悬浮卡：数值时效与 nvitop 一致或更快，可随意拖拽、调整尺寸、悬浮不遮挡、一键隐藏。把 GPU 状态钉在 DSH 界面上，不切窗口。
  - Markdown: https://laobanclaw.top/articles/dsh-monitor-card-plugin/index.md
- [运营商智能体评测：生成质量不忍直视](https://laobanclaw.top/articles/teleagent-benchmark-neg/): 测了三类生成任务（网页/SVG），旗舰模式 6-7 分钟一个页面，效果从'一般般'到'不忍直视'。纯生成质量上打不过本地 27B + 成熟 harness 的组合。
  - Markdown: https://laobanclaw.top/articles/teleagent-benchmark-neg/index.md
- [27B Q5_K_M 一次写完打飞机游戏](https://laobanclaw.top/articles/qwen27b-q5k-game-coding-test/): 7900XTX + Qwen3.8 27B Q5_K_M + DSH，实测让模型从零写完整 2D 打飞机游戏（单 HTML 文件）：5409 token 代码平均 89 t/s 一气呵成。
  - Markdown: https://laobanclaw.top/articles/qwen27b-q5k-game-coding-test/index.md
- [GPU Console：多卡监控小窗](https://laobanclaw.top/articles/gpu-console-monitor-tool/): 桌面 GPU 监控小窗：多卡逐卡显示品牌色标 + 型号 + 温度/功耗/风扇/频率，30 秒利用率历史小图，无边框可拖拽、F11 全屏。MIT 开源一键安装包。
  - Markdown: https://laobanclaw.top/articles/gpu-console-monitor-tool/index.md
- [把 Agent 装进口袋：DSH 三插件](https://laobanclaw.top/articles/dsh-three-plugins-pocket-agent/): DSH 跑在远端，人不在电脑前——用三个插件把 agent 装进口袋：dsh-im 聊天下指令（9 渠道）、dsh-pocket 手机看界面、dsh-computer-use 桌面自动化。
  - Markdown: https://laobanclaw.top/articles/dsh-three-plugins-pocket-agent/index.md
- [VHDX 损坏：6 万文件 PhotoRec 抢救实录](https://laobanclaw.top/articles/vhdx-corruption-photorec-recovery/): WSL2 虚拟磁盘损坏，1TB VHDX 只剩 ext4 元数据坏。从 exFAT 连锁故障到 e2fsck 误操作，最后 PhotoRec 只读 raw carving 恢复 6 万多个文件。
  - Markdown: https://laobanclaw.top/articles/vhdx-corruption-photorec-recovery/index.md
- [5090 单卡 1M 上下文：YaRN + fp8 + 分层缓存](https://laobanclaw.top/articles/5090-sglang-1m-ctx-nvfp4/): 单卡 RTX 5090 32G + SGLang 跑 Qwen3.6-35B NVFP4：YaRN 4.0 扩到 1M，KV cache fp8，分层缓存 24GB。出字快到'成篇文章吐出来'，比云端 V4.1 还快。
  - Markdown: https://laobanclaw.top/articles/5090-sglang-1m-ctx-nvfp4/index.md
- [M5 Max 128GB 跑 Flash-Next：128K 全项 PASS](https://laobanclaw.top/articles/m5max-128gb-agent-test/): Mac Studio M5 Max 128GB 跑 Qwen3.8 Flash-Next 128K 上下文：prefill 1900 t/s、decode 49 t/s，retrieval / tool call 全项 PASS。
  - Markdown: https://laobanclaw.top/articles/m5max-128gb-agent-test/index.md
- [一个 Chat Template 救活 KV 缓存](https://laobanclaw.top/articles/qwen-fixed-chat-template-cache/): MTP 下 Qwen3.6-27B 稳定 50+ t/s，但聊几句就刷缓存不命中、重算几十秒到几分钟。换成 Qwen-Fixed-Chat-Templates 后，聊一小时缓存失效只剩个位数次。
  - Markdown: https://laobanclaw.top/articles/qwen-fixed-chat-template-cache/index.md
- [W9700 装进老平台：BIOS 四连改](https://laobanclaw.top/articles/x99-w9700-bios-setup/): X99 + W9700 跑通前，BIOS 有四个设置必须改对，其中一个改错就花屏进不去系统。Above 4G、纯 UEFI、关 Secure Boot、PCIe 锁 Gen3，外加一个千万别碰的 Re-Size BAR。
  - Markdown: https://laobanclaw.top/articles/x99-w9700-bios-setup/index.md
- [双卡 5070 Ti 跑 125B MoE：最高 140 t/s](https://laobanclaw.top/articles/5070ti-dual-strata-140tps/): 双卡 RTX 5070 Ti 16G + Threadripper + Strata 跑 125B MoE（IQ3_XXS）：prefill 3200 t/s，decode 最高 140 t/s，256K 全程可用。
  - Markdown: https://laobanclaw.top/articles/5070ti-dual-strata-140tps/index.md
- [DSH 上下文裁剪：不需要大模型](https://laobanclaw.top/articles/dsh-context-trim-plugin/): DeepSeek API 断网那天，本地模型顶上但上下文超限，云端压缩用不了。解法：不需要压缩，直接裁剪——不靠大模型，纯脚本成对剪掉最旧对话。
  - Markdown: https://laobanclaw.top/articles/dsh-context-trim-plugin/index.md
- [搬一个 WMMA Kernel，Strata Prefill 翻近一倍](https://laobanclaw.top/articles/strata-wmma-kernel-port/): Strata 刚支持 7900XTX 时 prefill 才 700 多，把 vLLM 上的专用 WMMA kernel 搬过来，prefill 直接干到 1300+。思路简单但收益巨大。
  - Markdown: https://laobanclaw.top/articles/strata-wmma-kernel-port/index.md
- [单卡 R9700 二次开发 SGLang：MXFP4 原生内核](https://laobanclaw.top/articles/r9700-sglang-mxfp4-2000pps/): 单卡 R9700 32G 二次开发 SGLang，Qwen3.8 27B 从 AWQ 改造成 MXFP4 原生内核：PP 2000 / TG 90 t/s，上下文 229K。买的是用上 RDNA4 的 FP4 硬件。
  - Markdown: https://laobanclaw.top/articles/r9700-sglang-mxfp4-2000pps/index.md
- [JEV-Ultrafast：桌面 Agent 提速 10 倍](https://laobanclaw.top/articles/jev-ultrafast-10x-desktop-agent/): 同一个 computer-use 任务，改前 271 秒改后 27 秒，差 9.9 倍。核心是读结构化 DOM（46ms）而不是看截图，决策简化成一次 TypeSafe Choice。
  - Markdown: https://laobanclaw.top/articles/jev-ultrafast-10x-desktop-agent/index.md
- [NInfer：70+ t/s 的速度代价是显存](https://laobanclaw.top/articles/ninfer-3090-70tps-short-ctx/): NInfer 主打速度极致：单卡 3090 跑 27B 稳定 70+ t/s，远超 llama.cpp。代价是显存占用激进——上下文拉长或多并发时显存就是墙。
  - Markdown: https://laobanclaw.top/articles/ninfer-3090-70tps-short-ctx/index.md
- [llama.cpp 官方支持 DFlash2 投机解码](https://laobanclaw.top/articles/dflash2-official-llama-cpp/): 不用魔改、不用双卡、不用 SGLang——llama.cpp 官方版本直接支持 DFlash2 投机解码，单卡 7900XTX 开箱即用。轻量 Draft 模型猜 4-7 个 token，主模型批量验证。
  - Markdown: https://laobanclaw.top/articles/dflash2-official-llama-cpp/index.md
- [M5 Ultra 256GB：1.2TB/s 带宽意味着什么](https://laobanclaw.top/articles/m5-ultra-256gb-moe-prefill/): M5 Ultra 256GB 统一内存、1.2TB/s 带宽，跑 MoE 的 prefill 预计比 M3 Ultra 快 3-4 倍。统一内存带宽是本地推理核心指标，MoE 每层 expert 搬运速度直接翻倍。
  - Markdown: https://laobanclaw.top/articles/m5-ultra-256gb-moe-prefill/index.md
- [Strata 125B MoE 全档位实测与 Prefill 调优](https://laobanclaw.top/articles/strata-rdna3-prefill-tune/): 单卡 7900XTX + 64G DDR3 跑 125B MoE，prefill 峰值 1602 t/s，256K 仍有 1258 t/s。hipBLASLt 调优让 prefill 743→1179 t/s（+58.7%），回退率 55%→0%。全程 ROCm。
  - Markdown: https://laobanclaw.top/articles/strata-rdna3-prefill-tune/index.md
- [老平台双卡 P2P 的解法：PCIe Switch](https://laobanclaw.top/articles/x99-p2p-pcie-switch/): 两块 9700 想跑 P2P 但主板不支持——老平台双卡最头疼的问题。一张 PCIe Switch 卡 + 台达 1500W，让显卡间数据走 Switch 直接转发，绕过 CPU 中转。
  - Markdown: https://laobanclaw.top/articles/x99-p2p-pcie-switch/index.md
- [双卡 SGLang 多并发：TTFT < 1s](https://laobanclaw.top/articles/sglang-dual-card-tp/): 双卡 TP 跑多并发，90% 情况首 token 延迟 <1s，80K 上下文 80-100 t/s，比 llama.cpp 和 vLLM 都丝滑。核心是把 VLLM kernel port 到 SGLang 支持 gfx1100。
  - Markdown: https://laobanclaw.top/articles/sglang-dual-card-tp/index.md
- [24G 显卡跑 512K 上下文：KVMem 内存分页](https://laobanclaw.top/articles/kvmem-512k-context-24gb/): 24G 显存跑 512K 上下文，不是显存变多，是 KVMem 把'全部历史驻留显存'改了——GPU 只留有限工作集，大的放 Host RAM。单卡 64K→512K decode 全程不衰减。
  - Markdown: https://laobanclaw.top/articles/kvmem-512k-context-24gb/index.md
- [Resizable BAR 让老平台速度翻 3 倍](https://laobanclaw.top/articles/x99-rebar-3x-speed/): X99 + 7900XTX 在 Windows 下跑 27B 只有 12 t/s、首 token 卡 4 分钟。根因是主板默认把显卡锁死在 256MB Small BAR。注入 ReBarDxe 后 decode 12→37 t/s，+195%。
  - Markdown: https://laobanclaw.top/articles/x99-rebar-3x-speed/index.md
- [TurboQuant：显存减半，速度翻倍](https://laobanclaw.top/articles/turboquant-2x-context-faster/): 同样的 24G 显卡跑同一模型，TurboQuant 比传统 Q4 多塞约 2 倍上下文，速度反而更快——省显存的同时省带宽。7900XTX 实测 256K prefill 970 t/s。
  - Markdown: https://laobanclaw.top/articles/turboquant-2x-context-faster/index.md
- [我用一张 32G 的 AMD 显卡跑本地大模型：风扇、功耗、量化全部调到位后的最终答案](https://laobanclaw.top/articles/r9700-32g-single-gpu-realworld-baseline/): 一张 32GB 显存的 AMD 工作站卡（R9700）+ 普通主机跑本地大模型：逐路停转实测风扇映射、锁 250W 降温 8°C 且更安静、量化对撞证明瓶颈不在带宽、前缀缓存 32 倍加速，外加一张"别再折腾"负面清单——所有数字都是反复实测的终版答案。
  - Markdown: https://laobanclaw.top/articles/r9700-32g-single-gpu-realworld-baseline/index.md
- [NInfer 深度解析：专为单张 5090 而生的 C++/CUDA 推理引擎](https://laobanclaw.top/articles/ninfer-5090-single-gpu-cuda-engine-deepdive/): NInfer 是从头用 C++/CUDA 写的单 GPU 推理引擎，定位明确——榨干单张 RTX 5090 上的 Qwen 系列推理（Qwen3.6/3.8，文/图/视频）。本文对比它与 vLLM/SGLang 通用引擎的根本区别，拆解"单卡+单模型"为何能榨出性能，给出选型建议、与 Strata 的上下游关系与踩坑记录。
  - Markdown: https://laobanclaw.top/articles/ninfer-5090-single-gpu-cuda-engine-deepdive/index.md
- [Strata 实测：一张消费级显卡 + 64G 内存，怎么把 125B 大模型跑通](https://laobanclaw.top/articles/strata-125b-moe-consumer-pc-realworld/): 125B MoE 模型（24576 个专家）正常得几百 GB 显存才跑得动，Strata 把它落到一张 12-24GB N 卡 + 64GB 内存的普通主机上，一键安装，写出答案 60-95 tok/s、读 prompt 2000+ tok/s。本文整理官方 README 一手实测表、量化档位 vs 内存需求、整机分摊原理、双卡/AMD/长上下文进阶玩法与踩坑记录。
  - Markdown: https://laobanclaw.top/articles/strata-125b-moe-consumer-pc-realworld/index.md
- [2026 主流 LLM 推理引擎选型：vLLM / SGLang / LMDeploy / KTransformers / TensorRT-LLM 到底怎么选](https://laobanclaw.top/articles/engines-2026-inference-framework-selection/): 没有最快的推理引擎，只有最适合你场景的引擎。本文拆解 5 大主流推理引擎的核心技术（PagedAttention、RadixAttention、TurboMind 双引擎、CPU 极致优化、NVIDIA 内核融合），整理社区实测吞吐 / 延迟 / 显存数据，给出选型决策树与 6 个踩坑记录，帮你把"选引擎"这笔账算明白。
  - Markdown: https://laobanclaw.top/articles/engines-2026-inference-framework-selection/index.md
- [L40S 24GB：数据中心卡下放家用，跑大模型实测与选型](https://laobanclaw.top/articles/gpu-l40s-24g-workstation-llm-realworld/): L40S 与 4090 同代架构、同显存，但无游戏限制、ECC 可选、PCIe 满速。本文整理规格对比、社区实测、买 L40S 的决策框架与买前必知。
  - Markdown: https://laobanclaw.top/articles/gpu-l40s-24g-workstation-llm-realworld/index.md
- [Tesla P40 24GB 性价比之王：实测数据与买前必知的坑](https://laobanclaw.top/articles/gpu-p40-24g-budget-king-realworld/): 2016 年上市的数据中心卡，2026 年二手 ¥1500 上下，"每 GB 显存成本"几乎无人能敌。本文整理 P40 性能底细、双卡跑 70B 可行性、买前必知的坑与决策框架。
  - Markdown: https://laobanclaw.top/articles/gpu-p40-24g-budget-king-realworld/index.md
- [2026 开源旗舰五强横评：Qwen3.6 / DeepSeek V4 / GLM-5.1 谁能跑起来](https://laobanclaw.top/articles/models-2026-open-source-five-way-battle-deploy/): 2026 年 4 月五款开源旗舰同场竞技。本文按"消费级硬件能不能跑"为主线，整理参数、架构、跑分、显存需求、许可协议，给出决策清单。
  - Markdown: https://laobanclaw.top/articles/models-2026-open-source-five-way-battle-deploy/index.md
- [RTX 5090 32GB FP16 推理：14B 全精度 vs 4090 量化的实测对比](https://laobanclaw.top/articles/gpu-5090-32gb-fp16-14b-benchmark-vs-4090/): 32GB 显存让 14B 模型从"勉强跑"变成"从容跑全精度"。本文整理 5090 与 4090 在 14B 全精度推理上的公开实测：显存账、速度差、坑位与升级决策框架。
  - Markdown: https://laobanclaw.top/articles/gpu-5090-32gb-fp16-14b-benchmark-vs-4090/index.md
- [AMD 显卡本地部署大模型完全指南（ROCm 实战）](https://laobanclaw.top/articles/amd-llm-rocm-guide/): 基于你的 AMD 显卡，从零完成大模型本地部署的实战指南：ROCm 环境搭建、Ollama 与 vLLM 两种方案、27B 量化模型实测速度与显存占用，以及驱动、镜像、量化三大常见坑。
  - Markdown: https://laobanclaw.top/articles/amd-llm-rocm-guide/index.md
- [本地大模型实战对比：DeepSeek / Qwen / Llama 怎么选](https://laobanclaw.top/articles/local-model-comparison-deepseek-qwen-llama/): 三款主流开源模型在本地场景下的定位差异、开源协议与选型建议，帮你在 32GB 显存下选对模型。
  - Markdown: https://laobanclaw.top/articles/local-model-comparison-deepseek-qwen-llama/index.md
- [24GB 显存甜点区：RTX 3090 / 7900 XTX / 4090 本地大模型实测与选卡](https://laobanclaw.top/articles/gpu-24gb-sweet-spot-3090-7900xtx-4090/): 同样 24GB 显存，N 卡与 A 卡跑大模型的真实差距只有 10-14%——本文用公开实测数据讲透 24GB 能装多大模型、3090 与 4090 的速度差、7900 XTX 的量化阶梯，以及超频、PCIe 插槽、ROCm 环境三个最常踩的坑，给出按预算的选卡结论。
  - Markdown: https://laobanclaw.top/articles/gpu-24gb-sweet-spot-3090-7900xtx-4090/index.md
- [RTX 2080 Ti 22G 魔改卡实测：22GB 显存怎么来的、能跑什么、三件必须想清的风险](https://laobanclaw.top/articles/gpu-2080ti-22g-modified-realworld/): 2019 年的 Turing 卡把 11GB 显存换成 2GB 芯片堆到 22GB，约 1900 元拿到接近专业卡的容量。本文整理魔改原理、SDXL/SVD/大模型公开实测、Mats 验卡流程，以及无保修虚焊、矿卡来源、架构天花板三件买前必看的风险。
  - Markdown: https://laobanclaw.top/articles/gpu-2080ti-22g-modified-realworld/index.md
- [Ollama + ROCm：AMD 显卡从零跑通本地大模型](https://laobanclaw.top/articles/ollama-rocm-amd-setup/): AMD 显卡用户跑本地模型的完整路径：ROCm 环境准备、ollama-for-amd 部署、模型运行验证与常见坑，附 R9700 实测。
  - Markdown: https://laobanclaw.top/articles/ollama-rocm-amd-setup/index.md
- [V100 32G 本地大模型部署与调优全指南：验卡、散热、驱动到调优](https://laobanclaw.top/articles/gpu-v100-32g-local-llm-full-guide/): 32GB 显存档里价格最低的方案：Volta 架构、HBM2 900GB/s、250W 单 8pin。本文记录完整链路——Mats 验卡 + 24 小时烤机、双 12cm 风道散热整备、Windows 535 专业驱动、32GB 三层承载范围，以及双卡显卡坞方案的真实面貌。
  - Markdown: https://laobanclaw.top/articles/gpu-v100-32g-local-llm-full-guide/index.md
- [推理成本一年跌了十倍：对本地部署意味着什么](https://laobanclaw.top/articles/inference-cost-drop-what-it-means/): 大模型 API 价格战白热化，推理成本一年降 10~100 倍。云便宜了，本地部署还有没有价值？算清楚这笔账。
  - Markdown: https://laobanclaw.top/articles/inference-cost-drop-what-it-means/index.md
- [多卡 3090 大模型推理：TP / PP / TP+PP 并行策略实测与选卡决策](https://laobanclaw.top/articles/gpu-multi-3090-inference-tp-pp-benchmark/): 4 张 3090 = 96GB 显存能装下 70B 量化模型还留长上下文。本文基于公开的 4 卡 vLLM 实测讲透三种并行方式的 GPU 利用率差异（TP 80-90% 胜出）、PCIe 互连下的通信开销，以及插槽带宽、供电散热、驱动掉卡、跨厂商混插五大坑，给出双卡/四卡的预算决策。
  - Markdown: https://laobanclaw.top/articles/gpu-multi-3090-inference-tp-pp-benchmark/index.md
- [显存不够时怎么办：量化与 CPU offload 实战策略](https://laobanclaw.top/articles/vram-shortage-quantization-strategy/): 32GB 显存下跑 27B 模型的实用策略：量化精度取舍、offload 机制原理、层切分的真实效果与常见误区。
  - Markdown: https://laobanclaw.top/articles/vram-shortage-quantization-strategy/index.md
- [RX 7900 XTX 跑大模型实测：量化阶梯、ROCm 调优与两个反直觉点](https://laobanclaw.top/articles/gpu-7900xtx-rocm-llm-realworld/): 24GB RDNA3 卡跑 LLM 的完整画像：FP16/INT8/INT4 三档量化能装多大模型、Ollama num_ctx 与 num_batch 调参、HSA_OVERRIDE_GFX_VERSION 兜底，以及 24GB 不等于长上下文自由、Vulkan 可能比 ROCm 更快两个反直觉点，附散热与降压超频建议。
  - Markdown: https://laobanclaw.top/articles/gpu-7900xtx-rocm-llm-realworld/index.md
- [RAG 知识库实战：给本地商家搭一个能查能答的 AI 助理](https://laobanclaw.top/articles/rag-knowledge-base-business-case/): 一个真实落地方向：把商家文档、产品资料做成 RAG 知识库，本地模型 + 向量检索，让 AI 基于自己的资料回答。
  - Markdown: https://laobanclaw.top/articles/rag-knowledge-base-business-case/index.md
- [R9700 32GB 本地推理定位：32B 全量 + 长上下文的甜点用法与调优要点](https://laobanclaw.top/articles/gpu-r9700-32gb-rocm-local-inference/): RDNA4 架构 32GB 工作站的本地 AI 推理定位：32B Q4 全量 GPU + 8K-16K 上下文是最舒服用法，70B 只能 offload。本文整理 ROCm 部署路径、A 卡通用调优五要点，以及与 V100 32G / 5090 / L20 的 32GB 档对比和跨厂商多卡警告。
  - Markdown: https://laobanclaw.top/articles/gpu-r9700-32gb-rocm-local-inference/index.md

- [部署教程](https://laobanclaw.top/board/deploy/): 从环境搭建到模型运行的部署实践。
- [模型评测](https://laobanclaw.top/board/review/): 模型能力、速度与资源占用的实际评测。
- [实战案例](https://laobanclaw.top/board/case/): 把模型和工具用于真实工作的案例记录。
- [行业观察](https://laobanclaw.top/board/news/): 关注大模型应用与 AI 工具行业变化。
- [AI 量化炒股](https://laobanclaw.top/board/ai-quant/): AI 量化炒股的工具选型与实战：回测、信号、风控、自动下单。

## 大模型部署

- [大模型部署分类](https://laobanclaw.top/category/llm-deploy/)
- [Strata](https://laobanclaw.top/tool/strata/): 125B MoE 在单张消费级显卡 + 大内存上跑通，一键安装，OpenAI/Anthropic 兼容 API
- [TensorRT-LLM (NVIDIA)](https://laobanclaw.top/tool/tensorrt-llm/): NVIDIA 内核融合 + INT4/FP8 量化 + 预编译，N 卡延迟敏感场景性能天花板
- [SGLang](https://laobanclaw.top/tool/sglang/): RadixAttention 前缀 KV 复用 + 结构化生成，Agent 与 JSON 任务首选
- [llmfit](https://laobanclaw.top/tool/llmfit/): 一条命令找出本地硬件能跑哪些大模型
- [vLLM](https://laobanclaw.top/tool/vllm/): PagedAttention + 连续批处理，多硬件事实标准，高并发 / 长文本首选
- [NInfer](https://laobanclaw.top/tool/ninfer/): 专为单张 5090 而生的 C++/CUDA 推理引擎，榨干 Qwen 系列单卡性能
- [FlagAttention (FlagOpen)](https://laobanclaw.top/tool/flagattention/): 国产 FlashAttention 加速库，支持 Ampere 及以上 N 卡，降低 attention 显存与延迟
- [KTransformers](https://laobanclaw.top/tool/ktransformers/): 零 GPU 依赖 + CPU（AMX）极致优化，无卡 / 边缘设备跑大模型唯一解
- [LMDeploy (InternLM)](https://laobanclaw.top/tool/lmdeploy/): TurboMind 双引擎 + 量化 + 服务全家桶，国产算力（昇腾）首选
- [OpenClaw](https://laobanclaw.top/tool/openclaw/): 系统级 AI Agent 框架，2026 年 GitHub 星标 24.8 万，曾超越 Linux 成为第一
- [QMD](https://laobanclaw.top/tool/qmd/): 本地文档智能搜索引擎，BM25 + 向量语义 + LLM 重排序三合一
- [Qwen Code](https://laobanclaw.top/tool/qwen-code/): 开源终端编码智能体
- [pd-bridge](https://laobanclaw.top/tool/pd-bridge/): 异构 prefill/decode：CUDA 卡 prefill + Mac Metal decode，普通 10GbE 网线互联
- [llamAmpere](https://laobanclaw.top/tool/llamampere/): llama.cpp 分支专攻 RTX 3090/3090Ti：100K 生成 95+ tok/s、262K 全上下文
- [Splash](https://laobanclaw.top/tool/splash/): Apple Silicon 本地推理引擎：DFlash 2 推测解码 + Metal 内核，一条 brew 跑 Qwen3.8-27B

## AI 视频制作

- [AI 视频制作分类](https://laobanclaw.top/category/ai-video/)
- [Fish Speech](https://laobanclaw.top/tool/fish-speech/): Fish Audio 的开源零样本 TTS，多语言零样本克隆，2026 年音频赛道最热门开源项目之一。
- [ComfyUI Wan Video Wrapper](https://laobanclaw.top/tool/comfyui-wan-video/): ComfyUI 的 Wan 视频生成节点封装，让阿里 Wan2.x 视频模型用节点图方式跑图生视频/文生视频。
- [Chatterbox](https://laobanclaw.top/tool/chatterbox/): MIT 开源 TTS SoTA · 5 秒零样本克隆 · 情绪强度可控 · Turbo 350M 消费卡可跑
- [HyperFrames](https://laobanclaw.top/tool/hyperframes/): 写 HTML 就能渲染视频的框架，专为智能体设计
- [VoiceBox](https://laobanclaw.top/tool/voicebox/): 开源 AI 语音工作室，声音克隆、口述与创作一站式

## AI 电商

- [AI 电商分类](https://laobanclaw.top/category/marketing/)
- [Fooocus](https://laobanclaw.top/tool/fooocus/): 最接近 Midjourney 体验的开源文生图工具，GitHub 5.3 万星，新手本地部署首选。
- [FLUX (Black Forest Labs)](https://laobanclaw.top/tool/flux/): Black Forest Labs（SD 原班人马）的旗舰开源图像模型，2025-2026 年文生图质量天花板。
- [Qwen-Image-2.1](https://laobanclaw.top/tool/qwen-image-2-1/): 阿里千问 2026-09-20 开源的 7B 图像模型，文生图+图像编辑一体，评测登顶开源榜首。
- [Impeccable](https://laobanclaw.top/tool/impeccable/): 一套"设计语言"技能：让 AI 做 UI / 视觉设计时更准、更有品，把审美判断变成可复用的规则。
- [Marketing Skills](https://laobanclaw.top/tool/marketingskills/): 给 AI 智能体装的营销技能包：CRO（转化率优化）、文案写作、SEO、数据分析与增长工程，一套接进 Claude Code 等 Agent 就能用。

## AI 企业自动化

- [AI 企业自动化分类](https://laobanclaw.top/category/ai-automation/)
- [LibreChat](https://laobanclaw.top/tool/librechat/): 开源的 ChatGPT 增强客户端，多模型统一入口 + 内置 Agent 工具，GitHub 热榜常客。
- [OpenAI Codex](https://laobanclaw.top/tool/codex/): OpenAI 的编码智能体，本地 CLI + 云端沙箱双形态，GitHub 12.8 万星，更新极活跃。
- [Claude Code](https://laobanclaw.top/tool/claude-code/): Anthropic 出品的终端 AI 编码智能体，GitHub 14.9 万星，2026 年 AI 编程赛道热度第一。
- [AFFiNE](https://laobanclaw.top/tool/affine/): 开源 AI 笔记 + 白板 + 文档一体工具，GitHub 7.3 万星，Notion 的本地优先替代。
- [Matt Pocock Skills](https://laobanclaw.top/tool/mattpocock-skills/): 知名前端 / TypeScript 博主 Matt Pocock 把 .agents 目录里的编码技能直接开源：给 AI 装上"资深工程师"的口味与判断力。
- [Superpowers](https://laobanclaw.top/tool/superpowers/): 一套给编码智能体用的"技能框架 + 软件开发方法论"，把测试驱动、系统化调试、代码审查等工程纪律封装成可复用的 skills，让 AI 写代码更靠谱。
- [Agent-Reach](https://laobanclaw.top/tool/agent-reach/): 给 AI 智能体装上"眼睛"：读写 / 搜索 Twitter、Reddit、YouTube、GitHub、B 站、小红书等平台，让 Agent 能真正"看到"整个互联网。
- [Book-to-Skill](https://laobanclaw.top/tool/book-to-skill/): 把技术书籍 PDF 变成智能体技能的转换工具
- [Cybersecurity Skills](https://laobanclaw.top/tool/cybersecurity-skills/): 八百一十七个结构化网络安全技能库，对齐六大主流框架
- [AI Engineering From Scratch](https://laobanclaw.top/tool/ai-engineering-from-scratch/): 从零搭建的 AI 工程参考手册，五百二十三节课多语言可学
- [CodeGraph](https://laobanclaw.top/tool/codegraph/): 预索引的代码知识图谱：自动随代码变更同步，给 Claude Code、Codex、Gemini、Cursor、OpenCode 等 Agent 一张"代码地图"。
- [Context-Mode](https://laobanclaw.top/tool/context-mode/): 编码智能体的上下文窗口优化器：把工具输出沙盒化（体积最高减 98%）、持久化会话记忆，让 Agent 在长任务里不"失忆"、不爆上下文。
- [Code-Review-Graph](https://laobanclaw.top/tool/code-review-graph/): 本地优先的代码知识图谱，给 AI 精确审查上下文
- [OpenCodeReview](https://laobanclaw.top/tool/open-code-review/): 阿里巴巴规模验证的混合架构代码审查工具
- [Headroom](https://laobanclaw.top/tool/headroom/): 上下文压缩工具，工具输出与日志进模型前先瘦身
- [RTK](https://laobanclaw.top/tool/rtk/): 命令行代理，为常见开发命令压缩百分之六十到九十的令牌消耗
- [Taste-Skill](https://laobanclaw.top/tool/taste-skill/): 反平庸前端技能，让 AI 写出有品味的界面
- [Caveman](https://laobanclaw.top/tool/caveman/): 编码智能体中间件，用精简表达砍掉约百分之六十五的令牌消耗
- [Ponytail](https://laobanclaw.top/tool/ponytail/): 让编码智能体像最懒的资深工程师一样写代码
- [Vibe-Trading](https://laobanclaw.top/tool/vibe-trading/): 个人交易智能体，行情监控与交易决策一站式
- [QwenPaw](https://laobanclaw.top/tool/qwenpaw/): 阿里 AgentScope 出品的个人 AI 助手，本地或云端部署
- [AI Job Search](https://laobanclaw.top/tool/ai-job-search/): 跑在本地的 AI 求职框架，评估岗位、定制简历、准备面试
- [Humanizer](https://laobanclaw.top/tool/humanizer/): 智能体技能，去除文本里的 AI 生成痕迹
- [Daily Stock Analysis](https://laobanclaw.top/tool/daily-stock-analysis/): 大模型驱动的多市场股票智能分析系统，每日自动推送决策仪表盘
- [World Monitor](https://laobanclaw.top/tool/worldmonitor/): 实时全球情报仪表盘，新闻聚合加地缘政治监控
- [ZCode](https://laobanclaw.top/tool/zcode/): 智谱官方 AI 编程工作台：桌面/浏览器/终端三端同源，14 天 7376 星

## AI 量化炒股

- [AI 量化炒股分类](https://laobanclaw.top/category/ai-quant/)
- [FinGPT](https://laobanclaw.top/tool/fingpt/): AI4Finance 的金融大语言模型，开源、可本地微调，做金融文本分析、情绪打分、事件解读。
- [Lean (QuantConnect)](https://laobanclaw.top/tool/lean/): QuantConnect 的算法交易引擎，支持 C#/Python，跨股票 / 期货 / 加密 / 外汇，回测到实盘一套代码。
- [Backtrader](https://laobanclaw.top/tool/backtrader/): 老牌 Python 回测框架，事件驱动、贴近真实撮合，社区积累多年、教程极多。
- [vectorbt](https://laobanclaw.top/tool/vectorbt/): 向量化回测引擎，用 NumPy 把整个回测并行化，几十万条策略参数几分钟扫完。
- [FinRL](https://laobanclaw.top/tool/finrl/): AI4Finance 出品的金融强化学习框架，Gym 接口 + 现成环境，做 RL 交易策略不用从零搭数据与训练循环。
- [Freqtrade](https://laobanclaw.top/tool/freqtrade/): 免费开源的加密货币交易机器人，策略用 Python 写，内置回测、超参优化、Web UI、多交易所接口。
- [Qlib](https://laobanclaw.top/tool/qlib/): 微软出品的 AI 量化投研平台，把因子挖掘、机器学习、强化学习装进同一套数据管线，从数据到策略落地一站式。

## 静态入口

- [文章筛选](https://laobanclaw.top/articles/gpu/11gb/)
- [文章筛选](https://laobanclaw.top/articles/gpu/125b/)
- [文章筛选](https://laobanclaw.top/articles/gpu/12gb/)
- [文章筛选](https://laobanclaw.top/articles/gpu/16gb/)
- [文章筛选](https://laobanclaw.top/articles/gpu/24gb/)
- [文章筛选](https://laobanclaw.top/articles/gpu/3090/)
- [文章筛选](https://laobanclaw.top/articles/gpu/32g/)
- [文章筛选](https://laobanclaw.top/articles/gpu/32gb/)
- [文章筛选](https://laobanclaw.top/articles/gpu/4060ti16g/)
- [文章筛选](https://laobanclaw.top/articles/gpu/5070-ti/)
- [文章筛选](https://laobanclaw.top/articles/gpu/5090/)
- [文章筛选](https://laobanclaw.top/articles/gpu/7900-xtx/)
- [文章筛选](https://laobanclaw.top/articles/gpu/8gb/)
- [文章筛选](https://laobanclaw.top/articles/gpu/gpu-14/)
- [文章筛选](https://laobanclaw.top/articles/gpu/gpu/)
- [文章筛选](https://laobanclaw.top/articles/gpu/gpu-15/)
- [文章筛选](https://laobanclaw.top/articles/gpu/gpu-17/)
- [文章筛选](https://laobanclaw.top/articles/gpu/gpu-23/)
- [文章筛选](https://laobanclaw.top/articles/gpu/gpu-21/)
- [文章筛选](https://laobanclaw.top/articles/gpu/gpu-6/)
- [文章筛选](https://laobanclaw.top/articles/gpu/gpu-36/)
- [文章筛选](https://laobanclaw.top/articles/gpu/gpu-49/)
- [文章筛选](https://laobanclaw.top/articles/gpu/gpu-18/)
- [文章筛选](https://laobanclaw.top/articles/gpu/gpu-12/)
- [文章筛选](https://laobanclaw.top/articles/gpu/api/)
- [文章筛选](https://laobanclaw.top/articles/gpu/amd/)
- [文章筛选](https://laobanclaw.top/articles/gpu/amd-7000/)
- [文章筛选](https://laobanclaw.top/articles/gpu/amd-r9700/)
- [文章筛选](https://laobanclaw.top/articles/gpu/amd-rx-7000/)
- [文章筛选](https://laobanclaw.top/articles/gpu/amd-rx-7900-xtx/)
- [文章筛选](https://laobanclaw.top/articles/gpu/blackwell/)
- [文章筛选](https://laobanclaw.top/articles/gpu/cuda/)
- [文章筛选](https://laobanclaw.top/articles/gpu/dgx-spark/)
- [文章筛选](https://laobanclaw.top/articles/gpu/intel-arc/)
- [文章筛选](https://laobanclaw.top/articles/gpu/ktransformers/)
- [文章筛选](https://laobanclaw.top/articles/gpu/l40s/)
- [文章筛选](https://laobanclaw.top/articles/gpu/lmdeploy/)
- [文章筛选](https://laobanclaw.top/articles/gpu/m5-max/)
- [文章筛选](https://laobanclaw.top/articles/gpu/m5-ultra/)
- [文章筛选](https://laobanclaw.top/articles/gpu/mac/)
- [文章筛选](https://laobanclaw.top/articles/gpu/moe/)
- [文章筛选](https://laobanclaw.top/articles/gpu/ninfer/)
- [文章筛选](https://laobanclaw.top/articles/gpu/nvidia-rtx-2080-ti/)
- [文章筛选](https://laobanclaw.top/articles/gpu/nvidia-rtx-3090/)
- [文章筛选](https://laobanclaw.top/articles/gpu/nvidia-rtx-4090/)
- [文章筛选](https://laobanclaw.top/articles/gpu/nvidia-v100/)
- [文章筛选](https://laobanclaw.top/articles/gpu/offload/)
- [文章筛选](https://laobanclaw.top/articles/gpu/p100/)
- [文章筛选](https://laobanclaw.top/articles/gpu/r9700/)
- [文章筛选](https://laobanclaw.top/articles/gpu/rocm/)
- [文章筛选](https://laobanclaw.top/articles/gpu/rtx-30/)
- [文章筛选](https://laobanclaw.top/articles/gpu/rtx-3080/)
- [文章筛选](https://laobanclaw.top/articles/gpu/rtx-4090/)
- [文章筛选](https://laobanclaw.top/articles/gpu/rtx-5090/)
- [文章筛选](https://laobanclaw.top/articles/gpu/rtx-pro/)
- [文章筛选](https://laobanclaw.top/articles/gpu/rtx-pro-6000/)
- [文章筛选](https://laobanclaw.top/articles/gpu/rtx50/)
- [文章筛选](https://laobanclaw.top/articles/gpu/sglang/)
- [文章筛选](https://laobanclaw.top/articles/gpu/strata/)
- [文章筛选](https://laobanclaw.top/articles/gpu/tensorrt-llm/)
- [文章筛选](https://laobanclaw.top/articles/gpu/tesla-p40/)
- [文章筛选](https://laobanclaw.top/articles/gpu/v100/)
- [文章筛选](https://laobanclaw.top/articles/gpu/vllm/)
- [文章筛选](https://laobanclaw.top/articles/gpu/w9700/)
- [文章筛选](https://laobanclaw.top/articles/filter/deploy/)
- [文章筛选](https://laobanclaw.top/articles/filter/deploy/page/2/)
- [文章筛选](https://laobanclaw.top/articles/filter/deploy/page/3/)
- [文章筛选](https://laobanclaw.top/articles/filter/deploy/page/4/)
- [文章筛选](https://laobanclaw.top/articles/filter/deploy/page/5/)
- [文章筛选](https://laobanclaw.top/articles/filter/deploy/page/6/)
- [文章筛选](https://laobanclaw.top/articles/filter/review/)
- [文章筛选](https://laobanclaw.top/articles/filter/review/page/2/)
- [文章筛选](https://laobanclaw.top/articles/filter/case/)
- [文章筛选](https://laobanclaw.top/articles/filter/news/)
- [文章筛选](https://laobanclaw.top/articles/filter/news/page/2/)
- [文章筛选](https://laobanclaw.top/articles/filter/ai-quant/)