一句话：把你手头的两张卡"各干各的擅长活"——CUDA 卡算长上下文、Mac 生成，万兆网一接，吞吐直接翻倍。
它能帮你干什么
- prefill（处理你输入的长文本）交给 CUDA 卡，decode（逐字生成）交给 Mac 的 Metal 引擎
- 两张卡通过 10GbE 万兆网互联，互不拖累
- 比单卡跑同样的模型快得多，长上下文吞吐尤其受益
适合谁
- 手上同时有一张 CUDA 卡（如 3090）+ 一台 Mac 的用户
- 想榨干现有硬件、不花钱买新卡的人
- 跑长上下文（几十万 token）27B 模型、追求吞吐的人
硬件要求
| 你的设备 | 能跑什么 |
|---|---|
| 1× CUDA 卡（24GB 级）+ 1× Mac（32GB+ 内存） | 27B 模型，prefill 走 CUDA、decode 走 Metal |
| 两张机器之间 | 需要 10GbE 万兆网络（千兆网跑不动） |
上手（两句话）
把 CUDA 那台设为 prefill 节点、Mac 设为 decode 节点，万兆网线直连后按 README 起服务即可。
