FlagAttention (FlagOpen)

一句话：国产 FlashAttention 加速库——给推理引擎的 attention 层"加一档"，降显存、降延迟，支持 Ampere 及以上 N 卡。

它能帮你干什么

• 把 FlashAttention 系列的显存与延迟优化封装成可即插即用的库
• 支持 NVIDIA Ampere 及以上架构（A100、A800、4090 等）
• 帮推理引擎把 attention 计算的显存占用和计算延迟降下来
• 很多自研/国产引擎在 attention 层性能吃亏，接上就能把这一层计算效率拉起来：减少显存往返、加速长上下文生成
• 开源、迭代活跃，被多个国产推理框架作为底层加速组件引用

适合谁

• 自研/国产推理引擎在 attention 层性能吃亏的团队
• 跑长上下文、attention 显存和延迟压不下来的人
• 用 Ampere 及以上 N 卡、想给现有引擎"加一档"加速的人

关键数据

上手 / 配置

在你的推理引擎里接 FlagAttention 作为 attention 后端 → 选对应硬件架构（Ampere/Hopper）→ 重跑对比 attention 层显存与延迟。