开发与工具

用 TLX 优化不规则 Flash Attention：在 Blackwell 上迈向领先的 FA4 性能

Optimizing Jagged Flash Attention with TLX: The Road Toward SOTA FA4 on Blackwell

PyTorch Blog发布于 10月2日 1 分钟阅读

专题配图图片仅供信息参考图片仅供参考版权归原作者

摘要

摘要：本文介绍我们在 NVIDIA Blackwell（B200）上实现不规则 Flash Attention（JFA）的工作。JFA 是 Meta 生成式广告模型（GEM）所使用的注意力内核，构建于……本文最初发布于 PyTorch。

原始资料

PyTorch Blog · 来源摘要 · 正文节选

查看来源原文产品参数、测试条件及最新修订以来源原文为准。