在AMD MI350系列GPU上的PyTorch用户现在可以通过现有的运营商API使用FlyDSL来实现密集和分组的GEMM、融合多头注意(FMHA/注意)、MXFP8/MXFP4缩放的GEMM、RMSNorm和TOPK，而不需要应用程序调用自定义内核。可选的后端通过torch.Compile支持GEMM，而合格的RMSNorm和TOPK在可用并启用的紧急模式下自动调用Dispatch。不受支持的输入将保留现有的PyTorch实现。FlyDSL注意内核在AOTriton中作为额外的后端提供，AOTriton是PyTorch的ROCM F.Scaled_产品_注意(SDPA)背后的库，从0.14b系列开始。…
使用FlyDSL在AMD GPU上加速PyTorch
Accelerating PyTorch on AMD GPUs with FlyDSL
专题配图图片仅供信息参考图片仅供参考版权归原作者摘要
在AMD MI350系列GPU上的PyTorch用户现在可以通过现有的运营商API将FlyDSL用于密集和分组的GEMM、融合多头注意(FMHA/注意)、MXFP8/MXFP4缩放的GEMM、RMSNorm和TOPK，而无需...
原始资料
PyTorch Blog · 中文编译 · 正文节选
查看来源原文 产品参数、测试条件及最新修订以来源原文为准。