算力与部署

前沿部署工程在OpenAI中意味着什么

在AMD MI350系列GPU上的PyTorch用户现在可以通过现有的运营商API将FlyDSL用于密集和分组的GEMM、融合多头注意(FMHA/注意)、MXFP8/MXFP4缩放的GEMM、RMSNorm和TOPK，而无需...

PyTorch 技术博客介绍 NVIDIA Dynamo 的会话级推理优化：通过稳定会话标识关联多轮请求、工具调用和子任务，让调度器结合整个会话的工作集管理缓存。在文中给定的 SWE-bench 配置下，会话感知调度较单纯 KV 路由提高约 12%–16% 吞吐。

本文探讨用于表批量嵌入（TBE）前向和反向传播的 FBTriton 内核设计。这些核心算子处理推荐系统中分布在数千个分片 GPU 上的嵌入查找……本文最初发布于 PyTorch。

摘要：我们将 Helion 集成到 vLLM 的线性运算后端，探索可自动调优的高层内核领域专用语言（DSL），如何在降低内核实现复杂度的同时改善大语言模型推理性能。一个通用的 Helion……本文最初发布于 PyTorch。

了解初创企业如何选择GPT-6模型、调整推理工作、改进提示和技能、协调工具以及为生产准备工作流程。

了解OpenAI如何扰乱提取受保护模型推理的活动，并正在加强对对手蒸馏的防御。

控制大语言模型（LLM）的输出，是可靠部署模型的核心挑战，但相关权衡仍缺少清晰认识。当前的条件控制方法，评价往往局限于注入或移除目标概念的有效性，而忽略生成质量。我们在概念注入和移除两种场景中，系统研究了一系列条件控制方法。我们发现，高效的引导方法往往以流畅性的大幅下降为代价，实现条件控制。此外，我们识别出一个关键但……

语言模型进行思维链推理或交换自由文本形式的中间结果时，会将结构化信息序列化为自然语言。树状组合内容有多少能够保留并通过这一瓶颈？我们提出一种往返协议，以实证方式回答树状表达式中的这个问题。生成器将程序生成的算术表达式转化为文字应用题，独立的提取器仅根据应用题还原表达式，并通过符号等价性提供精确判定。对十六个模型的所有两两组合进行评估，得到……