AEM：多轮自适应强化学习的自适应熵调制
AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning
专题配图图片仅供信息参考图片仅供参考版权归原作者摘要
Arxiv：2605.00425v4宣布类型：替换摘要：强化学习(RL)显著提高了大型语言模型(LLM)代理与环境交互和解决多轮任务的能力。然而，有效的代理RL仍然具有挑战性：稀疏的仅针对结果的奖励为长期互动轨迹中的个别步骤提供了有限的指导。现有的方法往往引入密集的中间监督，如过程奖励模型或辅助自监督信号，这增加了监督和调整的复杂性，并可能限制跨任务和领域的推广。我们提出了一种无监督的信用分配方法AEM，该方法在RL训练过程中自适应地调整熵动态，以改善勘探和开采之间的权衡。由于在代理RL中，环境通常受到完整响应的影响，而不是单个令牌，我们的分析将熵动态从令牌级别提升到响应级别，使不确定性估计与LLM代理的有效操作粒度保持一致，并降低了对令牌级采样噪声的敏感度。我们进一步证明了自然梯度更新下的熵漂移是由采样响应优势和其相对惊喜之间的相互作用决定的。在这一结果的推动下，AEM得出了一个实用的响应级不确定性指标，并使用它来重新调整优势，利用积极和消极样本之间不断演变的平衡，自然地从勘探过渡到开发。在ALFWorld、Webshop和SWE-Back上进行的广泛实验-使用1.5B到32B的模型进行了验证-表明，AEM始终提高了强大的RL基线，包括在集成到最先进的软件工程RL培训框架中时获得+1.4%.
原始资料
arXiv cs.AI · 中文编译
查看来源原文 产品参数、测试条件及最新修订以来源原文为准。