SCARL：序列置信度对齐强化学习
SCARL: Sequence Confidence-Aligned Reinforcement Learning
专题配图图片仅供信息参考图片仅供参考版权归原作者摘要
Arxiv：2610.407v1公告类型：交叉抽象：带可验证奖励的强化学习(RLVR)通过使用基于规则的验证器对样本回答进行评分并加强通过的回答来改进语言模型推理。在分类器的训练组合预测概率与标签的情况下，没有任何东西将RLVR政策对其奖励的反应的信心联系在一起：对齐的训练将推动具有相同优势的反应朝着同样的自信方向发展，但优势对信心是盲目的。在这种序列-信心错位的情况下，政策勉强找到的成功，几乎肯定会获得与其产生的成功相同的更新，而自信的错误得到纠正并不比探索性错误更难。我们提出了序列置信度对齐强化学习(SCARL)，它用响应的群体相对置信度与其优势证明的结果之间的比对差距来重塑但从不重新标记每个优势，并将其归一化为每类优势预算的份额。未对准的样品吸收力量，具有相同优势的响应被驱动至相同的置信度，修复未对准的样品作为对侵蚀勘探的熵崩溃的补救措施。当类的置信度一致时，SCARL可证明地减少到其基本估计器，不增加额外的传递和一个超参数。在Qwen3-4B-Base上，它将平均PASS@32比DAPO提高2.4个点，在覆盖范围和每次绘制精度方面都是九种计算匹配方法中最好的；在四个估计器和四个主干上应用时不变，它改进了16个设置中的14个，同时保留了策略熵并扩大了置信度-正确性分离。我们的代码可以在https://github.com/kezhh163/scarl.上找到
原始资料
arXiv cs.AI · 中文编译
查看来源原文 产品参数、测试条件及最新修订以来源原文为准。