设计反馈，而不仅仅是奖励：开放式强化学习的环境

Arxiv：2608.27906v4宣布类型：替换摘要：强化学习在具有可靠验证器的任务上改进了大型语言模型，其中检查结果为奖励提供了明确的基础。将这种方法扩展到开放式任务需要这样的环境，即既能评估复杂的、部分成功的产出，又能将这些判断转化为有效的学习指导。我们提出了一种强化学习框架，该框架围绕着一个将人类领域知识与模型推理相结合的训练环境来构建。人类领域知识以红字编码，将评估与任务意图联系起来，而模型推理与分层奖励相结合，区分复杂的开放式输出，并将诊断出的故障与可能的负责输出区域联系起来。此外，这些诊断属性指导GRPO目标中令牌级的权重，从而将不限成员名额任务中成功的模糊概念转化为政策优化的具体指导。我们在交互式Web应用程序生成中实例化了该框架，这是一个典型的开放式生成任务。该模型在MiniAppBitch上的平均通过率为41.25%，在ArtifactsB边上的平均通过率为76.19%。消融研究显示了个别组成部分的贡献，而额外的分配外评估支持可转移的收益，而不会降低其他评估任务的绩效。