移动边缘训练：大推理模型RL高效训练的在线验证提示选择

Arxiv：2603.25184v4宣布类型：替换-交叉摘要：强化学习(RL)已成为推理任务中后训练大语言模型(LLM)的关键。虽然扩展部署可以稳定训练并提高性能，但计算开销是一个关键问题。在像GRPO这样的算法中，每个提示多次推出会产生令人望而却步的成本，因为很大一部分提示提供的梯度可以忽略不计，因此利用率很低。为了解决这个问题，我们研究了如何在推出阶段之前选择高实用程序的提示。我们的实验分析表明，样本效用是非均匀和不断演化的：最强的学习信号集中在中等难度和高不确定性的交叉点，随着训练的进行而转移。受此启发，我们提出了HIVE(历史信息和在线验证的提示选择)，一个两阶段的数据高效RL框架。HIVE利用历史奖励轨迹进行粗略选择，并使用提示熵作为实时代理来修剪具有陈旧效用的实例。通过在多个数学推理基准和模型上评估HIVE，我们发现HIVE在不影响性能的情况下具有显著的推广效率。