语言模型代理的探索和利用错误是可测量的

Arxiv：2604.13151v2公告类型：替换摘要：语言模型(LM)代理越来越多地用于复杂的决策任务，从AI编码到物理AI，在这些任务中，他们必须探索搜索空间并有效地利用所获得的知识。尽管勘探和开采在决策中发挥着不同的作用，但在不了解代理人的内部政策的情况下系统地区分勘探和开采，并确定两者何时构成错误，仍然具有挑战性。为了解决这一问题，我们设计了部分可观测的2D网格地图与未知的符号任务有向无环图(DAG)配对，抽象出实际的代理人工智能场景。然后，我们提出了一个与策略无关的度量，该度量检测非生产性遍历，同时允许必要的回溯。我们根据当前国家是否允许生产性勘探、开采或两者兼而有之，将每个错误归因于勘探或开采。使用生成的地图和难度可控的任务DAG，我们评估了35个前沿LM代理，发现即使是最先进的模型也难以在STEP预算内达到目标。$\LOG$勘探和开采错误与任务成功表现出很强的关系($R^2=0.885$和$0.875$)，提供了该度量捕获与任务成功相关的行为的经验证据。除了成功率之外，该指标还显示了具有相似成功率的模型之间不同的探索和利用行为。我们进一步发现，紧凑的记忆工具比保留自己推理痕迹的推理基线获得了更高的任务成功率。最后，我们将我们的指标扩展到一个标志性的视频游戏，我的世界克隆，超出了我们的合成环境。我们在https://github.com/jjj-madison/measurable-explore-exploit.发布我们的代码