上下文更改时：了解LLMS中的更新失败

Arxiv：2609.38866v2通告类型：替换摘要：随着首选项、目标和事实的更改，LLM代理必须使用当前状态，而早期版本仍保留在上下文中。然而，它们可以用相同变量的旧值来回答，这是一种我们称之为过时绑定的失败。为了研究模型何时使用过时信息以及为什么使用过时信息，我们引入了受控上下文内存(CICM)，这是一种用于跟踪和使用对话和代理日志中的更新信息的基准。我们观察到，即使是前沿推理模型也可能无法恢复当前状态。我们发现，在开源模型中，当模型使用旧模型进行响应时，探测器仍然可以恢复更新的值，这表明无法选择仍然可用的信息。Qwen和Pythia的成分测试确定了这种选择失败的一种机制：注意力漂移，即当产生答案时，注意力倾向于旧值而不是当前值。我们研究了一个单层转换器，以从数学上理解这种现象是如何发生的：当注意力得分相似时，几个旧值加在一起可能会比当前值受到更多的关注。在这个解释的指导下，我们将注意力重新引导到当前的价值上，而不需要进一步的培训。当直接请求当前值时，调整每个输入的此干预可以更正各种模型族中的大多数旧值错误，同时保留几乎所有最初正确的答案。因此，可靠的上下文管理需要的不仅仅是记住更新的信息：模型必须使用它来指导他们的答案。