河马：通过海马区重播实现无需训练的智能体自我进化

Arxiv：2610.24453v2宣布类型：替换摘要：在递归自我改进(RSI)的激励下，我们研究了LLM代理如何在不更新模型参数的情况下通过外部记忆学习。从一次尝试中提取有用的经验是困难的：有缺陷的推理可以带来成功，而糟糕的执行可能会掩盖一个合理的战略。随着时间的推移保持它的价值也是困难的：我们没有合并的累积基线最初是改进的，但最终表现低于无记忆基线。我们的主要想法是比较同一任务中的尝试，以确定可重复使用的决策，并在应用时进行改进。我们引入了河马，这是一种记忆框架，受到选择性海马体编码和回放的启发，当诊断出缺点时，它会从这些比较中学习。它将产生的经验与现有的记忆进行比较，以合并重叠并通过明确的适用性条件解决冲突。这允许修改先前的指导，而无需将每一课存储为单独的条目。在SWE-BASE VERIFIED、WebArena和Mind2Web上的实验表明，在所有三种设置下，性能都有所提高，保留的经验比累积基线要少得多。收益扩展到不同能力的评估基础模型，表明即使对于高性能模型，基于内存的适应仍然有用。