Long-Horizon语言主体中的重尾记忆痕迹

Arxiv：2610.00010v2公告类型：替换摘要：对于需要持续交互、规划和推理扩展轨迹的任务，长期语言代理正变得越来越重要。外部存储器通过保存过去的状态、过渡和超越有限的上下文窗口的经验，在这些代理中发挥核心作用。然而，现有的存储系统通常主要通过任务成功和令牌成本来评估，很少关注存储信息中的内存使用情况是如何分配的。我们表明，重复检索会产生重尾内存使用，其中一小部分状态被频繁访问，而其他许多状态很少被检索，更容易出现预测错误。我们通过跨检索策略和图结构的系统尾部审计来研究这一现象。我们发现，记忆集中是可复制的，但具有很强的策略依赖性，从随机游走下的对数正态相容模式到语义LLM策略下的截断幂定律相容的重尾。在这些发现的启发下，我们提出了Core-Tail Memory控制器(CTMC)，这是一种基于等级的内存控制器，它以单一指数$\tau$分配即时预算，同时保留尾部的汇总信息。在合成图形世界和ALFWorld中，CTMC在保持性能的同时大大减少了内存使用，在LongMemEval上，它在保持聚合准确性的情况下将提示令牌减少了24.48%。这些结果表明，重尾内存使用率既是长时间代理内存的一个可测量属性，也是提高内存效率的一个实际信号。