协作多智能体强化学习中的稳健指令遵从性

Arxiv：2605.12655v4宣布类型：替换摘要：现实世界用例中的多代理强化学习(MAIL)可能需要适应外部自然语言指令，这些指令中断正在进行的行为并与长期目标冲突。然而，指令的条件化奖励引入了一种基本的失败模式，因为Bellman在指令上下文中更新耦合的值估计，从而在指令中断宏操作时导致值不一致。我们提出了指令遵从性的宏动作值修正(MAVIC)，它通过修正传入指令目标和恢复当前目标下的延续值来纠正指令边界处的Bellman备份。与奖励成形不同的是，Mavic修改了自举目标本身，在统一策略内实现了随机指令切换下的一致价值估计。我们给出了理论分析和一个参与者-批评者的实现，并证明了在日益复杂的协作多智能体环境中，MAVIC在保持基本任务性能的同时实现了高指令遵从性。