贝叶斯优化中自适应捕获的多智能体最小二乘法

Arxiv：2603.28959v2公告类型：替换-交叉摘要：勘探-开采权衡是顺序决策和黑盒优化的核心，但大型语言模型(LLM)如何推理和管理这种权衡仍然知之甚少。与贝叶斯优化不同，贝叶斯优化通过获取函数显式编码勘探和开发，而基于LLM的优化依赖于隐式的、基于提示的推理，而不是历史评估，这使得搜索行为难以分析或控制。在这项工作中，我们提出了一个关于LLM中介的搜索策略学习的度量水平的研究，研究了LLM如何在包括信息性、多样性和代表性在内的多种探索操作定义下构建和调整探索-开发策略。我们发现，单智能体LLM方法在单个提示下联合执行策略选择和候选生成，会导致认知过载，导致搜索动态不稳定和早熟收敛。为了解决这一局限性，我们提出了一个多智能体框架，该框架将勘探开发控制分解为战略策略调解和战术候选生成。策略代理将可解释的权重分配给多个搜索标准，而生成代理根据定义为权重的结果搜索策略产生候选。这种分解使得勘探-开采决策明确、可观察和可调整。在各种连续优化基准上的经验结果表明，将战略控制与候选生成分离大大提高了LLM中介搜索的有效性。