INFRAMIND：基础设施感知的多代理协调

Arxiv：2606.11440v2公告类型：替换摘要：多代理LLM系统在推理和协作上花费额外的计算，但共享服务队列会阻止该计算在截止日期之前产生答案。这就产生了一个耦合的决策：推理工作流确定负载，而变化的负载确定哪些推理选择仍然负担得起。我们引入了INFRAMIND，这是一种分层策略，它使工作流的规划和执行适应服务条件。在到达时，计划员使用任务信息、负载和时间预算来选择协作图。在每次代理调用之前，执行者使用更新的遥测和剩余时间联合选择模型和推理策略。共享延迟惩罚将这两个策略联系在一起。我们的分析描述了为什么当拥堵与首选计算相反时，观察负载很重要。在共享的五个型号部署的五个基准中，INFRAMIND将低负载准确率比最强的评估基准提高了7.6个百分点。在500道数学题上，匹配EDF时间表，每个请求的截止日期为10-300个S，它将正确、准时的答案从20.4%提高到33.8%。随着15个型号和Azure计时在相同的基准和截止日期层上重播，这一比例从11.6%上升到54.8%。这些结果支持调整推理决策以适应整个工作流中可用的服务能力。