阿特拉斯：美团小团工具使用剂的双视野诊断评价

Arxiv：2608.30685v2宣布类型：替换摘要：在网络规模的服务平台上，基于LLM的助手越来越多地通过多步骤规划和工具使用来满足本地服务需求。在动态的业务条件和不断变化的用户需求下，结果级评估提供的证据有限，表明执行在哪里失败，或者服务如何在持续的交互中漂移。我们提出了ATLAS，一个针对工业工具使用代理的双水平诊断评估框架。回合内评估使用跨越思考和反思、工具和技能执行以及响应生成的轨迹式信号，以确定执行失败和未满足的能力要求。交叉转向评估使用跨越多个生命周期的用户智能信号来诊断维护或更新用户意图、约束和更正方面的故障。细粒度信号使用基于规则的检查和LLM判断，并具有明确的证据范围和决策边界。为了支持生产规模的可靠诊断，根据业务日志中动态维护的引用来校准LLM判断器，并将选定的判断器提取为紧凑的诊断模型。生成的诊断配置文件帮助开发人员对故障进行归类，确定目标干预的优先顺序，并重新评估改进。ATLAS应用于美团小团，一个百万规模的DAU本地服务助理，通过校准的法官和蒸馏模型实现了高诊断保真度。人工盲查和每臂近200万用户的14天在线A/B测试证实，ATLAS指导的代理提高了推荐相关性、事实可靠性、用户参与度(+2.84%答案通读率)和订单量(+6.13%已支付订单)，从而实现了全面的生产部署。