双重考试:多模式代理人和世界模式的受控评估
Dual Exam: Controlled Evaluation of Multimodal Agents and World Models
专题配图图片仅供信息参考图片仅供参考版权归原作者摘要
Arxiv:2610.31066v2宣布类型:替换摘要:世界模型(WMS)可以通过模拟经验来支持多通道代理(MA),而代理轨迹可以为世界模型的精化提供信息。评估这种相互作用需要关于动作选择和状态演变的单独证据。我们引入了双重考试,它在固定环境反应机制下测试代理人,在固定行动干预下测试世界模型,跨越物理、数字、社会和科学领域。代理跟踪比较15个报告类别中1,088个项目的10个配置。世界模型路径包含8个场景中的400个案例;15个配置全面覆盖,1个覆盖6个场景。GPT 6 Astra以31.3领先于案例加权代理指数,GPT-Image-2以21.7领先于全面覆盖的WM。这些分数使用不同的任务和衡量标准,不能直接进行比较。一对配对的150例飞行员记录了零任务成功,并激发了部件级诊断。结果显示任务绩效参差不齐,未能保持与任务相关的状态。它们在预测成功组合或持续互惠学习方面的价值仍有待确定。
原始资料
arXiv cs.AI · 中文编译
查看来源原文 产品参数、测试条件及最新修订以来源原文为准。