WNM-3D：一种带3D场景调节的闭环式全球导航模型

Arxiv：2608.07267v3公告类型：替换摘要：最近的视觉-语言导航(VLN)系统越来越多地将预先训练的视觉-语言模型(VLM)适应于视觉-语言-动作(VLA)策略，这些策略将以自我为中心的观察和语言指令直接映射到导航动作。虽然这种以动作为中心的训练在语义上是有能力的，但并没有明确地模拟代理人的视觉观察在其预测的运动下是如何演变的。生成性世界动作模型(WAM)共同预测未来的观察和动作，然而现有的连续VLN的WAM并不以从观察历史推断的几何感知表示为条件来联合生成未来视图和动作。我们提出了一种用于连续VLN的创成式世界导航模型WNM-3D，它具有3D场景条件。冻结的前馈几何编码器从单目RGB历史中提取交叉视图表示，并且可训练的3D场景到令牌适配器将它们转换为世界动作扩散转换器的固定长度场景前缀。通过块因果注意，这个前缀在联合去噪过程中对每个未来的视频动作块保持可见，提供持久的几何背景。我们用监督的世界行动学习、对政策访问国家的匕首式适应以及反事实的DanceGRPO细化来训练WNM-3D。在GN-BENCH和VLN-CE上，WNM-3D的表现一直优于主干匹配的WNM-2D对应产品，展示了跨不同视觉领域的3D场景调节的收益。WNM-3D在GN-BASE上的表现进一步超过了强大的VLN基线，并演示了在物理机器人上的闭环部署。组件和阶段性消融支持Adapter设计以及Dagger-SFT和后续奖励导向精细化的互补作用。