Roblox游戏搜索中多分量查询理解的搜索感知强化学习

Arxiv：2609.30177v2公告类型：替换摘要：产生式搜索系统中的查询理解(QU)通常依赖于每个子任务的单独模型，例如搜索意图分类、属性提取和查询重写。大型语言模型(LLM)现在可以将这些子任务合并到一个模型中，该模型可以输出统一的QU输出。然而，这种整合带来了新的优化挑战。单个模型为多个组件提供服务，每个组件在搜索管道中都有不同的下游角色，每个组件的效用取决于底层搜索引擎如何对其进行操作，而不是取决于与静态标签的协议。提出了一种基于抽取再强化学习范式的多成分QU的搜索感知强化学习框架。教师-学生监督微调(SFT)首先产生与模式兼容的小策略。然后，RL阶段从这一政策开始，在现场生产搜索引擎上执行每个QU计划，并使用针对其运营角色量身定做的奖励来优化每个组件，而不是依赖于与最终搜索结果捆绑在一起的单一奖励。在大型用户自生成游戏平台上，这种特定组件的优化使NDCG@20比SFT政策提高了8.9个点，比单一端到端奖励提高了3.5个点。由此产生的小的、低延迟的学生模型也超过了他们的大得多的教师，我们最终的模型正在逐步地部署到生产中。