SAFE：一种基于证据的多跳推理的LLM-as-Verator框架

Arxiv：2604.01993v4公告类型：替换-交叉摘要：多跳QA基准经常奖励错误正确的大型语言模型(LLM)，其中模型通过无效的中间推理得出正确的答案。我们提出了一种基于证据的多跳QA的LLM-as-verator框架SAFE。SAFE不是在生成后只判断最终答案，而是在生成过程中通过对照提供的段落和先前的推理轨迹检查中间步骤来验证推理。为了使这个过程可检查，SAFE将推理分解成原子的、基于证据的单元，用知识图(KG)三元组表示。在训练时，SAFE验证KG接地约束下的基准监督，并构建可靠的验证器训练数据。在推理时，外部验证器检查每个生成的步骤，识别无效推理，并在错误传播之前提供纠正反馈。在三个多跳QA基准中，SAFE的准确率平均提高了8.8个百分点。这些结果表明，基于证据的多跳QA受益于将基于LLM的评估从事后答案判断转变为逐步推理验证。