评价实体对齐的LLM判别法的可靠性

Arxiv：2610.09554v2公告类型：替换摘要：实体对齐(EA)标识知识图谱中的等价实体，对于知识库集成和本体合并至关重要。大规模评估EA系统需要昂贵的专家注释，这使得跨不同领域的系统评估实际上是不可行的。作为判断的LLM评估提供了一个潜在的可扩展的替代方案，但它对于EA等结构化预测任务的可靠性仍未得到研究。我们提出了第一个系统的基准研究，跨越三个前沿模型，三个数据集，和四个EA系统，使用扰动偏差诊断，跨所有数据集的元评估-判断-提示组合，以及反事实的标签翻转测试。我们识别锚偏差，这是一种失败模式，在这种模式下，当系统的决策标签可见时，判断颠倒歧视。在标签暴露提示(J-ROC-AUC 0.12-0.87)下，判断区分能力崩溃，而无标签协议在特定名称数据集上恢复接近天花板的能力(NeuSymEA为0.98-1.00)，在生物医学对上显著恢复(0.93-0.95)。反事实的标签翻转显示，在53-99%的FSR(FSR)中，可见的标签因果地将分数改变了2分以上，敏感度随着模型能力的增加而增长，我们称之为前沿模型悖论：更强的法官对标签更敏感，而不是更少，但也更好地无标签的预测者。变化的方向喜忧参半，因此我们将其报告为观察到的模式。一个盲目的双注解人工评估(102对，科恩的$\kappa$=0.902)提供了黄金标签参考。我们发布了第一个生物医学EA基准(MESH-SNOMED CT，15K对)和一个可重复使用的审计框架，用于EA中LLM判断的可靠性。有关代码和数据，请访问https://github.com/vaibhavalakshmiravideshik/llm-as-a-judge-entity-alignment.