NovGauge：一种诊断LLMS论文新颖性能力的细粒度基准

Arxiv：2609.11234v2宣布类型：替换摘要：大型语言模型(LLM)越来越多地用于主要人工智能会议的同行审查，但新颖性仍然是一个持久的弱点。现有的基准将新颖性作为单一的整体分数进行评估，这使得诊断模型误判了哪个维度或其证据是否可信变得困难。我们提出了NovGauge，这是一个基于人类的细粒度新颖性评估诊断基准。该基准包括619张纸和50张多张纸，来自两个专家来源：ICLR审查员重叠声明和调查联合引用。实例按照三个维度独立标记：任务、问题和方法，捕获应用程序目标、技术挑战和解决方案方法。我们提出了一种级联诊断流水线，用于验证每个维度的正确性、证据基础和逻辑支持。对18个LLM的评估显示，幻觉率在各个维度上从0%到39%不等，在没有幻觉的正确-积极的判断中，超过70%的人引用的证据未能从逻辑上支持所述的原因。性能最好的模型GPT-5.5在各个维度上获得了43%-72%的F1验证，而大多数模型在忠诚度验证后保留了不到其原始F1的一半。这些结果表明，当前的LLMS仍远未达到可靠的科学新颖性评估，特别是当正确性取决于忠实的证据基础时。