系统幻觉量表(SHS)：一种以人为中心评估大型语言模型感知可靠性的工具

Arxiv：2603.09989v2公告类型：替换-交叉摘要：大型语言模型经常产生不正确或误导性的输出，但传统的自动化基准测试忽略了用户在交互过程中如何感知可靠性。我们介绍了系统幻觉量表(SHS)，这是一个模拟著名的系统可用性量表(SUS)和系统原因量表(SCS)的轻量级工具。SHS使用10个平衡的利克特量表项目，从五个维度衡量感知的可靠性：事实准确性、来源可靠性、逻辑一致性、陈述的欺骗性和对用户指导的响应性。在一项有193名参与者参与的监督验证研究中(对47名训练有素的实验者进行了386次评估)，SHS表现出很强的内部一致性和高清晰度，平均只需4.2分钟就完成了。参与者认为来源的可验证性和呈现的欺骗性比事实的准确性更差，这表明感知到的脆弱性主要存在于可追溯性和框架性。作为概念验证，SHS评估人类感知的可靠性，而不是地面事实的正确性，提供开放源码的多语言实施和交互式计算器。