返回资讯
学术研究

VoiceLongMemEval:助理还记得你的声音吗?

VoiceLongMemEval: Do Assistants Remember How You Sounded?

专题配图图片仅供信息参考图片仅供参考版权归原作者
摘要

Arxiv:2609.00570v3公告类型:替换摘要:随着多代理体系结构和大型语言模型的规模不断扩大,部署的AI助手越来越多地承担着在漫长、连续、多会话的对话历史上进行推理的任务。目前的基准将这种对话历史评估为长期信息检索、时态推理或知识更新,而至关重要的是忽略了人与代理交互的基本动态,即他们是如何说的。为了弥补这一差距,我们提出了VoiceLongMemEval(VLME)基准测试,其中每个答案都依赖于附加到会话轮换的副语言元数据(情感标签、韵律描述符和语音事件),否则无法仅从单词中恢复。每一项都通过了一个三阶段的对抗性关口,确保了一个强大的语言模型在只提供成绩单的情况下失败了。评估领先的前沿和开放权重模型揭示了普遍存在的影响差距;提供文本跟踪副语言学元数据可以使准确率提高0.09%到0.38%(在有证据提示的情况下提高0.61%到0.69),而标准的ASR管道系统地丢弃这个信号。此外,音频本地模型成功地直接从语音中提取这些提示(0.354到0.412,而不是0.325盲)。代码和数据集将在验收后提供。

原始资料

arXiv cs.AI · 中文编译

查看来源原文 产品参数、测试条件及最新修订以来源原文为准。