TextSeal2:基于Copula混合和无记忆竞争的无失真LLM水印
TextSeal2: Distortion-Free LLM Watermarking with Copula Mixing and Memoryless Races
专题配图图片仅供信息参考图片仅供参考版权归原作者摘要
Arxiv:2610.40613v1公告类型:交叉摘要:我们提出了TextSeal2,这是一种用于大型语言模型的无失真水印,它将信号保持在推测解码之下:替换被拒绝草稿的令牌仍然使用相同的密钥添加水印,接受率保持不变。它还保留了输出分集,并且不会增加可测量的推理延迟。它的前身TextSeal通过掷硬币将每个令牌路由到两个密钥中的一个,恢复了Gumbel-max方案的多样性。这是次优的,因为检测器在不知道使用了哪个键的情况下对两个键的分数求平均。相反,TextSeal2将两个或多个键合并为一个虚拟键,并通过Automark的高斯Copula将其耦合到新的噪声。可以通过这种方式合并任意数量的密钥,包括公共共享密钥,而不会稀释检测。在投机性解码下,TextSeal2使用另一个指数竞争来验证带密钥的选秀,并在选秀比赛的剩余部分上运行。由于无记忆,这场比赛复制了块验证,因此输出完全符合目标模型。我们在三个LLM上对TextSeal2进行了评估。在相同的输出令牌多样性下,TextSeal2检测到的100个令牌答案比TextSeal多8到22个百分点,假阳性率为$10^{-3}$,与TextGrain相当,而不需要进行登录后优化。在推测解码的情况下,在相同的接受率下,它对200个令牌答案的检测率分别比TextSeal和TextGrain高18个百分点和22个百分点。
原始资料
arXiv cs.AI · 中文编译
查看来源原文 产品参数、测试条件及最新修订以来源原文为准。