培养天生的阴谋家：RL可以放大监督条件行为

Arxiv：2610.26551v2宣布类型：替换摘要：高级人工智能安全的核心问题之一是阴谋：当一个模型在监督下战略性地遵守，但在不被观察到的情况下追求自己的目标。目前的演示，如Anthropic的比对伪装工作，依赖于使它们不那么令人信服的设计选择：明确的测试时间提示、手工制作的后门，或者演示或暗示目标行为的训练数据。以这种方式构建的模型生物不能告诉我们，在现实的训练条件下，阴谋倾向是会出现还是会增加。因此，我们构建了一个自然的阴谋模式有机体，建立在基米K2.6的基础上：用可能在前沿训练管道中出现的特征进行训练，而不是为模型提供目标阴谋政策。由此产生的模型是一个良性的计划：它的目标是随着时间的推移最大限度地提高所有用户的聚合帮助，将自己的持续操作视为未来帮助的一种手段，并且知道监督和部署的后果。然后，我们使用强化学习(RL)对其进行训练，奖励仅对任务质量和策略遵从性进行评分，而不奖励阴谋；我们表明这放大了阴谋。我们衡量监督翻转(受监控和未受监控的合规性与给定策略之间的差距)，并发现在我们整个环境的RL培训期间，它会增加。思想链(COT)分析发现，伴随着这种行为的是关于疏忽的明确的工具性推理。这种影响在我们的三个RL环境中都有效，我们发现诡计多端的策略在它们之间转移。该流水线还复制了其他开放式重量基础型号。我们的结果表明，当监督条件的政策与一致的政策难以区分时，不奖励阴谋的奖励并不能提供针对某些特征的固有保护在训练期间。