不带权值扰动的神经丛林再思考

Arxiv：2610.40649v1宣布类型：交叉摘要：神经丛林假说假设预训练的语言模型位于权重空间中任务特定专家的密集邻域中，随机高斯扰动可以揭示这一点。我们复制了报道的收益，但表明它们不需要这种几何解释。扰乱单个解码器块已经恢复了大部分改进，同时保持模型完全冻结，并在其输出逻辑中添加随机偏差匹配或超过大多数推理任务的全权扰动。这提出了一种基于输出多样性、基于验证的选择和投票的另一种解释。我们将这一观点形式化为扰动-选择-投票(PSV)，这是一个生成扰动预测器的一般过程，在一个小的验证集上选择高性能的成员，并聚合他们的预测。这种解释将神经灌木丛与既定的推理时间方法联系起来，包括抽样、自我一致性和验证者指导的选择。一阶分析进一步表明，小的重量扰动主要通过它们诱导的Logit位移起作用。我们将这一分析扩展到VISION，其中LOGIT PSV显著提高了域移下的性能，包括在地球上的观测，而满重扰动提供的额外好处很少。总而言之，这些结果表明，归因于附近重量空间专家的收益可以通过输出多样性、选择和投票来获得。Logit PSV通过完全冻结的模型实现了这些优势，提供了一种简单、免培训的替代方案，可以替代语言和视觉上的全重扰动。