学术研究

双语预训练在数据受限条件下优于超参数搜索：苹果研究比较约千次训练实验

Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings

Apple Machine Learning Research发布于 10月13日 2 分钟阅读

专题配图图片仅供信息参考图片仅供参考版权归原作者

摘要

苹果机器学习研究介绍了一项以阿拉伯语为目标、英语为辅助的双语预训练研究。约千次实验覆盖 1.5 亿至 14.3 亿参数模型；结果表明，混入辅助语言数据比单纯调整超参数带来更大的收益，但验证损失与下游任务准确率体现的收益并不相同。

研究针对什么问题

低资源语言缺少足够的独立训练文本，模型可能需要反复读取同一批语料。研究比较了两种应对方式：加强权重衰减等超参数调优，以及引入高资源辅助语言的数据，增加训练信号的多样性。前者限制模型容量，后者同时改变训练数据分布。研究介绍

实验以阿拉伯语为目标语言、英语为辅助语言，覆盖四档模型规模，参数量从 1.5 亿到 14.3 亿，累计约 1000 次预训练。作者报告，数据混合在验证损失和下游准确率上均优于单纯的超参数搜索，而且模型越大，两种策略之间的差距越明显。

论文用等效数据量衡量收益：验证损失对应约 2–3 倍独立目标语料的效果，下游任务准确率对应约 2–13 倍。两组数字衡量的是不同指标，不能把它们直接解释为模型能力普遍提高相同倍数。论文摘要与版本信息

作者建议优先考虑辅助语言与混合比例，再通过 μP 从较小的代理模型迁移超参数。只观察目标语言验证损失，可能低估辅助语料带来的知识收益。

这项比较基于上述语言组合、模型规模与数据受限条件。它为低资源语言的训练预算分配提供了证据，但摘要并未证明所有语言组合都适用同一个最优混合比例。实际采用时仍需结合目标任务进行验证。

原始资料

Apple Machine Learning Research · 编辑整理

查看来源原文产品参数、测试条件及最新修订以来源原文为准。