学术研究

苹果机器学习研究介绍了一项以阿拉伯语为目标、英语为辅助的双语预训练研究。约千次实验覆盖 1.5 亿至 14.3 亿参数模型；结果表明，混入辅助语言数据比单纯调整超参数带来更大的收益，但验证损失与下游任务准确率体现的收益并不相同。

基于扩散的模型将采样分解为许多小幅的高斯去噪步骤。当生成过程被压缩为少数几个粗粒度转换时，这一假设便不再成立。现有少步方法通过蒸馏、一致性训练或对抗目标来解决这一问题，但在此过程中牺牲了似然框架。我们提出归一化轨迹模型（NTM），将每个反向步骤建模为具有较强表达能力的条件归一化流，并进行精确的似然训练。在架构上，NTM 将每个步骤中的浅层可逆模块与深层并行……相结合。

来源未提供摘要，请打开原文了解详情。

在多种交互环境中联合训练单个大语言模型智能体，作为实现通用智能体的一条路径，正受到越来越多的关注。现有的课程学习和数据选择策略，通常在环境层面分配训练，或优先考虑局部的奖励信号，而没有在提示组选择时明确考虑不同环境中当前运行轨迹之间的关系。同时，由于各环境的学习速度不同，一个批次中可能同时存在全部失败和全部成功的轨迹组，导致这些数据缺少组内相对奖励信号。两者……

设计产物具有本体意义：它们塑造，有时也限制，哪些事物能够实现或被想象。减少这类限制的一条路径，是赋予人们设计和构建系统的权力。尽管围绕支持这种自主设计的系统已有数十年的研究，这些系统的评价通常仍聚焦于是否易用、有用或技术上可行，而本体边界的协商问题尚未得到检验。我们设计了两种开放式探针，利用 Wizard of Oz 技术，使参与者体验训练个性化机器学习……

离散扩散模型，包括重新掩码和均匀状态采样器，通过在每个步骤中写入多个 token 位置来生成序列：各位置的值来自其自身的分布，待写入的位置也由这些分布决定。在常见的应用领域，如像素、音素或词语，token 之间存在固有依赖。我们证明，只有在给定已固定的 token 后，本步骤写入的位置之间条件独立时，该步骤才与训练分布一致；逐位置分布的乘积无法匹配存在依赖的组；并且……

多语言自监督语音模型能够受益于跨语言的信息共享，但在预训练数据总预算相同的情况下，其表现仍落后于单语言模型。我们表明，在预训练中增强模型区分语言的能力，能够在连续的语音和更高层次的语言指标上缩小这一差距，部分指标上甚至可以消除差距，同时保留大量跨语言共享。在受控的英语／法语 HuBERT 设置中，我们测试了两种增强语言区分能力的干预方法：一种辅助语言……

具有可验证奖励的强化学习（RLVR）的常见范式，是让智能体多次尝试任务，并朝成功的尝试进行优化。但在自我改进场景中，这种范式会遇到问题：任务可能难到智能体成功机会很小甚至为零，同时也没有教师模型或示例解法可供蒸馏。本文提出 RLTL;DR。每次尝试失败后，我们向策略展示验证器输出，让它以一条简短的 TL;DR 洞见写出自己的反馈。下一次运行则以……为条件。

近期，自主机器学习工程（MLE）智能体在公开排行榜上取得了显著进展。由于长期运行周期中的进展停滞，以及大语言模型（LLM）基础操作能力受限，现代 MLE 智能体往往运行在越来越复杂的辅助机制之上，包括多智能体编排器、专用检索子智能体等。但在这些框架不断扩大的同时，使用更基础但能力更强的编程智能体——让 LLM 通过读、写和 bash 等基础操作直接访问执行环境——在这一领域受到的关注较少……

来源未提供摘要，请打开原文了解详情。