全部专题 / SAFETY

安全与治理

模型安全、评估、政策与风险研究 · 20 篇资讯

学术研究9月30日

SCLATE:持续学习智能体训练与评估的执行底座

持续学习智能体由模型、辅助框架和记忆组成,运行时间跨度涵盖多个长期会话。评估和训练它们,需要将任务与智能体端事件交错安排,例如会话停止和启动、定时任务以及记忆整合。但现有基准测试和训练框架仅安排基准自身的事件,导致每一对基准与智能体都需要构建自定义调度循环。我们提出 SCLATE:通过适配器,基准测试和未修改的智能体可以将各自事件加入同一个开放的事件调度器。混合模拟时钟……

Apple Machine Learning Research
学术研究9月29日

通信瓶颈:语言模型中树状表达式序列化的往返研究

语言模型进行思维链推理或交换自由文本形式的中间结果时,会将结构化信息序列化为自然语言。树状组合内容有多少能够保留并通过这一瓶颈?我们提出一种往返协议,以实证方式回答树状表达式中的这个问题。生成器将程序生成的算术表达式转化为文字应用题,独立的提取器仅根据应用题还原表达式,并通过符号等价性提供精确判定。对十六个模型的所有两两组合进行评估,得到……

Apple Machine Learning Research