返回资讯
学术研究

通信瓶颈:语言模型中树状表达式序列化的往返研究

The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models

专题配图图片仅供信息参考图片仅供参考版权归原作者
摘要

语言模型进行思维链推理或交换自由文本形式的中间结果时,会将结构化信息序列化为自然语言。树状组合内容有多少能够保留并通过这一瓶颈?我们提出一种往返协议,以实证方式回答树状表达式中的这个问题。生成器将程序生成的算术表达式转化为文字应用题,独立的提取器仅根据应用题还原表达式,并通过符号等价性提供精确判定。对十六个模型的所有两两组合进行评估,得到……

原始资料

Apple Machine Learning Research · 来源摘要

查看来源原文 产品参数、测试条件及最新修订以来源原文为准。
通信瓶颈:语言模型中树状表达式序列化的往返研究 · AI 观察