通信瓶颈:语言模型中树状表达式序列化的往返研究
The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models
专题配图图片仅供信息参考图片仅供参考版权归原作者摘要
语言模型进行思维链推理或交换自由文本形式的中间结果时,会将结构化信息序列化为自然语言。树状组合内容有多少能够保留并通过这一瓶颈?我们提出一种往返协议,以实证方式回答树状表达式中的这个问题。生成器将程序生成的算术表达式转化为文字应用题,独立的提取器仅根据应用题还原表达式,并通过符号等价性提供精确判定。对十六个模型的所有两两组合进行评估,得到……
原始资料
Apple Machine Learning Research · 来源摘要
查看来源原文 产品参数、测试条件及最新修订以来源原文为准。