成本问题来自哪里
浏览器智能体会反复提交页面文字、截图和工具历史。Asana 发现,原有工作流虽然缓存了固定提示和工具定义,却频繁删除旧截图、裁剪文字,导致历史前缀不断变化,缓存难以持续复用。因而,增加缓存标记本身并不足以解决问题。Asana 工程说明
优化方法与测试设置
团队将历史预算从 12 万字符提高到 48 万字符,并把逐步删除截图改为批量清理:保留至 20 张后,再回落到最近 1 张。这样可以让多次连续调用共享未改变的历史前缀。
测试任务是从公开演示目录的 32 本图书中提取各 6 个字段。研究跨四个模型比较缓存与历史策略,每个条件重复三次,并保留请求、用量和答案记录。OpenAI 案例
如何理解 76 倍与 0.47 美元
据 OpenAI 披露,原生产模型的单次估算成本至少为 36.21 美元;优化相同模型的工作流后约为 1.24 美元,再切换到 GPT-6.1 Sol 后约为 0.47 美元。原始基线中有未完成或触达步数上限的运行,因此部分比较是降幅的下界。
单看 GPT-6.1 Sol,自身工作流优化的成本变化约为 1.97 美元降至 0.47 美元。由此可以区分工作流改造的收益与更换模型的收益,避免将完整的 76 倍差异全部归因于某一个因素。数据及测试条件
对工程实践的参考
Asana 强调,历史预算需要适配模型,并应按调用检查实际缓存读取量。由于每个条件只有少量重复,研究更适合观察大幅变化的趋势,不适合据此判断几个百分点的细小差异。研究限制
编辑说明:这个案例的阅读重点是成本、完成率与延迟之间的关系。业务接入时,应该在相同任务和质量要求下比较方案,并保留步骤、字符和费用上限,不能直接把该测试的单次成本视为其他业务的报价。
