如果 AI 幻觉也有预算，超支之后该怎么办？

Grafana Labs 提出使用一种熟悉的可靠性工程方法,解决现代软件中一个相对陌生的问题:如何衡量 AI 智能体的实际表现是否良好。在最近的一篇文章中,该公司介绍了如何使用评估、服务级别目标(SLO)和错误预算,将幻觉、任务完成度、毒性和成本等行为转化为可衡量的目标,并持续监控。 这一构想针对的是传统应用可观测性的一项根本局限。传统指标可以告诉工程师,智能体响应速度很快、没有遇到技术错误,并消耗了一定数量的 Token,但这些指标未必能说明它的答案是否正确、是否以现有信息为依据,或者是否对用户有用。Grafana 的方法是评估行为本身,并将结果转换为可以对照 SLO 进行衡量的 SLI。 第一步是评估。评估会检查一次智能体交互,...