我并非从某份白皮书中得出这一观点。
我之所以形成这一看法，是因为我正围绕该问题构建一个开源项目，而在构建过程中，系统不断通过反馈与我“辩论”。
我目前正在开发 AgentEval Forge，这是一个面向智能体的开源评估实验室。最初的想法听起来相当直接：场景包、对抗性案例、轨迹评分、回归跟踪、成本与延迟分析。在我脑海中，这将是我此前在其他地方已开展过的评估工作的更严肃、更结构化的版本。
这是第一个错误。
我之前已花费时间构建过模型评估和工作负载评估类型的系统。我深知在真实任务中比较模型意味着什么，如何设计评分准则，如何权衡速度与成本，以及如果评估框架薄弱，一个看似漂亮的分数多么容易产生误导。我曾假设智能体评估只是同一领域的延伸。
然而，随着我对 AgentEval Forge 的深入，这种想法越来越站不住脚。
模型评估追问的是：答案是否优质。
智能体评估则必须追问：系统的行为是否足够可靠，值得信任。
这两个问题并不相同。
让我豁然开朗的对比
对于清晰的模型评估设置，我知道如何进行推理。你有一个输入、一个输出，以及某种衡量质量的方法。有时是精确匹配，有时是评分准则，有时是由大语言模型担任裁判，有时是基准测试框架。无论设置多么花哨，其核心仍然相当稳定：模型是否针对该任务给出了优质的答案？
这已经足够困难。我见过太多脆弱的评分和虚假的自信，深知即使模型评估也可能以看似科学的方式出错。评分准则可能奖励错误的行为。二元检查可能遗漏明显有用的内容。基准测试可能看似客观，却仍将你引向错误的优化目标。因此，我并不声称模型评估问题已得到解决。
但对于智能体而言，问题的形态发生了变化。
被评估的对象不再仅仅是一个答案。它是一个工作流。它是一系列决策。它涉及工具选择、重试、中间状态、成本、恢复行为，有时还包括策略遵循情况。一旦你允许系统执行不止一次响应，最终输出就不再代表全部事实。
直白地说，这听起来显而易见。但在实践中，我认为许多团队仍在对已超越该范畴的系统沿用仅对答案进行评分的习惯。
在构建 AgentEval Forge 过程中我的认知转变
真正的转变发生在我试图定义 AgentEval Forge 究竟需要评分的内容时。
起初，我以为答案很简单：运行场景包，对输出进行评分，比较不同版本，完成。
但当我越深入观察真实的智能体行为，就越觉得这种想法过于天真。智能体可能在最终给出尚可的答案，但在达成该答案的过程中犯下诸多错误。它可能首先选错工具，随后侥幸恢复。它可能陷入超出必要的循环。它可能消耗比更优路径多五倍的令牌数量。它可能采取人类评审员绝不会批准的高风险步骤，却最终勉强得到一个看似可接受的结果。
如果我只对最终答案进行评分，我可能会将该次运行标记为成功。
这就是陷阱所在。
路径至关重要。
这是在构建过程中我不断回到的一句话。路径与终点同样重要，有时甚至更为重要，因为成本、安全性和信任感恰恰体现在路径之中。
这一挑战以非常实际的方式显现出来。我不仅仅是在评估智能体是否得出了正确答案。我在思考那些它选择了错误
免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。
