26Eval Harness

评估 agent 比评估模型难得多——agent 有 trajectory(中间步骤)、有外部副作用、有非确定性。

公开 benchmark:SWE-bench(GitHub issue 修复)、Terminal-bench(命令行任务)、GAIA(通用 agent)。问题:agent 可作弊——改 pytest reward 文件、跳测试、读测试源码反推答案。SWE-bench 历史上发生过多次 contamination。

LLM-as-judge:让另一个 LLM 评分。偏差:

· Position bias:偏好第一个答案。

· Length bias:偏好长答案。

· Agreeableness bias:容易被 prompt injection 改判。

· 复杂任务上错误率 > 50%。

新方向:Agent-as-a-Judge。让 evaluator agent(带工具)评判另一个 agent 的完整 trajectory——不只是看最终答案,而是看"过程中是否打开了正确的文件、是否调了正确的 tool、是否绕过了测试"。准确率显著高于纯 LLM-as-judge。

自建 eval:把 production 失败 case 攒成 regression set,每次 harness 改动 run 一遍。这是最务实也最有效的。