用 LLM 给 Agent 轨迹打分时,为什么必须把工具返回的 Observation 也放进去?轨迹评测怎么设计?

一句话速记:评测 Agent 需输入 Observation,因其决策本质是条件概率 $P(A_t|H_{t-1}, O_{t-1})$;若无环境反馈,评估模型无法判断动作是合理推导还是幻觉输出,也难以区分是工具报错导致的被动兜底还是模型主动选错。轨迹评测需解耦单步有效性与全局目标达成,结合规则拦截与带完整上下文的 LLM 打分。

评测、LLM-as-Judge

同章节的其他八股