本篇 10 题｜覆盖初级到高级｜评测与可观测性。先用自己的话回答，再核对参考要点，最后练习工程追问。
本篇目录
- AGT-111 Agent 评测为什么不能只看最终答案？
- AGT-112 如何建立 Agent 测试环境？
- AGT-113 工具选择准确率如何评估？
- AGT-114 轨迹长度越短越好吗？
- AGT-115 如何观测 Agent 的成本？
- AGT-116 Agent Trace 应包含什么？
- AGT-117 成功率如何避免被简单任务抬高？
- AGT-118 如何评测恢复能力？
- AGT-119 模型升级如何做回归？
- AGT-120 用户反馈如何进入评测闭环？
AGT-111 Agent 评测为什么不能只看最终答案？
难度：中级
参考答案：最终文本可能正确但动作错误、成本失控或越权。需要同时检查任务成功、工具轨迹、副作用、恢复能力和资源消耗。
工程追问：什么叫结果正确但过程不可接受？
AGT-112 如何建立 Agent 测试环境？
难度：中级
参考答案：使用可重置的模拟或沙箱环境，固定初始状态并提供可验证目标。对关键外部接口保留契约测试，避免模拟环境过于理想化。
工程追问：模拟工具与真实工具差异如何发现？
AGT-113 工具选择准确率如何评估？
难度：中级
参考答案：标注哪些工具或动作序列可接受，检查误调用、漏调用及参数正确性。允许多条有效路径，不能强制唯一轨迹而惩罚合理解法。
工程追问：无需调用工具时怎样计分？
AGT-114 轨迹长度越短越好吗？
难度：中级
参考答案：短轨迹通常降低成本，但可能省略必要验证。应在成功与安全约束下比较步骤数、延迟和消耗，而不是单独优化轮数。
工程追问：多一次核验什么时候值得？
AGT-115 如何观测 Agent 的成本？
难度：中级
参考答案：按任务、模型、工具和阶段记录 token、外部费用及执行时间，关联重试与失败原因。对估算与真实账单区分口径，并设置预算告警。
工程追问：缓存命中如何反映在成本中？
AGT-116 Agent Trace 应包含什么？
难度：中级
参考答案：包含任务 ID、状态转移、工具参数摘要、结果状态、耗时、版本和审批记录。避免存储秘密与不必要的原文，保留可复现所需最小信息。
工程追问：如何在脱敏与调试之间取舍？
AGT-117 成功率如何避免被简单任务抬高？
难度：中级
参考答案：按复杂度、工具类型、风险和故障条件分层报告，并固定测试集分布。同时报告样本数与失败类型，让总体分数具有解释性。
工程追问：任务难度随时间变化怎么办？
AGT-118 如何评测恢复能力？
难度：高级
参考答案：主动中断进程、制造响应丢失与权限变化，检查恢复后目标是否达成且无重复副作用。恢复时间和人工介入率也是重要指标。
工程追问：哪些故障必须在线演练？
AGT-119 模型升级如何做回归？
难度：中级
参考答案：固定工具契约和环境快照，对比任务成功、安全违规、参数错误、延迟与成本。先在离线与小流量验证，保留旧版本及回滚路径。
工程追问：新模型更主动是否总是好事？
AGT-120 用户反馈如何进入评测闭环？
难度：中级
参考答案：将反馈关联具体任务与版本，经脱敏和人工确认转成可复现案例。区分偏好问题、事实错误和执行故障，再选择对应的改进措施。
工程追问：怎样避免只收集极端反馈？
复盘练习
任选一题，用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念，中级补实现与测试，高级补成本、权限和故障取舍。难度标签是学习建议，同一题可继续深入。
延伸阅读
以下为本模块相关原始论文与官方文档，用于继续学习；本文为原创面试要点整理，具体框架行为以所用版本为准。