本篇 10 题｜覆盖初级到高级｜提示评测与注入防护。先用自己的话回答，再核对参考要点，最后练习工程追问。
本篇目录
- PRM-041 Prompt A/B 测试怎样做才公平？
- PRM-042 Prompt 的消融实验是什么？
- PRM-043 如何减少提示对示例顺序的敏感性？
- PRM-044 提示注入能否只靠一句禁止语解决？
- PRM-045 如何防止检索文档改变系统角色？
- PRM-046 为什么隐藏提示不等于安全？
- PRM-047 如何监控上线后的提示漂移？
- PRM-048 如何维护领域 Prompt 库？
- PRM-049 自动优化 Prompt 有哪些风险？
- PRM-050 面试中如何展示 Prompt 工程能力？
PRM-041 Prompt A/B 测试怎样做才公平？
难度：高级
参考答案：保持模型、数据、工具与采样条件一致，只改变目标提示因素。用固定测试集加真实流量验证，并报告分层质量、延迟和成本；应随机展示顺序，避免把少量成功案例当成结论。
工程追问：测试集中的哪些输入容易让结果失真？
PRM-042 Prompt 的消融实验是什么？
难度：高级
参考答案：逐步移除角色、示例、约束或某段上下文，观察指标变化，判断各部分是否真的有价值。注意模块之间的交互作用，并用独立数据验证，避免根据一两个样本删除关键安全说明。
工程追问：两个单独无效的组件组合后可能有效吗？
PRM-043 如何减少提示对示例顺序的敏感性？
难度：高级
参考答案：让标签定义和输出规则足够清楚，再测试示例重排、类别均衡和不同样本集合。若结果仍波动，应增加校验或调整任务方案，而不是把当前碰巧成功的顺序永久当成标准答案。
工程追问：怎样量化顺序变化造成的波动？
PRM-044 提示注入能否只靠一句禁止语解决？
难度：高级
参考答案：不能。禁止语可提供行为引导，但无法建立真实的权限边界。应把文档当数据、限制工具能力、验证执行参数并测试恶意输入，防止低信任内容获得高优先级操作权。
工程追问：防注入测试应覆盖哪些入口？
PRM-045 如何防止检索文档改变系统角色？
难度：高级
参考答案：在消息结构中明确文档来源与数据身份，避免将检索文本拼入系统角色，同时过滤或标注可疑内容。工具执行必须独立授权；即使模型受到影响，也不应具备越权操作的能力。
工程追问：文档要求模型把密钥写进回答该怎样防守？
PRM-046 为什么隐藏提示不等于安全？
难度：高级
参考答案：提示可能通过输出、日志或调试链路泄露，因此不能把秘密与安全逻辑依赖放在提示里。访问控制、凭据和关键校验应在服务端，提示暴露时系统仍需保持安全。
工程追问：如果系统提示被公开，哪些保护应仍有效？
PRM-047 如何监控上线后的提示漂移？
难度：高级
参考答案：按提示版本与任务分层统计格式错误、拒答、工具失败和用户修正，结合固定回归集与人工抽检。模型、数据或工具变化也会导致漂移，应建立关联记录而不是只重新写提示。
工程追问：线上错误上升时先排查哪几个变量？
PRM-048 如何维护领域 Prompt 库？
难度：高级
参考答案：将模板、变量 schema、适用范围、测试集与版本说明一起管理，明确负责人和更新流程。避免复制大量相似字符串而无人维护；共享组件也应测试变更对多个任务的影响。
工程追问：一个公共组件修改会影响哪些业务？
PRM-049 自动优化 Prompt 有哪些风险？
难度：高级
参考答案：优化器可能过拟合评测集、追逐评分器偏好或增加不必要成本。应保留独立测试、预算和安全门禁，并审查生成的约束，不能仅以自动分数提高批准生产替换。
工程追问：怎样防止优化器把答案写进提示？
PRM-050 面试中如何展示 Prompt 工程能力？
难度：高级
参考答案：展示任务定义、基线、失败分类、改动依据和可复现评测，而不是只展示一份很长的提示。说明哪些问题由提示解决、哪些交给工具或业务规则，并诚实报告仍存在的边界。
工程追问：讲一个提示无效而你改变系统方案的例子。
复盘练习
任选一题，用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念，中级补实现与测试，高级补成本、权限和故障取舍。难度标签是学习建议，同一题可继续深入。
延伸阅读
以下为本模块相关原始论文与官方文档，用于继续学习；本文为原创面试要点整理，具体框架行为以所用版本为准。