本篇 10 题|覆盖初级到高级|托管 API 与模型网关。先用自己的话回答,再核对参考要点,最后练习工程追问。

本篇目录
- DEP-061 统一模型网关解决什么问题?
- DEP-062 怎样设计模型路由?
- DEP-063 故障切换有哪些风险?
- DEP-064 如何处理供应商限流?
- DEP-065 如何统计调用成本?
- DEP-066 API 密钥应该如何管理?
- DEP-067 网关如何限制用户预算?
- DEP-068 语义缓存适合放在网关吗?
- DEP-069 如何避免日志存下完整敏感提示?
- DEP-070 多供应商系统如何保持可追溯?
DEP-061 统一模型网关解决什么问题?
难度:中级
参考答案:集中处理鉴权、路由、限流、计量和可观测性,减少业务方耦合。统一接口不能掩盖模型能力差异,需明确支持特性与降级语义。
工程追问:不同供应商工具调用格式如何兼容?
DEP-062 怎样设计模型路由?
难度:中级
参考答案:按任务能力、成本、延迟、区域与健康状态选择候选模型,并记录实际版本。关键任务设置质量门槛,不能只把最便宜模型作为默认答案。
工程追问:路由策略如何离线评测?
DEP-063 故障切换有哪些风险?
难度:中级
参考答案:替代模型可能在格式、上下文、安全策略和质量上不同。切换前验证兼容性,流式中途失败时明确处理已输出内容,避免重复扣费与重复动作。
工程追问:工具执行前后切换有何差别?
DEP-064 如何处理供应商限流?
难度:中级
参考答案:读取可用的限流信息,按请求与 token 预算限制并发,采用有限退避和排队。区分短期拥塞与额度耗尽,避免所有请求同时重试。
工程追问:每分钟请求数与 token 配额如何协调?
DEP-065 如何统计调用成本?
难度:中级
参考答案:记录实际模型、输入输出用量、缓存和其他计费项,以供应商账单核对。价格与计费规则可能变化,应版本化维护,不能把估算当作最终账单。
工程追问:流式中断未返回用量怎么办?
DEP-066 API 密钥应该如何管理?
难度:中级
参考答案:保存在受控密钥系统或安全配置中,由服务端注入,避免前端和日志暴露。支持轮换、权限范围和撤销,并检查错误信息是否包含秘密。
工程追问:不同用户是否应该共用同一密钥?
DEP-067 网关如何限制用户预算?
难度:中级
参考答案:预估请求最大消耗并预留额度,完成后按实际用量结算,处理取消和异常释放。并发请求需要原子操作,防止同时检查余额导致超支。
工程追问:长输出预算如何提前估计?
DEP-068 语义缓存适合放在网关吗?
难度:中级
参考答案:可减少相似请求成本,但容易混淆权限、时效和细微条件。仅对明确可复用任务启用,缓存键包含必要上下文并验证命中质量。
工程追问:同义问题与看似相似问题如何区分?
DEP-069 如何避免日志存下完整敏感提示?
难度:中级
参考答案:默认记录结构化指标和脱敏摘要,对原文采样设置访问与保留策略。排查问题需要原文时使用受控流程,不应为了方便永久全量保存。
工程追问:怎样兼顾计费审计与隐私?
DEP-070 多供应商系统如何保持可追溯?
难度:中级
参考答案:为请求分配全链路 ID,记录路由决策、模型版本、重试和用量。用户看到的结果应能关联真实执行路径,方便解释质量差异和账单。
工程追问:供应商超时但实际计费如何核对?
复盘练习
任选一题,用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念,中级补实现与测试,高级补成本、权限和故障取舍。难度标签是学习建议,同一题可继续深入。
延伸阅读
以下为本模块相关原始论文与官方文档,用于继续学习;本文为原创面试要点整理,具体框架行为以所用版本为准。