Administrator
发布于 2026-10-12 / 0 阅读
0
0

部署优化面试题 DEP-061—DEP-070:托管 API 与模型网关

750题总目录 · 部署优化模块目录

本篇 10 题|覆盖初级到高级|托管 API 与模型网关。先用自己的话回答,再核对参考要点,最后练习工程追问。

部署优化知识导图:100题,10个专题
部署优化知识导图:100题,10个专题;点击图片查看大图。

本篇目录

  1. DEP-061 统一模型网关解决什么问题?
  2. DEP-062 怎样设计模型路由?
  3. DEP-063 故障切换有哪些风险?
  4. DEP-064 如何处理供应商限流?
  5. DEP-065 如何统计调用成本?
  6. DEP-066 API 密钥应该如何管理?
  7. DEP-067 网关如何限制用户预算?
  8. DEP-068 语义缓存适合放在网关吗?
  9. DEP-069 如何避免日志存下完整敏感提示?
  10. DEP-070 多供应商系统如何保持可追溯?

DEP-061 统一模型网关解决什么问题?

难度:中级

参考答案:集中处理鉴权、路由、限流、计量和可观测性,减少业务方耦合。统一接口不能掩盖模型能力差异,需明确支持特性与降级语义。

工程追问:不同供应商工具调用格式如何兼容?

DEP-062 怎样设计模型路由?

难度:中级

参考答案:按任务能力、成本、延迟、区域与健康状态选择候选模型,并记录实际版本。关键任务设置质量门槛,不能只把最便宜模型作为默认答案。

工程追问:路由策略如何离线评测?

DEP-063 故障切换有哪些风险?

难度:中级

参考答案:替代模型可能在格式、上下文、安全策略和质量上不同。切换前验证兼容性,流式中途失败时明确处理已输出内容,避免重复扣费与重复动作。

工程追问:工具执行前后切换有何差别?

DEP-064 如何处理供应商限流?

难度:中级

参考答案:读取可用的限流信息,按请求与 token 预算限制并发,采用有限退避和排队。区分短期拥塞与额度耗尽,避免所有请求同时重试。

工程追问:每分钟请求数与 token 配额如何协调?

DEP-065 如何统计调用成本?

难度:中级

参考答案:记录实际模型、输入输出用量、缓存和其他计费项,以供应商账单核对。价格与计费规则可能变化,应版本化维护,不能把估算当作最终账单。

工程追问:流式中断未返回用量怎么办?

DEP-066 API 密钥应该如何管理?

难度:中级

参考答案:保存在受控密钥系统或安全配置中,由服务端注入,避免前端和日志暴露。支持轮换、权限范围和撤销,并检查错误信息是否包含秘密。

工程追问:不同用户是否应该共用同一密钥?

DEP-067 网关如何限制用户预算?

难度:中级

参考答案:预估请求最大消耗并预留额度,完成后按实际用量结算,处理取消和异常释放。并发请求需要原子操作,防止同时检查余额导致超支。

工程追问:长输出预算如何提前估计?

DEP-068 语义缓存适合放在网关吗?

难度:中级

参考答案:可减少相似请求成本,但容易混淆权限、时效和细微条件。仅对明确可复用任务启用,缓存键包含必要上下文并验证命中质量。

工程追问:同义问题与看似相似问题如何区分?

DEP-069 如何避免日志存下完整敏感提示?

难度:中级

参考答案:默认记录结构化指标和脱敏摘要,对原文采样设置访问与保留策略。排查问题需要原文时使用受控流程,不应为了方便永久全量保存。

工程追问:怎样兼顾计费审计与隐私?

DEP-070 多供应商系统如何保持可追溯?

难度:中级

参考答案:为请求分配全链路 ID,记录路由决策、模型版本、重试和用量。用户看到的结果应能关联真实执行路径,方便解释质量差异和账单。

工程追问:供应商超时但实际计费如何核对?

复盘练习

任选一题,用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念,中级补实现与测试,高级补成本、权限和故障取舍。难度标签是学习建议,同一题可继续深入。

延伸阅读

以下为本模块相关原始论文与官方文档,用于继续学习;本文为原创面试要点整理,具体框架行为以所用版本为准。

继续学习

上一篇:推理运行时与优化 · 下一篇:流式服务与背压 · 返回部署优化目录


评论