Personal AI Gateway Tuning

概览

调优自托管 AI agent 网关 / 路由器的模式 —— 即一个高级用户组装起来的、用于在多个模型 provider 之间路由 prompt、控制思考预算、套利成本 vs 延迟的栈。这里的经验对任何运行自己 agent 层的人都通用(自定义调度器或自制 openrouter 前端)。

把延迟基准测试作为方法论

如果你只是手感测试延迟,你会一直默认使用你的框架上季度调优的那个模型。一个有纪律的网关运营者会定期跑头对头基准,保持 prompt 和框架不变。

某次此类基准的样本矩阵(2026 年早期测量):

模型	往返延迟	路由路径
前沿旗舰 A	~1.1s	直连
中端 MoE B	~1.8s	聚合器(如 openrouter)
Provider 直连 C	~1.8s	自家 API

经验法则:

• 保持 prompt 固定。 "X 有多快"在没有参考工作负载(短指令、~1k 上下文、无工具调用)时毫无意义。
• 在任何 provider/聚合器变化后重新基准。 一条新的聚合器路由或 KV 缓存命中可能翻转排名。
• 不要为交互式聊天过度关注尾延迟;但要为 agent 循环过度关注它,因为尾 = 总挂钟时间。

思考模式权衡

现代路由的最大踩脚雷:"thinking 模式"不是单一特性。它是共享同名的两种规制。

• 短 / 受限思考(~1–2k token 预算) 在 Gemini 级旗舰和 Kimi 级 MoE 上增加固定 ~0.7s 开销。可预测。当任务有任何规划内容时值得。
• 扩展思考(10k+ token 预算) 在 Claude Sonnet/Opus、GPT-5 reasoning、deepseek R 系列上随问题复杂度扩展,而非作为常量。同一个 prompt 可能是 4 秒,也可能是 4 分钟,取决于模型决定咀嚼什么。

网关的运营含义:

1. 把思考作为每路由标志暴露,不是全局默认。
2. 在 agent 循环路由上(每个任务调用模型 20+ 次)给思考预算设上限 —— 在循环上的扩展思考把分钟变成小时。
3. 对一次性研究 / 编码任务,扩展思考通常是正确的选择。
4. 没有一个延迟数字能跨 模型+预算 组合通用。停止引用一个。

模型路由逻辑

何时切换 provider:

• 默认路由上延迟回退 > ~30% 周环比 → 检查聚合器是否静默把你移到更便宜的后端(这很常见)。显式 pin provider。
• 高流量路由上的成本回退 → 检查 provider 直连交易是否击败聚合器的利润率。deepseek 直连 vs 聚合器的常见差距是 ~30–50%。
• 质量回退(感觉、eval 下降)→ 怀疑聚合器 provider 池上的量化。把自家 API 作为基准测试。
• 工具调用可靠性回退 → 某些 MoE 后端在流量切换时丢工具调用结构。为任何 agent 路由 pin 到已知良好的 provider。

值得抄袭的默认策略:为每个任务类(如"研究"、"编码"、"总结")保留至少两条路由,网关在 5xx 或超时上自动 fail-over,而不是把错误冒泡给 agent。

KV Cache 与 Provider 套利

两个被低估的杠杆:

• KV 缓存复用。 如果网关坐在长且稳定的系统 prompt(skill 指令、工具 schema)之前,暴露 prompt 缓存的聚合器(openrouter 通过某些 provider、自家 Anthropic、自家 Gemini)在第二次命中时大幅削减延迟和成本。值得重构 prompt 使可缓存前缀真的字节级稳定。
• Provider 套利。 聚合器上的同名模型可以由 3–5 个不同的物理 provider 服务(together-ai、nebius、lambda-labs、自家等)。它们的每 token 价格、延迟和量化都不同。Pin provider —— 或跑你自己的基准让网关偏好赢家 —— 在任何高流量路由上是免费 20–40% 改进。

Web 搜索集成

对需要实时 web 数据的 agent 栈,搜索层本身是路由决策:

• 免费档搜索 API(Brave、Bing 免费)在 agent 量下会撞速率限制墙。
• 按查询付费搜索(tavily、Perplexity-通过-聚合器、tempo-mpp 搜索路由)每查询花费几分之一分,移除了节流作为变量。
• 把搜索 provider 当作任何其他后端:基准延迟、pin 默认、保留 fallback。

会话 / 通道卫生

自托管网关会积累死状态 —— 没有读者的通道、会话、对话日志。定期清理有回报:

• 归档或关闭任何 >N 天零活动的通道/会话。
• 把会话日志轮转出热路径(它们减慢启动、膨胀备份)。
• 后台轮询循环(presence、心跳、"用户是否在")是沉默的延迟税 —— 审计什么是真正承重的。

相关

• claude-code-sessions —— Claude Code 作为网关下游消费者
• deep-research-workflow —— 最受益于思考预算控制的研究循环
• tempo-mpp —— 用于搜索和推理路由的付费 API 层
• openrouter —— 大多数个人网关前置的主聚合器
• deepseek —— 常见的直连 vs 聚合器套利例子

更新日志

• 新增关于 runpod / A100 自托管推理的发现:vLLM 提供有意义的吞吐增益;A100 按分钟计费对短时突发任务可行,这种场景下 pin provider 质量比成本更重要。