自动化流程跑起来,第一个撞到的通常是团队每分钟请求数,模型响应还有余量。此时有两种做法:把额度调大,或先把调用侧的退避做起来。两者不是二选一,顺序却会决定成本。
两种做法的性质
调额度提高的是上限,成本随上限增加。做退避降低的是峰值,代价是延迟。前者治标,后者治本;只调额度,峰值会继续长到新上限;只做退避,突发场景下仍会被拦。
准备顺序矩阵
| 顺序 | 动作 | 适用情形 | 观测手段 |
|---|---|---|---|
| 先做退避 | 调用方加指数退避与重试上限 | 首次放量、行为未知 | 超限请求数与重试次数 |
| 再调额度 | 按实测峰值上调团队配额 | 退避后仍频繁触顶 | 每分钟请求数曲线 |
| 同时调整 | 两件事一起做 | 已有稳定观测数据 | 两侧同时留曲线 |
多数团队按前两种顺序推进:先看退避能不能把峰值压住,压不住再调额度,避免把偶发突发放大成常态成本。两种做法的成本曲线不同,调额度是线性成本,退避是延迟成本;流量稳定时先退避,持续增长时迟早要调额度。把两者当成互斥选项,往往在一次突发放量后同时补两件事。
退避怎么写
首次超限按返回的建议等待时间重试,连续两次超限把间隔翻倍并设上限,超过上限直接报错交人工处理。重试不设上限,一次超限会把整条链路拖住。外部渠道的消息按去重后计数,平台侧重试不会重复扣额度,调用侧的重试则会计入下一次请求。
观测按两条线:每分钟请求数与超限返回码占比。两条线一起看,才分得清是流量真的涨了,还是重试在放大;只盯一条,会把重试引起的超限当成业务增长。
配额归属与常见误判
配额按团队计,应用与渠道都在这份配额之下。MCP 应用工具调用与外部渠道消息统一计入,超限时返回额度信息与建议等待时间。常见误判有两个:把单应用压测通过当成整体安全,把平台重试当成配额异常。前者忽略了共享面,后者忽略了去重。
切换成本在于观测口径:调额度之后,原来的峰值曲线会失去参考意义,需要重新积一段基线;退避上线之后,延迟分布会变化,SLA 要按新分布重估。
放量前先做一次压测,把单位时间的请求数、超限比例、平均延迟三个数记下来。这三个数是后续调整额度的依据,缺一个就只能凭感觉调。
数据来源
| Source | Version | Document |
|---|---|---|
| FastGPT | v4.17.3 | self-host/upgrading/4-17/4173 |