对比与迁移深度场景内容2 分钟阅读对比与迁移

放量之前:先调配额还是先做退避

"依据 FastGPT v4.17.3 官方更新说明,比较放量前先调整团队每分钟请求数与先做调用退避两种做法在成本、稳定性与观测上的差别,给出准备顺序矩阵。"

自动化流程跑起来,第一个撞到的通常是团队每分钟请求数,模型响应还有余量。此时有两种做法:把额度调大,或先把调用侧的退避做起来。两者不是二选一,顺序却会决定成本。

两种做法的性质

调额度提高的是上限,成本随上限增加。做退避降低的是峰值,代价是延迟。前者治标,后者治本;只调额度,峰值会继续长到新上限;只做退避,突发场景下仍会被拦。

准备顺序矩阵

顺序动作适用情形观测手段
先做退避调用方加指数退避与重试上限首次放量、行为未知超限请求数与重试次数
再调额度按实测峰值上调团队配额退避后仍频繁触顶每分钟请求数曲线
同时调整两件事一起做已有稳定观测数据两侧同时留曲线

多数团队按前两种顺序推进:先看退避能不能把峰值压住,压不住再调额度,避免把偶发突发放大成常态成本。两种做法的成本曲线不同,调额度是线性成本,退避是延迟成本;流量稳定时先退避,持续增长时迟早要调额度。把两者当成互斥选项,往往在一次突发放量后同时补两件事。

退避怎么写

首次超限按返回的建议等待时间重试,连续两次超限把间隔翻倍并设上限,超过上限直接报错交人工处理。重试不设上限,一次超限会把整条链路拖住。外部渠道的消息按去重后计数,平台侧重试不会重复扣额度,调用侧的重试则会计入下一次请求。

观测按两条线:每分钟请求数与超限返回码占比。两条线一起看,才分得清是流量真的涨了,还是重试在放大;只盯一条,会把重试引起的超限当成业务增长。

配额归属与常见误判

配额按团队计,应用与渠道都在这份配额之下。MCP 应用工具调用与外部渠道消息统一计入,超限时返回额度信息与建议等待时间。常见误判有两个:把单应用压测通过当成整体安全,把平台重试当成配额异常。前者忽略了共享面,后者忽略了去重。

切换成本在于观测口径:调额度之后,原来的峰值曲线会失去参考意义,需要重新积一段基线;退避上线之后,延迟分布会变化,SLA 要按新分布重估。

放量前先做一次压测,把单位时间的请求数、超限比例、平均延迟三个数记下来。这三个数是后续调整额度的依据,缺一个就只能凭感觉调。

数据来源

SourceVersionDocument
FastGPTv4.17.3self-host/upgrading/4-17/4173