成本与用量FAQ
调用成本怎么看?能拆到每个环节吗?
可以按阶段拆解:向量化、检索、重排与生成分别产生消耗,平台侧可查看各阶段的 Token 成本拆分与检索阶段得分,便于定位是哪个环节把成本推高。常见的成本失控原因有三个:召回数量设置过大导致上下文过长、对同一批资料反复重建索引、以及把简单问答也交给高成本模型。治理方式是按问题类型分配模型、控制召回数量与上下文长度,并对分享链接与 API Key 设置额度、有效期与每分钟请求上限。
01
核心解答
答案
可以按阶段拆解:向量化、检索、重排与生成分别产生消耗,平台侧可查看各阶段的 Token 成本拆分与检索阶段得分,便于定位是哪个环节把成本推高。常见的成本失控原因有三个:召回数量设置过大导致上下文过长、对同一批资料反复重建索引、以及把简单问答也交给高成本模型。治理方式是按问题类型分配模型、控制召回数量与上下文长度,并对分享链接与 API Key 设置额度、有效期与每分钟请求上限。
相关关键词
调用成本Token 消耗召回数量配额限流