这一档模型的参数意味着什么
StepFun 这一档模型具备 256000 token 的上下文长度(maxContext),这意味着单次对话中模型能够处理的输入信息总量非常庞大,为集成大量召回内容提供了空间。引用上限(quoteMaxToken)为 240000 token,这是模型用于引用检索内容的专用预算。模型会将检索到的内容整合到这个预算内,以支持生成回答。工具调用能力允许模型与外部工具进行交互,扩展其处理复杂任务的能力。图片输入能力则使得模型可以直接理解并处理图像信息。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/db | 连接到 openGauss 数据库实例 |
ef_construction | 100–200 | 影响索引构建时的图拓扑质量,决定召回精度 |
ef_search | 64–128 | 影响搜索时的邻居遍历范围,决定查询性能 |
m = 32 | 32 | HNSW 图中每个节点的最大连接数,影响索引大小和搜索效率 |
chunk_size | 800–1200 字符 | 文本切片粒度,影响单段信息密度和召回匹配度 |
top_k | 前 10–20 条 | 向量库返回的段落数量,平衡召回量与模型上下文开销 |
这两者互相约束的地方
模型上下文长度和 openGauss 返回的召回条数之间存在直接制约。召回条数乘以每段内容的平均长度,必须在模型总上下文预算之内,以避免截断或信息丢失。引用上限是一个 token 预算,它限定了模型可以用于引用检索内容的 token 总量。openGauss 向量库返回的则是独立的段落条数。当每段内容较短时,模型可能在引用了大量条目后才触及 token 上限;而当每段内容较长时,即使召回条数不多,也可能迅速耗尽引用 token 预算。openGauss 的 ef_construction 和 ef_search 等索引参数调大,通常能提升召回的精确性,这意味着模型可能接收到更相关的少数条目,从而在引用上限内更好地利用信息。
容易做错的三处
- 模型返回
Context window exceeded错误码,原因是向量库返回的段落总长度超过了模型的上下文长度。 - 检索结果为空,原因可能是
OPENGAUSS_URL配置不正确,导致无法连接到 openGauss 数据库。 - 返回内容相关性差,原因是 openGauss 的
ef_search参数设置过低,导致搜索范围不足。
怎么确认配好了
- 检查 FastGPT 后台日志,确认
OPENGAUSS_URL连接成功且无报错信息。 - 在 FastGPT 界面进行一次简单的问答测试,观察模型是否能正确引用知识库中的内容,并检查引用的段落是否与检索到的内容一致。
- 通过 FastGPT 的调试界面,查看每次检索的
top_k召回条数和每条内容的 token 长度,计算总 token 数是否在模型的引用上限之内。 - 在 openGauss 数据库中,通过查询统计信息,确认向量索引(HNSW)的
ef_construction和ef_search参数是否按预期生效。