这一档模型的参数意味着什么
StepFun 32K 上下文模型(step-1o-vision-32k、step-1v-32k)提供了 32000 token 的上下文窗口,这决定了单次模型调用能够处理的输入信息总量。引用上限同样为 32000 token,这意味着知识库召回内容在输入模型时,其总长度不应超过此限制。支持图片输入 true 开启了多模态处理能力,允许模型理解并处理图像信息。工具调用 false 则表明此档模型不具备直接调用外部工具的能力,需要通过外部 Agent 框架进行编排。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | 连接 openGauss 实例的必要信息,确保数据库可访问。 |
ef_construction | 64 | 影响 HNSW 索引的构建质量,数值越大,索引质量越高,搜索精度越好,但构建时间增加。 |
ef_search | 32 | 影响 HNSW 索引的搜索精度,数值越大,召回率越高,但搜索时间增加。 |
m | 32 | HNSW 索引的邻居数量,影响索引结构和查询效率,较大值能提高召回率但增加存储开销。 |
| 召回条数 | 8–12 条 | 结合模型引用上限和单条文档长度,控制总输入 token 量。 |
| 单条文档长度 | 200–400 字 | 兼顾信息密度与模型处理效率,避免过长或过短。 |
这两者互相约束的地方
StepFun 32K 上下文模型与 openGauss 向量库的配合,核心在于如何平衡召回内容的数量与质量,使其符合模型的处理能力。召回条数与每段文档长度的乘积必须严格控制在 32000 token 的上下文预算之内,超出则会触发截断或报错。引用上限 32000 token 是模型侧的硬性约束,而 openGauss 返回的向量条数则由 ef_search 和应用逻辑决定,两者取小者实际生效。当 openGauss 的索引参数 ef_construction 和 m 调大时,通常会提高向量搜索的精度和召回率,这意味着模型能获得更相关的信息,但同时也会增加索引构建和查询的资源消耗,需要权衡。
容易做错的三处
- 日志显示
Input token limit exceeded:原因可能是召回条数过多或单条文档过长,导致总输入 token 超过 32000。 - 搜索结果相关性不足:
ef_search参数配置过低,未能充分探索 HNSW 索引,导致召回的向量不够准确。 - 数据库连接超时:
OPENGAUSS_URL配置有误或网络不畅,无法建立与 openGauss 实例的连接。
怎么确认配好了
- 通过 FastGPT 界面发送测试请求,观察模型返回的引用内容是否准确且数量适中。
- 检查 openGauss 数据库日志,确认向量搜索查询的执行时间与资源消耗是否在预期范围内。
- 调整
ef_search参数,对比不同取值下模型回答的相关性,找到合适的平衡点。