模型指南官方文档4 分钟阅读模型组合页

StepFun 32K 上下文 这一档模型配 OceanBase 的配置口径

`step-1-32k` 模型具备 32000 个 token 的上下文长度,决定了单次请求中可输入的用户提问、历史对话和召回知识的总量上限。虽然单次最大输出未明确标注,但通常会受限于上下文长度与模型设计。32000 的引用上限指明了知识库召回段落数的天花板,这直接影响了知识库的丰富程度。该模型不支

这一档模型的参数意味着什么

step-1-32k 模型具备 32000 个 token 的上下文长度,决定了单次请求中可输入的用户提问、历史对话和召回知识的总量上限。虽然单次最大输出未明确标注,但通常会受限于上下文长度与模型设计。32000 的引用上限指明了知识库召回段落数的天花板,这直接影响了知识库的丰富程度。该模型不支持图片输入和工具调用,意味着基于多模态输入或复杂外部工具链的 Agent 场景需要切换其他模型档位。这些参数共同构成了在 FastGPT 平台上构建应用时的工程约束。

配 OceanBase 要定哪些

配置项建议取法这样取的依据
OCEANBASE_URLob://user:password@host:port/database连接 OceanBase 实例,确保数据库可访问
ef_construction64HNSW 索引构建参数,平衡索引质量与构建速度
m16HNSW 索引参数,控制每个节点的最大连接数,影响召回精度
FASTGPT_KNOWLEDGE_CHUNK_SIZE500–800 字符FastGPT 知识分块大小,适应模型上下文长度
FASTGPT_VECTOR_SEARCH_TOP_K10–20 条FastGPT 向量搜索召回条数,兼顾模型引用上限
FASTGPT_KNOWLEDGE_MIN_SCORE0.75知识召回的最低相似度分数,避免低质量召回

这两者互相约束的地方

step-1-32k 模型的 32000 token 上下文长度是核心约束。知识库召回条数与每段知识的长度之积,必须远小于此上限,以预留空间给用户提问和模型生成。如果召回条数过多或单段过长,可能导致输入截断或模型性能下降。模型的 32000 引用上限与向量库返回条数 FASTGPT_VECTOR_SEARCH_TOP_K 共同作用,实际生效的是两者中的较小值。这意味着即使 OceanBase 返回了大量结果,模型也只会处理其引用上限内的条目。OceanBase 的索引参数 ef_construction 和 m 调大后,向量召回精度会提升,但同时会增加索引构建时间与查询延迟,这对于需要快速响应的对话场景需要权衡。SEEKDB 作为 OceanBase 兼容的向量库,配置口径与上述保持一致。

容易做错的三处

  • 日志中出现 Token limit exceeded 错误:召回知识与用户输入总长度超过模型上下文。
  • 知识库问答结果为空或不相关:FASTGPT_KNOWLEDGE_MIN_SCORE 设置过高导致有效召回被过滤。
  • 向量搜索响应时间过长:OceanBase 的 ef_construction 或 m 参数设置过大,或索引未优化。

怎么确认配好了

  • 在 FastGPT 知识库管理界面,上传文档后,检查分块预览是否符合预期。
  • 通过 FastGPT 的「测试」功能,输入测试问题,观察召回的知识条数与相关性。
  • 在 OceanBase 监控界面,查看向量查询的平均延迟,确保在可接受范围内。
  • 在 FastGPT 的对话界面,持续进行多轮对话,观察模型是否能持续引用知识并保持逻辑连贯。

参考资料