这一档模型的参数意味着什么
step-1-32k 模型具备 32000 个 token 的上下文长度,决定了单次请求中可输入的用户提问、历史对话和召回知识的总量上限。虽然单次最大输出未明确标注,但通常会受限于上下文长度与模型设计。32000 的引用上限指明了知识库召回段落数的天花板,这直接影响了知识库的丰富程度。该模型不支持图片输入和工具调用,意味着基于多模态输入或复杂外部工具链的 Agent 场景需要切换其他模型档位。这些参数共同构成了在 FastGPT 平台上构建应用时的工程约束。
配 OceanBase 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OCEANBASE_URL | ob://user:password@host:port/database | 连接 OceanBase 实例,确保数据库可访问 |
ef_construction | 64 | HNSW 索引构建参数,平衡索引质量与构建速度 |
m | 16 | HNSW 索引参数,控制每个节点的最大连接数,影响召回精度 |
FASTGPT_KNOWLEDGE_CHUNK_SIZE | 500–800 字符 | FastGPT 知识分块大小,适应模型上下文长度 |
FASTGPT_VECTOR_SEARCH_TOP_K | 10–20 条 | FastGPT 向量搜索召回条数,兼顾模型引用上限 |
FASTGPT_KNOWLEDGE_MIN_SCORE | 0.75 | 知识召回的最低相似度分数,避免低质量召回 |
这两者互相约束的地方
step-1-32k 模型的 32000 token 上下文长度是核心约束。知识库召回条数与每段知识的长度之积,必须远小于此上限,以预留空间给用户提问和模型生成。如果召回条数过多或单段过长,可能导致输入截断或模型性能下降。模型的 32000 引用上限与向量库返回条数 FASTGPT_VECTOR_SEARCH_TOP_K 共同作用,实际生效的是两者中的较小值。这意味着即使 OceanBase 返回了大量结果,模型也只会处理其引用上限内的条目。OceanBase 的索引参数 ef_construction 和 m 调大后,向量召回精度会提升,但同时会增加索引构建时间与查询延迟,这对于需要快速响应的对话场景需要权衡。SEEKDB 作为 OceanBase 兼容的向量库,配置口径与上述保持一致。
容易做错的三处
- 日志中出现
Token limit exceeded错误:召回知识与用户输入总长度超过模型上下文。 - 知识库问答结果为空或不相关:
FASTGPT_KNOWLEDGE_MIN_SCORE设置过高导致有效召回被过滤。 - 向量搜索响应时间过长:OceanBase 的
ef_construction或m参数设置过大,或索引未优化。
怎么确认配好了
- 在 FastGPT 知识库管理界面,上传文档后,检查分块预览是否符合预期。
- 通过 FastGPT 的「测试」功能,输入测试问题,观察召回的知识条数与相关性。
- 在 OceanBase 监控界面,查看向量查询的平均延迟,确保在可接受范围内。
- 在 FastGPT 的对话界面,持续进行多轮对话,观察模型是否能持续引用知识并保持逻辑连贯。