这一档模型的参数意味着什么
StepFun 的 256K 上下文模型，如 step-3.5-flash-2603 和 step-3.5-flash，其 256000 的上下文长度决定了单次请求中模型可以处理的输入文本总量，包括用户查询、历史对话、以及从知识库召回的文档片段。引用上限 240000 意味着在知识库检索增强生成（RAG）场景下，可用于引用的文档内容总长度限制。工具调用能力 true 表示模型能够与外部工具进行交互，支持复杂任务流程。图片输入 false 则明确了模型不具备直接处理图像信息的能力。这些参数共同构成了在 FastGPT 平台上构建应用时的工程约束与设计边界。
配 Milvus 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
MILVUS_ADDRESS | milvus-service:19530 或 localhost:19530 | 指向 Milvus 服务端点，确保 FastGPT 能正确连接。 |
MILVUS_TOKEN | 参照 Milvus 部署的安全凭证 | 用于认证和授权，保障数据安全。 |
HNSW | {"M": 16, "efConstruction": 200} | HNSW 索引参数，平衡搜索性能与索引构建时间，M 越大邻居越多，efConstruction 越大召回率越高。 |
IP | L2 或 COSINE | 向量相似度计算方式，L2 适用于欧氏距离，COSINE 适用于余弦相似度，需与 embedding 模型输出特性匹配。 |
| 召回条数 | 10-20 | 在上下文预算内，提供足够的检索信息，同时避免冗余。 |
| 单段最大长度 | 800-1200 字符 | 确保每段内容完整且不占用过多上下文，提高信息密度。 |
这两者互相约束的地方
StepFun 256K 上下文模型与 Milvus 的组合存在紧密约束。召回条数与每段长度的乘积必须小于模型的上下文长度 256000，否则会导致模型输入截断或过长报错。引用上限 240000 进一步限制了模型实际能引用的知识内容总量，即使 Milvus 返回了大量相关向量，模型也只能处理其中一部分。在 FastGPT 中，向量库的召回条数会先生效，然后系统会根据模型引用上限进行截断。Milvus 索引参数如 HNSW 的 efConstruction 值调大，虽然能提升向量搜索的召回率，意味着模型可以获取到更全面的潜在相关信息，但同时也可能增加 Milvus 的查询延迟，进而影响 FastGPT 整体响应时间。
容易做错的三处
- 日志中出现
Milvus connection failed: [Errno 111] Connection refused：原因在于MILVUS_ADDRESS配置错误或 Milvus 服务未启动。 - 模型回答中引用信息为空或不相关：现象是即使知识库有相关内容，模型也未提及，这可能是 Milvus
IP(相似度度量) 与 embedding 模型不匹配导致召回不准。 - FastGPT 界面提示
上下文长度超出限制：原因在于召回条数与单段最大长度之和超出了 StepFun 256K 模型的 256000 上下文长度限制。
怎么确认配好了
- 在 FastGPT 管理后台，配置 Milvus 连接后，执行一次知识库同步，确认日志中没有出现连接或认证错误信息。
- 使用 FastGPT 的知识库测试功能，输入一个明确的查询，观察返回的文档片段是否与预期相关，并检查返回的条数是否符合配置。
- 通过 FastGPT 的 RAG 调试界面，查看模型实际接收到的输入上下文长度，确保其在 256000 限制之内，并且引用内容没有被不合理地截断。
- 在 Milvus 客户端或监控工具中，执行几次查询，观察
HNSW索引的查询延迟，确保在可接受的范围内。