这一档模型的参数意味着什么
此档模型具备 1,000,000 的上下文长度，意味着单次输入可以容纳大量文本，为知识召回和复杂指令处理提供了宽裕空间。未标注的单次最大输出表明模型输出长度可能由模型自身动态决定，或需要通过提示词进行引导。900,000 的引用上限对知识库召回条目总字符数设定了高标准，远超一般模型的承载能力。工具调用功能允许模型与外部系统交互，扩展了其处理复杂任务的能力边界。不支持图片输入则明确了其输入模态仅限于文本，不具备多模态理解能力。
配 Milvus 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
MILVUS_ADDRESS | milvus-service:19530 | 指向 Milvus 集群的服务地址和端口，确保 FastGPT 可以正确连接。 |
MILVUS_TOKEN | 按实测标定 | Milvus 访问凭证，确保 FastGPT 在认证模式下能安全访问。 |
HNSW | M=16, efConstruction=128 | HNSW 索引参数，平衡查询性能与索引构建时间，适用于百万级向量检索。 |
IP | L2 | 相似度度量方式，IP（内积）或 L2（欧氏距离）取决于向量生成方式与业务场景。 |
recall_num | 32 | FastGPT 向 Milvus 发送的召回条数请求上限，防止一次性加载过多不相关数据。 |
query_vector_dimension | 1536 | 嵌入模型输出的向量维度，必须与 Milvus 集合创建时的维度一致。 |
这两者互相约束的地方
ChatGLM 1000K 上下文模型的高上下文长度，为 Milvus 召回内容提供了巨大的承载空间。这意味着在配置知识库召回时，可以设置更多的召回条数与更长的单段文本长度，以确保模型获得足够的信息进行高质量推理。然而，最终输入模型的总字符数（召回条数 × 每段长度）仍需控制在 1,000,000 上下文长度之内。引用上限 900,000 决定了模型实际能引用的知识条目总字符数，这与 Milvus 返回的召回条数上限共同生效，取两者中较小者。Milvus 的索引参数如 HNSW 中的 efConstruction 调大，可以提高召回精度，但这会略微增加查询延迟。对于上下文容纳能力强的 ChatGLM 模型，略微增加的查询时间可以接受，因为它能换取更精准的召回，从而更好地利用模型的长文本处理能力。
容易做错的三处
- 日志显示
Milvus connection failed: invalid_address，原因是MILVUS_ADDRESS配置错误，指向了无法访问的服务端点。 - 模型返回的引用信息为空，排查发现 FastGPT 的
recall_num设置过低，或者 Milvus 索引未正确构建导致召回结果为空。 - 模型输出内容出现截断或逻辑不完整，可能是因为召回内容总长度超过了 ChatGLM 1000K 上下文的实际可用长度，导致部分重要信息被截断。
怎么确认配好了
- 通过 FastGPT 管理界面，查看知识库连接状态是否显示为“已连接”，并尝试进行一次知识库查询，检查返回的召回条目是否符合预期。
- 在 FastGPT 的日志中，检查是否存在 Milvus 相关的错误或警告信息，特别是关于连接、认证或查询失败的提示。
- 使用 FastGPT 的调试模式，观察模型实际接收到的上下文内容，确认 Milvus 召回的文本片段及其总长度是否在 ChatGLM 1000K 上下文的允许范围内，并与引用上限 900,000 对比。
- 执行一系列带有复杂知识库查询的测试用例，评估模型的回答质量和引用准确性，这能间接验证 Milvus 的召回精度和与模型的配合度。