这一档模型的参数意味着什么
AntLing 128K 上下文模型档位，其上下文长度 128000 决定了单次请求中可供模型参考的总文本量上限，这直接影响了知识库召回内容的最大承载能力。引用上限 120000 意味着在处理知识库查询时，模型能引用的段落文本量。工具调用 true 表示此档模型支持通过外部工具扩展其能力，可处理复杂任务。图片输入 false 则表明模型不具备直接处理图像信息的能力。这些参数共同构成了模型在工程应用中的能力边界与资源消耗预期。
配 OceanBase 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OCEANBASE_URL | ob://user:pass@host:port/db?ssl=true | 连接 OceanBase 实例，确保账户权限与网络连通性。 |
ef_construction | 64 | 影响 HNSW 索引构建质量与查询速度的权衡，此值提供较好平衡。 |
m=16 | 16 | HNSW 索引中每层邻居数量，影响搜索精度与内存占用。 |
| 召回条数上限 | 5 | 结合模型引用上限与单条召回内容长度，避免超出模型处理能力。 |
| 单条召回内容长度 | 800–1200 字符 | 确保召回内容具有足够信息量，同时避免过长导致模型处理效率下降。 |
index_type | HNSW | OceanBase 向量索引类型，提供高效的近似最近邻搜索。 |
这两者互相约束的地方
在 AntLing 128K 上下文模型与 OceanBase 向量库的组合中，模型上下文长度与引用上限是关键约束。OceanBase 向量库召回的条数乘以每条内容的平均长度，不能超过模型 128000 的上下文长度预算。同时，模型 120000 的引用上限也限制了实际能被模型引用的知识片段总量。当 OceanBase 向量库的召回条数设定高于模型引用上限时，模型会以其引用上限为准。OceanBase 索引参数如 ef_construction 和 m 调大，会提升召回精度，但也可能增加索引构建时间与存储空间。高精度召回对于此档模型而言，意味着能获得更相关的信息，从而可能产出更准确的回答，但若召回内容总长度超出模型上下文，则多余部分会被截断。
容易做错的三处
- 日志显示“上下文长度超出限制”，原因可能是知识库召回条数过多或单条内容过长，导致总输入文本量超过 128000。
- 模型回复中未提及某个关键信息，但知识库中实际存在，原因可能是 OceanBase 召回的条数未达到模型引用上限，或
ef_construction、m参数设置过低导致召回精度不足。 - 请求响应时间过长，甚至超时，原因可能是 OceanBase 向量检索耗时过高，例如
ef_construction设置过大或索引未优化。
怎么确认配好了
- 执行一次包含知识库检索的对话请求，并检查模型的回复是否准确引用了知识库内容。
- 在 FastGPT 界面或日志中查看每次请求的实际上下文长度，确认其未超出 128000 限制。
- 通过 FastGPT 的调试接口，检查 OceanBase 返回的原始召回内容和条数，与预期配置进行比对。
- 监控 OceanBase 实例的查询延迟，确保在可接受的性能范围内。