这一档模型的参数意味着什么
AntLing 128K 上下文这一档模型，包含 Ling-1T 和 Ling-flash-2.0。128000 的上下文长度，意味着模型单次请求能够处理的输入信息量较大，为 RAG 应用提供了充足的知识召回空间。引用上限 120000，表明模型可以有效利用大量引用内容。工具调用 true 使得模型能够与外部工具集成，扩展其功能边界。图片输入 false 则明确了该档模型不具备直接处理图像信息的能力。这些参数共同构成了模型在工程实践中的能力边界和资源需求。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | 依照 openGauss 连接协议标准格式，确保 FastGPT 服务能正确连接数据库实例。 |
ef_construction | 64 | 影响 HNSW 索引构建时的图连接数，越大召回质量越高，但索引构建时间更长。 |
ef_search | 32 | 影响 HNSW 索引查询时的搜索路径长度，越大召回质量越高，但查询耗时更长。 |
m | 32 | HNSW 索引中每层节点的最大连接数，影响索引结构和查询性能。 |
| 召回条数 | 8-12 条 | 基于模型引用上限与单段长度，确保召回内容在上下文预算内且信息密度适中。 |
| 单段长度 | 800-1200 字符 | 考虑 openGauss 向量字段存储效率和模型对单段信息的处理能力。 |
这两者互相约束的地方
模型上下文长度与 openGauss 召回内容的数量和长度紧密相关。召回条数乘以每段长度的总和，必须严格控制在 128000 的上下文预算之内，否则模型可能因输入过长而截断或报错。模型的引用上限 120000 限制了可以被模型有效利用的知识段落总量，这与 openGauss 返回的召回条数之间存在约束关系：实际引用不会超过二者中的较小值。当 openGauss 的索引参数 ef_construction 和 ef_search 调大时，向量召回的精度和覆盖率可能提升，意味着模型可以获得更相关、更全面的信息。这有助于模型在复杂的问答场景下生成更准确的回答，但也可能增加 openGauss 的查询耗时，需要权衡。
容易做错的三处
- 日志中出现
ERROR: value too long for type character varying(...)：向量库存储的文本段落长度超过了字段定义的最大长度。 - 模型返回的回答内容明显不完整或被截断：召回内容总长度超出模型上下文预算，或单次最大输出限制较小。
- 查询耗时过长，导致接口频繁超时：openGauss 的
ef_search或召回条数设置过大，导致向量检索负担过重。
怎么确认配好了
- 对 FastGPT 进行多次问询，观察模型输出的引用来源数量，确保其在预期范围内。
- 通过 openGauss 数据库的监控工具，检查向量检索的平均查询时间，并与基线性能进行比较。
- 在 FastGPT 的调试界面，查看每次请求的实际输入上下文长度，确认未超出模型限制。
- 模拟极端查询场景，观察 openGauss 数据库的资源使用情况，确保在高并发下系统稳定。