这一档模型的参数意味着什么
此档模型具备 1050000 的上下文长度，允许在单次交互中处理海量信息。引用上限为 1000000 token，这部分预算专用于RAG（检索增强生成）场景中引入的外部知识内容。引用上限限定了外部知识的总预算，确保模型能高效利用检索到的信息。模型支持图片输入，可处理多模态数据，理解视觉信息。同时，集成的工具调用能力使得模型能够与外部系统互动，执行特定任务，扩展了其应用边界。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | 数据库连接字符串，确保可达性 |
ef_construction | 128 | 影响索引构建质量和查询速度的平衡 |
ef_search | 64 | 影响查询召回率和速度的平衡 |
m | 32 | HNSW 图的邻居数量，影响索引质量和存储开销 |
vector_dimension | 1536 | 配合 OpenAI embedding 模型输出维度 |
chunk_size | 512 | 文本切片长度，平衡召回精度与上下文预算 |
这两者互相约束的地方
模型 1050000 的上下文长度为整个对话提供了宽裕的空间。引用上限 1000000 token 专门用于RAG场景，这部分预算决定了可以向模型传入多少外部知识。向量库返回的是条数，每条内容的长度会影响引用总 token 量。当每条内容较短时，可以返回更多条；当每条内容较长时，即使返回条数不多，也可能迅速触及引用上限。
openGauss 的 ef_construction 和 ef_search 参数会影响向量检索的效率和质量。调大 ef_construction 可以构建更优的索引图，从而在相同的 ef_search 下获得更高的召回率。对于此档模型，提高 ef_search 有助于在海量数据中更准确地召回相关内容，为模型提供更优质的输入，提升生成内容的准确性。同时，m = 32 确保了 HNSW 图的连接度，平衡了索引的查询性能与存储开销。
容易做错的三处
- 日志显示
Error: Quote token limit exceeded，原因是单次检索返回的文本总长度超出了模型的引用上限。 - 界面上模型回复内容明显不相关或缺失关键信息，原因是
ef_search配置过低导致向量检索召回率不足。 - 数据库查询超时或响应缓慢，原因是
ef_construction配置不当，导致索引构建质量差，或m值设置不合理。
怎么确认配好了
- 运行一系列包含复杂知识点的问题，检查模型回复是否准确引用了数据库中的相关内容，并通过 FastGPT 调试工具查看引用 token 消耗。
- 通过 FastGPT 的 RAG 调试界面，调整
ef_search参数，观察召回条数和相关性评分的变化，直到达到预期效果。 - 在 openGauss 数据库中，使用
EXPLAIN ANALYZE命令分析向量查询语句的执行计划和耗时，确保查询效率符合业务要求。 - 在 FastGPT 知识库管理页面，上传大量文档并进行分段，检查分段后的
chunk_size是否符合预期，并观察索引构建速度。