这一档模型的参数意味着什么
Hunyuan 这一档模型,其上下文长度为 32000 token,意味着单次输入给模型的文本总量(包括用户查询、历史对话、召回内容等)不应超过此限制。引用上限 20000 token 规定了知识库召回内容在模型输入中所占的最大比例。单次最大输出未标注,通常表示模型会根据输入和内部逻辑生成合理长度的回复。图片输入和工具调用功能为 false,表明此模型不原生支持多模态输入和外部工具集成,相关功能需在外部实现。
配 PostgreSQL(pgvector) 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
PG_URL | postgresql://user:password@host:port/database | 建立与 PostgreSQL 数据库的连接,包含所有必要凭证。 |
m | 32 | HNSW 索引的邻居数,影响索引结构紧密程度和搜索精度。 |
ef_construction | 100–250 | HNSW 索引构建时的搜索范围,数值越大,索引质量越高但构建时间越长。 |
ef_search | 80–200 | HNSW 搜索时的搜索范围,数值越大,召回精度越高但查询延迟增加。 |
vector_ip_ops | true | 启用向量内积操作,适用于此模型通常使用的向量相似度计算。 |
| 召回条数 | 10–20 条 | 经验值,平衡召回质量与上下文长度,避免不必要的 token 消耗。 |
这两者互相约束的地方
模型上下文长度与向量库召回内容紧密相关。Hunyuan 这一档模型 32000 token 的上下文预算,要求召回条数乘以每段平均长度的总和,加上用户查询和历史对话内容,不能超出此上限。20000 token 的引用上限,则进一步限制了知识库召回部分的最大贡献。这意味着即使向量库返回了大量相关段落,最终送入模型的引用内容也受此约束。向量库的 ef_construction 和 ef_search 参数调大,虽然能提升召回精度,但可能增加查询延迟,进而影响整个 RAG 流程的响应速度,需权衡系统整体性能。
容易做错的三处
- 模型返回报错
context_length_exceeded:这是因为送入模型的总 token 数超出了 32000 的上下文长度限制。 - 知识库召回结果与预期不符:
ef_search参数设置过低,导致 HNSW 索引在查询时搜索范围不足,未能找到足够相关的向量。 - 向量搜索查询超时:
ef_construction或m参数设置过高,导致索引构建过于耗时,或者索引文件过大,影响查询效率。
怎么确认配好了
- 通过 FastGPT 后台日志,观察每次对话中模型实际消耗的 token 数量,确保其在 32000 上下文长度和 20000 引用上限内。
- 在 PostgreSQL 数据库中,通过
EXPLAIN ANALYZE命令分析pgvector索引查询的执行计划和耗时,评估查询性能是否满足要求。 - 使用 FastGPT 的知识库调试功能,手动输入测试问题,检查召回的知识段落是否准确且数量合理,与
ef_search和召回条数的配置相符。