模型指南官方文档4 分钟阅读模型组合页

Hunyuan 32K 上下文 这一档模型配 PostgreSQL(pgvector) 的配置口径

Hunyuan 这一档模型,其上下文长度为 32000 token,意味着单次输入给模型的文本总量(包括用户查询、历史对话、召回内容等)不应超过此限制。引用上限 20000 token 规定了知识库召回内容在模型输入中所占的最大比例。单次最大输出未标注,通常表示模型会根据输入和内部逻辑生成合理长度的

这一档模型的参数意味着什么

Hunyuan 这一档模型,其上下文长度为 32000 token,意味着单次输入给模型的文本总量(包括用户查询、历史对话、召回内容等)不应超过此限制。引用上限 20000 token 规定了知识库召回内容在模型输入中所占的最大比例。单次最大输出未标注,通常表示模型会根据输入和内部逻辑生成合理长度的回复。图片输入和工具调用功能为 false,表明此模型不原生支持多模态输入和外部工具集成,相关功能需在外部实现。

配 PostgreSQL(pgvector) 要定哪些

配置项建议取法这样取的依据
PG_URLpostgresql://user:password@host:port/database建立与 PostgreSQL 数据库的连接,包含所有必要凭证。
m32HNSW 索引的邻居数,影响索引结构紧密程度和搜索精度。
ef_construction100–250HNSW 索引构建时的搜索范围,数值越大,索引质量越高但构建时间越长。
ef_search80–200HNSW 搜索时的搜索范围,数值越大,召回精度越高但查询延迟增加。
vector_ip_opstrue启用向量内积操作,适用于此模型通常使用的向量相似度计算。
召回条数10–20 条经验值,平衡召回质量与上下文长度,避免不必要的 token 消耗。

这两者互相约束的地方

模型上下文长度与向量库召回内容紧密相关。Hunyuan 这一档模型 32000 token 的上下文预算,要求召回条数乘以每段平均长度的总和,加上用户查询和历史对话内容,不能超出此上限。20000 token 的引用上限,则进一步限制了知识库召回部分的最大贡献。这意味着即使向量库返回了大量相关段落,最终送入模型的引用内容也受此约束。向量库的 ef_construction 和 ef_search 参数调大,虽然能提升召回精度,但可能增加查询延迟,进而影响整个 RAG 流程的响应速度,需权衡系统整体性能。

容易做错的三处

  • 模型返回报错 context_length_exceeded:这是因为送入模型的总 token 数超出了 32000 的上下文长度限制。
  • 知识库召回结果与预期不符:ef_search 参数设置过低,导致 HNSW 索引在查询时搜索范围不足,未能找到足够相关的向量。
  • 向量搜索查询超时:ef_construction 或 m 参数设置过高,导致索引构建过于耗时,或者索引文件过大,影响查询效率。

怎么确认配好了

  • 通过 FastGPT 后台日志,观察每次对话中模型实际消耗的 token 数量,确保其在 32000 上下文长度和 20000 引用上限内。
  • 在 PostgreSQL 数据库中,通过 EXPLAIN ANALYZE 命令分析 pgvector 索引查询的执行计划和耗时,评估查询性能是否满足要求。
  • 使用 FastGPT 的知识库调试功能,手动输入测试问题,检查召回的知识段落是否准确且数量合理,与 ef_search 和召回条数的配置相符。

参考资料