模型指南官方文档4 分钟阅读模型组合页

Claude 1000K 上下文 这一档模型配 PostgreSQL(pgvector) 的配置口径

这一档模型拥有 1000000 token 的上下文长度,决定了单次交互中可处理的输入和输出总量。模型单次最大输出能力未明确标注,实际应用中需要根据具体任务进行测试。引用上限为 200000 token,这是对引用内容总量的预算,它限制了被引用文本的总 token 数。段落条数由检索系统返回的数量决

这一档模型的参数意味着什么

这一档模型拥有 1000000 token 的上下文长度,决定了单次交互中可处理的输入和输出总量。模型单次最大输出能力未明确标注,实际应用中需要根据具体任务进行测试。引用上限为 200000 token,这是对引用内容总量的预算,它限制了被引用文本的总 token 数。段落条数由检索系统返回的数量决定,引用上限与段落条数是两个独立的概念。图片输入能力允许模型处理视觉信息,工具调用能力则支持模型与外部系统进行交互,执行特定任务。

配 PostgreSQL(pgvector) 要定哪些

配置项建议取法这样取的依据
PG_URLpostgresql://user:password@host:port/database数据库连接凭证,确保 FastGPT 能正确连接数据库。
ef_construction100–200构建 HNSW 索引时邻居搜索参数,影响索引质量和构建速度。
ef_search40–80搜索 HNSW 索引时邻居搜索参数,影响召回质量和查询速度。
m = 3232HNSW 索引中每个节点的最大连接数,影响索引大小和查询性能。
vector_ip_opstrue启用内积操作符,优化向量相似度计算。

这两者互相约束的地方

向量库检索返回的段落条数与每段内容的长度之积,需要控制在模型 1000000 token 的上下文长度预算内。引用上限 200000 token 是对引用内容总 token 数的限制,向量库返回的是按条数计的段落,引用上限首先触顶还是条数首先触顶,取决于每段内容的平均长度。当 PostgreSQL(pgvector) 的 ef_construction 和 ef_search 参数调大时,索引构建和搜索的精度会提高,这可能意味着更准确的召回结果,从而为模型提供更相关的上下文信息,但同时也会增加索引构建和查询的时间开销。

容易做错的三处

  • 日志显示 PG_URL 连接失败:原因在于数据库地址、用户名、密码或端口配置有误。
  • 向量检索结果召回条数远低于预期:原因可能是 ef_search 参数设置过低,导致搜索范围不足。
  • 模型回答中引用的内容与检索结果不符:原因可能是引用内容总 token 数超过了 200000 的引用上限,模型进行了截断或选择性引用。

怎么确认配好了

  • 检查 FastGPT 后台的数据库连接状态,确认 PG_URL 配置无误且连接成功。
  • 执行一次向量检索,观察返回的段落条数和内容,与预期结果进行比对,必要时调整 ef_search。
  • 使用一个长文本作为输入,观察模型回答中引用内容的完整性,确认引用内容的总 token 数未超过 200000,且引用的相关性符合预期。

参考资料