这一档模型的参数意味着什么
此档模型,如 gpt-5.4-mini 和 gpt-5.2-pro,具备 400000 的上下文长度(maxContext),这意味着模型在单次交互中可以处理极大量的信息输入。引用上限(quoteMaxToken)为 350000,它限制了引用内容合计的 token 预算。段落条数由检索侧的返回条数决定,两者是不同的量。工具调用和图片输入功能的存在,表明这些模型支持处理多模态数据,并能与外部系统进行复杂的交互。
配 OceanBase 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OCEANBASE_URL | jdbc:mysql://host:port/database?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai | 连接 OceanBase 数据库实例,兼容 MySQL 协议。 |
ef_construction | 128-256 | 影响索引构建时的邻居数量,数值越大,索引质量越高,检索精度提升。 |
m=16 | 16 | 邻居列表的最大大小,影响 HNSW 索引的图结构,数值适中可平衡召回与性能。 |
recall_top_k | 3-5 条 | 召回条数直接影响引用内容的丰富度,需结合引用上限调整。 |
chunk_size | 800-1200 字符 | 文本切片长度,影响单段内容的完整性和检索效率。 |
index_type | HNSW | 高效的近似最近邻搜索算法,适用于大规模向量检索。 |
这两者互相约束的地方
模型上下文长度是总输入限制,召回条数乘以每段长度不能超出此预算。引用上限按 token 计,向量库返回的按条数计,谁先触顶取决于每段文本的实际 token 长度。当每段文本较短时,引用上限允许更多条数,而当每段文本较长时,即使条数不多,也可能快速达到引用上限。OceanBase 的索引参数,例如 ef_construction 和 m 值调大,能够提升检索精度,从而为模型提供更相关的上下文信息。更高的检索精度能够帮助模型更好地理解用户意图,生成更准确的回答。
容易做错的三处
- 日志中出现
ERROR: SQLSTATE[08S01]: Communication link failure:OceanBase 连接字符串OCEANBASE_URL配置不正确,或数据库服务不可用。 - 模型输出内容与预期相去甚远,且引用内容缺失:向量库检索返回条数过少,或者
chunk_size设置过大导致单段文本 token 超出模型处理范围。 - 长时间等待后模型才返回结果,或出现
TimeoutError:ef_construction或m值设置过高,导致索引构建或查询时间过长。
怎么确认配好了
- 在 FastGPT 界面查看模型输入上下文的 token 统计,确保引用内容总 token 未超过
quoteMaxToken的限制。 - 执行一系列测试查询,检查向量库返回的
recall_top_k条目是否与预期相关度一致,并评估检索耗时。 - 在 OceanBase 监控平台观察查询 QPS 和延迟,确保在当前负载下性能指标稳定。