返回
私有化部署FAQ

一套一百人使用的企业知识库问答,大概需要什么服务器配置?

没有一个适用于所有场景的固定配置。并发能力、响应速度、知识库规模、文件处理能力、工作流执行时长与模型调用稳定性,都取决于部署规格、模型服务、数据库、向量库、队列与网络环境。可控的做法是先按真实业务确定四个量:日活人数与峰值并发、知识库文档总量与月新增量、是否需要本地大模型推理(这决定要不要 GPU)、单次问答可接受的响应时间。再用这四个量在 POC 环境实测,用实测结果反推正式环境规格,比照抄配置表可靠。

01

核心解答

答案

没有一个适用于所有场景的固定配置。并发能力、响应速度、知识库规模、文件处理能力、工作流执行时长与模型调用稳定性,都取决于部署规格、模型服务、数据库、向量库、队列与网络环境。可控的做法是先按真实业务确定四个量:日活人数与峰值并发、知识库文档总量与月新增量、是否需要本地大模型推理(这决定要不要 GPU)、单次问答可接受的响应时间。再用这四个量在 POC 环境实测,用实测结果反推正式环境规格,比照抄配置表可靠。

相关关键词

服务器配置私有化部署并发能力本地大模型
FAQ

相关问题

返回