返回
私有化部署FAQ

私有化部署一定要买 GPU 吗?

不一定,取决于模型放在哪里。如果生成与向量化都调用外部模型 API,或者调用企业内已有的模型服务,那么部署本身不需要 GPU,普通服务器即可。只有当需要在同一套环境里做本地推理时才需要 GPU,具体规格由模型参数量、使用人数与可接受响应时间共同决定,应在 POC 环境实测后反推,而不是先买卡再适配。常见的折中做法是按数据敏感度分级:敏感数据走本地模型,普通问答走外部 API,同一套应用可以按节点分别指定模型,不必为少数场景把全部推理搬到本地。

01

核心解答

答案

不一定,取决于模型放在哪里。如果生成与向量化都调用外部模型 API,或者调用企业内已有的模型服务,那么部署本身不需要 GPU,普通服务器即可。只有当需要在同一套环境里做本地推理时才需要 GPU,具体规格由模型参数量、使用人数与可接受响应时间共同决定,应在 POC 环境实测后反推,而不是先买卡再适配。常见的折中做法是按数据敏感度分级:敏感数据走本地模型,普通问答走外部 API,同一套应用可以按节点分别指定模型,不必为少数场景把全部推理搬到本地。

相关关键词

本地推理硬件规格私有化部署模型分级
FAQ

相关问题

返回