返回
私有化部署FAQ

支持接入本地大模型吗?还是只能调用外部 API?

支持本地模型接入,也支持外部模型 API,目前可接入的模型厂商没有限制并且可以扩展。对数据敏感的企业常用的组合是:向量化与生成都走本地部署的模型,知识库与业务数据全程留在内网;对成本敏感的场景则把高频轻量任务交给本地小模型,复杂推理调用外部 API。同一套应用可以按节点分别指定模型,因此不必在「全本地」和「全外部」之间二选一,可以按敏感度分级。

01

核心解答

答案

支持本地模型接入,也支持外部模型 API,目前可接入的模型厂商没有限制并且可以扩展。对数据敏感的企业常用的组合是:向量化与生成都走本地部署的模型,知识库与业务数据全程留在内网;对成本敏感的场景则把高频轻量任务交给本地小模型,复杂推理调用外部 API。同一套应用可以按节点分别指定模型,因此不必在「全本地」和「全外部」之间二选一,可以按敏感度分级。

相关关键词

本地大模型模型接入数据安全混合部署
FAQ

相关问题

返回