在FastGPT中完成ChatGLM2-6B私有化模型的完整接入配置
FastGPT支持自定义接入私有化大模型,避免数据上传至云端的安全风险。本文以ChatGLM2-6B为例,该模型是开源中英双语对话模型,权重对学术研究完全开放,获得官方书面许可后可商用。根据官方数据,不同量化等级的资源占用不…
面向开发与部署人员,按任务搜索 4244 篇技术内容,覆盖部署升级、知识库、工作流、集成与 API。
共 4244 篇
FastGPT支持自定义接入私有化大模型,避免数据上传至云端的安全风险。本文以ChatGLM2-6B为例,该模型是开源中英双语对话模型,权重对学术研究完全开放,获得官方书面许可后可商用。根据官方数据,不同量化等级的资源占用不…
FastGPT 默认使用 OpenAI 的 LLM 模型和向量模型,如需进行私有化部署,可使用 ChatGLM2-6B 与 m3e-large 模型。本文的接入方案由用户@不做了睡大觉 提供,所用镜像已集成两款模型,可直接投…
【接入背景】 FastGPT默认使用OpenAI的大语言模型与向量模型,若需进行私有化部署,可使用ChatGLM2-6B与M3E-large模型。本文提供由社区用户贡献的接入方法,所用Docker镜像直接集成了这两个模型,无…
FastGPT 数据集采用分离式存储设计,文件数据与业务数据分别存储在不同数据库中。其中,原始文件会存储在 MongoDB 的 FS 模块中,而具体的业务数据则存储在 PostgreSQL 数据库内。PostgreSQL 中…
使用Docker Compose部署FastGPT需具备基础网络、Docker与Docker Compose基础知识。其部署架构包含三类核心组件:MongoDB存储非向量类数据,PgVector、Milvus等组件存储向量数…
FastGPT Docker Compose部署包含核心组件:MongoDB用于存储非向量类数据,PgVector/Milvus/Oceanbase/SeekDB用于存储向量数据,AIProxy用于聚合各类AI API并支持…
本操作指南针对Docker Compose部署的FastGPT场景,用于完成内置PG和Mongo数据库的备份与迁移,属于官方推荐的无脑迁移方案,仅适用于使用本地挂载卷存储数据库的部署配置,不适用于外接独立数据库的部署方案…
当你需要对Docker部署的FastGPT进行数据库备份或跨环境迁移时,可通过本文档的方法完成操作。FastGPT的Docker部署中,PostgreSQL和MongoDB数据库均通过volume挂载本地目录的方式存储数据…
本文介绍使用mongodump模式完成FastGPT的Docker环境MongoDB数据库迁移的方法,适用于将现有部署的FastGPT数据迁移至新的Docker环境。需提前确认源环境、目标环境的MongoDB版本兼容,且提前…
开发FastGPT需提前安装以下依赖:Git、Docker、Node.js=20(建议使用nvm管理版本)、pnpm 10.x,推荐在 nix环境(Linux、MacOS、Windows WSL)进行开发。 Fork并克隆仓…
本文档用于指导完成FastGPT的本地开发调试,搭建开发环境前需提前安装配置Git、Docker、Node.js=20(建议通过nvm管理版本)、pnpm 10.x,推荐在Linux、MacOS或Windows WSL等 n…
FastGPT 默认使用 OpenAI 官方的 embedding 向量模型,若需进行私有部署,可替换为 M3E 向量模型。M3E 属于轻量小模型,资源占用较低,支持 CPU 环境运行,本教程基于社区提供的镜像完成接入配置…