DB-GPT系列(二):DB-GPT部署(镜像一键部署、源码部署)

一、简介

DB-GPT 是一个开源项目,其将大语言模型 LLM 与数据库紧密结合。该项目主要致力于探索如何让预训练的大规模语言模型(例如 GPT)能够直接与数据库进行交互,从而生成更为准确且信息丰富的回答。

DB-GPT部署后能否直接使用以下六大应用场景:

  • Chat Excel(Excel对话):可以围绕某个Excel数据文件进行快速分析,允许用户上传数据文件并直接对其进行分析;
  • Chat Dashboard(仪表盘对话):可以围绕某个数据库,针对某个问题进行多维度分析与可视化展示;
  • Chat Data(数据对话):可以连接本地各种不同类型关系型数据库,并围绕数据库中的某个库进行跨表问答;
  • Chat DB(数据库对话):通过对话,进行问询式SQL代码创建;(但是不运行)
  • Chat Normal(原生对话):与原生大模型进行对话
  • Chat Knowledge(知识库对话):借助RAG实现私有知识库问答,用户可以自定义传输企业业务说明文档、专家文档或数据字典等信息,并围绕相关问题进行问答,从而辅助用户快速了解企业业务,或辅助进行业务决策等;

除此之外,还能进行promopt管理、知识库应用、自定义智能体应用、Text2SQL微调 等高阶应用**。**

DB-GPT有多种部署方式,包括镜像一键部署、源码部署、Docker部署、小程序云部署等,可以适应于不同场景应用需求。下面介绍镜像一键部署、源码部署两种最方便的部署方式。

二、AutoDL镜像一键部署

1、登录AutoDL,选择DB-GPT镜像创建服务器实例

进入AutoDL官网AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL,进行注册登录,和充值

进入网址CodeWithGPU | 能复现才是好算法,codewithgpu.com是AutoDL公司对应的镜像仓库网站,放心使用。选择镜像版本,目前支持的DB-GPT最新版本是v0.5.10,点击AutoDL创建实例

然后自动跳转到AutoDL购买算力的页面,选择一个"RTX 4090"的型号即可满足DB-GPT的算力使用需求,选择好后点击立即创建

创建完成后如下图所示

2、登录服务器实例主机

复制登录指令和密码。例如我复制出来的登录指令复制出来是

ssh -p 45084 root@connect.nmb1.seetacloud.com

ssh登录的地址是connect.nmb1.seetacloud.com

用户名是root

端口是45084

找一个远程服务器连接工具,例如xshell、finalshell、MobaXterm都可以,输入对应的ssh地址、用户名、端口、密码即可登录主机。

下面是MobaXterm连接界面的图示。

登录主机后如下所示

3、启动DB-GPT服务

输入conda activate dbgpt命令,切换dbgpt运行环境

conda create -n dbgpt_env python=3.10
conda activate dbgpt_env

# 安装依赖的包,需要等待几分钟
pip install -e ".[default]"

输入 cd /root/DB-GPT/命令,进入DB-GPT目录

输入bash ./scripts/examples/load_examples.sh创建一些示例数据

输入dbgpt start webserver --port 6006启动DB-GPT服务,启动完后如下图所示。保留该界面不要关闭。如果关系DB-GPT服务也会终止。

4、本地浏览器访问DB-GPT

在AutoDL的容器示例内,选择对应实例的自定义服务,下载桌面工具。

该工具的作用是将远程服务器运行的服务映射到本地。

下载解压后直接运行AutoDL.exe文件

输入之前复制的SSH指令、SSH密码,然后点击开始代理

点击下面出现的地址进行跳转访问

现在就可以使用DB-GPT了

三、阿里云ECS源码部署(CPU版)

前面AutoDL部署的DB-GPT部署,最新仅支持v0.5.10

下面通过源码部署,可以支持最新版本的DB-GPT

1、开通阿里云ECS服务器

进入阿里云官网阿里云-计算,为了无法计算的价值

在顶部栏目中找到"产品-计算-云服务器ECS"

碰上阿里云有云服务器ECS的免费试用活动,个人有3个月300元的免费额度。

因为我们本次部署是使用在线大模型,所以不需要依赖GPU环境。

CPU的话建议4C以上,内存的话建议8G以上,这个配置部署DB-GPT运行起来比较流畅。

其他选项的话,除了镜像选择Ubuntu以外,其他按默认选择即可。

2、连接ECS服务器

进入ECS控制台,可以在右上角点击"控制台",或者在搜索框里面输入ECS搜索进入。

进入对应的ECS服务器实例界面,在操作中点击"远程连接"即可

3、下载DB-GPT源码

输入以下命令安装git和下载DB-GPT源码

# 安装git
sudo apt update
sudo apt install git


git clone https://github.com/eosphoros-ai/DB-GPT.git
# 进入DB-GPT目录
cd /DB-GPT

4、Miniconda环境安装

输入以下命令安装Miniconda环境

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh

更详细的可以参见Miniconda安装教程:https://docs.anaconda.com/miniconda/

5、创建Python虚拟环境

conda create -n dbgpt_env python=3.10
conda activate dbgpt_env

# 安装依赖的包,需要等待几分钟
pip install -e ".[default]"

6、修改DB-GPT配置文件

配置模板文件.env.template为配置正式文件.env

cp .env.template .env

添加大模型API的接口参数,下面以智谱清言为例:

LLM_MODEL=zhipu_proxyllm
PROXY_SERVER_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
ZHIPU_MODEL_VERSION=glm-4
ZHIPU_PROXY_API_KEY=YOUR_API_KEY

7、安装在线大模型对应的python包

安装对应在线大模型的python包

#通义千问
pip install dashscope
# 智谱
pip install zhipuai

8、ECS服务器增加安全组访问规则

9、运行DB-GPT服务

python dbgpt/app/dbgpt_server.py

10、打开浏览器访问

本地浏览器打开网址http://ECS服务器公网网址:5670,访问DB-GPT网页应用

相关推荐
黄公子学安全1 小时前
Java的基础概念(一)
java·开发语言·python
新加坡内哥谈技术2 小时前
苏黎世联邦理工学院与加州大学伯克利分校推出MaxInfoRL:平衡内在与外在探索的全新强化学习框架
大数据·人工智能·语言模型
程序员一诺2 小时前
【Python使用】嘿马python高级进阶全体系教程第10篇:静态Web服务器-返回固定页面数据,1. 开发自己的静态Web服务器【附代码文档】
后端·python
小木_.2 小时前
【Python 图片下载器】一款专门为爬虫制作的图片下载器,多线程下载,速度快,支持续传/图片缩放/图片压缩/图片转换
爬虫·python·学习·分享·批量下载·图片下载器
lovelin+v175030409662 小时前
安全性升级:API接口在零信任架构下的安全防护策略
大数据·数据库·人工智能·爬虫·数据分析
Jiude2 小时前
算法题题解记录——双变量问题的 “枚举右,维护左”
python·算法·面试
唐小旭2 小时前
python3.6搭建pytorch环境
人工智能·pytorch·python
道一云黑板报3 小时前
Flink集群批作业实践:七析BI批作业执行
大数据·分布式·数据分析·flink·kubernetes
洛阳泰山3 小时前
MaxKB基于大语言模型和 RAG的开源知识库问答系统的快速部署教程
人工智能·语言模型·开源·rag·maxkb
是十一月末3 小时前
Opencv之对图片的处理和运算
人工智能·python·opencv·计算机视觉