DB-GPT系列(三):底层大模型设置(开源模型、在线模型)

前面两篇文章分别对 DB-GPT 的总体情况进行了介绍,同时涵盖了镜像一键部署与源码部署这两种部署方式。

DB-GPT系列(一):DB-GPT能帮你做什么?

DB-GPT系列(二):DB-GPT部署(镜像一键部署、源码部署)

当DB-GPT 搭建完成后,怎么修改使用自己需要的大模型?本文将聚焦于DB-GPT底层大模型的修改,包括修改使用开源模型与在线模型。

一、使用在线大模型

1、修改.env文件

该文件在DB-GPT/主目录下

.env文件中修改LLM_MODEL在线大模型名称、PROXY_API_URL在线大模型的API调用地址、API_KEY在线大模型的API_KEY

OpenAI设置

复制代码
LLM_MODEL=chatgpt_proxyllm
PROXY_API_KEY={your-openai-sk}
PROXY_SERVER_URL=https://api.openai.com/v1/chat/completions
# 如果使用gpt-4
# PROXYLLM_BACKEND=gpt-4

通义千问设置

复制代码
LLM_MODEL=tongyi_proxyllm
TONGYI_PROXY_API_KEY={your-tongyi-sk}
PROXY_SERVER_URL={your_service_url}

智谱清言设置

复制代码
LLM_MODEL=zhipu_proxyllm
PROXY_SERVER_URL={your_service_url}
ZHIPU_MODEL_VERSION={version}
ZHIPU_PROXY_API_KEY={your-zhipu-sk}

文心设置

复制代码
LLM_MODEL=wenxin_proxyllm
PROXY_SERVER_URL={your_service_url}
WEN_XIN_MODEL_VERSION={version}
WEN_XIN_API_KEY={your-wenxin-sk}
WEN_XIN_API_SECRET={your-wenxin-sct}

Gemini设置

复制代码
LLM_MODEL=gemini_proxyllm
GEMINI_PROXY_API_KEY={your_api_key}

2、在线大模型的API配置信息获取(以智谱清言为例)

(1)在线大模型的API调用地址查找

在智谱清言的的AI开放平台中,可以找到接口文档,并在接口文档中找到GLM-4的请求URL地址。

网址:智谱AI开放平台

(2)在线大模型的API_KEY获取

在智谱清言的的AI开放平台中进行注册登录

网址:智谱AI开放平台

在个人中心添加新的API key或者复制已有的API key

最后的配置如下

复制代码
LLM_MODEL=zhipu_proxyllm
PROXY_SERVER_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
ZHIPU_MODEL_VERSION=glm-4
ZHIPU_PROXY_API_KEY=YOUR_API_KEY

3、重新启动DB-GPT

最后,重新启动DB-GPT

复制代码
# 进入DB-GPT主目录
cd /DB-GPT
# 启动DB-GPT
python dbgpt/app/dbgpt_server.py

检查DB-GPT是不是有修改后的大模型

二、使用开源大模型

1、下载开源大模型

步骤:安装git-lfs-->创建模型存放目录-->在目录中开源大模型

首先确保安装了git-lfs,避免下载大文件时候出现超时的情况。

git-lfs安装命令:

复制代码
● CentOS安装:  yum install git-lfs
● Ubuntu安装:  apt-get install git-lfs
● MacOS安装:  brew install git-lfs

创建模型存放目录,并在目录中开源大模型

复制代码
# 进入DB-GPT主目录
cd DB-GPT

# 创建models文件夹并进入
mkdir models
cd models

# 下载开源大模型,下面是下载Qwen2.5-14B模型
git clone https://www.modelscope.cn/Qwen/Qwen2.5-14B-Instruct.git
# 其他开源大模型
# 百川
# git clone https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat
# chatglm2
# git clone https://huggingface.co/THUDM/chatglm2-6b

具体各类开源大模型对应的硬件需求,后续会专门写一篇文章说明。

2、修改配置文件

步骤:修改.env 文件 -->修改model_config.py 文件

.env 文件则定义了DB-GPT项目运行方式

model_config.py 文件定义了模型名称和模型路径的映射关系

(1)修改.env文件,该文件在DB-GPT/主目录下

复制代码
LLM_MODEL=Qwen2.5-14B-Instruct

(2)修改model_config.py 文件,该文件在DB-GPT/dbgpt/configs/目录下

打开model_config.py文件,找到LLM_MODEL_CONFIG如下图所示。

LLM_MODEL_CONFIG是一个字典,其中Key是模型名称,value是模型文件名称

搜索下载大模型,有没有相应配置,例如前面下载的Qwen2.5-14B-Instruct,以及对应的模型文件是不是一致。如无配置,则需要手动添加。

3、重新启动DB-GPT

最后,重新启动DB-GPT

复制代码
# 进入DB-GPT主目录
cd /DB-GPT
# 启动DB-GPT
python dbgpt/app/dbgpt_server.py

检查DB-GPT是不是有修改后的大模型

相关推荐
麻雀无能为力2 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心2 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield3 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域4 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技4 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_14 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
计算机毕设定制辅导-无忧学长4 小时前
西门子 PLC 与 Modbus 集成:S7-1500 RTU/TCP 配置指南(一)
服务器·数据库·tcp/ip
程序员柳5 小时前
基于微信小程序的校园二手交易平台、微信小程序校园二手商城源代码+数据库+使用说明,layui+微信小程序+Spring Boot
数据库·微信小程序·layui
梦在深巷、5 小时前
MySQL/MariaDB数据库主从复制之基于二进制日志的方式
linux·数据库·mysql·mariadb
书玮嘎5 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习