DB GPT本地安装部署

源码下载

git clone https://github.com/eosphoros-ai/DB-GPT.git

Miniconda环境安装

Miniconda 安装

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh

初始化Miniconda

~/miniconda3/bin/conda init bash

使conda环境生效:

source ~/.bashrc

之后就有conda基础环境了,会看到在终端用户名前面添加了(base)标志

创建Python虚拟环境

python >= 3.10

conda create -n dbgpt_env python=3.10

conda activate dbgpt_env #之后conda环境就变成(dbgpt_env) tom@ubuntu:/home/apps$ 

# it will take some minutes

pip install -e ".[default]" -i https://mirrors.aliyun.com/pypi/simple/

复制环境变量

cp .env.template  .env

模型部署

下载Embedding 模型

cd DB-GPT

mkdir models and cd models

git lfs install

git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese

下载模型比较慢,使用huggingface的镜像站

git clone https://hf-mirror.com/GanymedeNil/text2vec-large-chinese

model.safetensor 和 pytorch_model.bin 文件较大可以手动下载放到text2vec-large-chinese文件目录里

配置代理

资源有限,此处采用代理模式安装,代理模式就是采用其他大模型厂商提供的API接口

此处采用智谱的glm-4模型

LLM_MODEL=zhipu_proxyllmi
PROXYLLM_BACKEND=glm-4
EMBEDDING_MODEL=text2vec
PROXY_SERVER_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
ZHIPU_PROXY_API_KEY=

测试数据

加载默认的测试数据到SQLite数据库中

bash ./scripts/examples/load_examples.sh

运行服务

python dbgpt/app/dbgpt_server.py

访问

http://localhost:5670

相关推荐
老艾的AI世界9 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
飞起来fly呀19 小时前
AI驱动电商新未来:提升销售效率与用户体验的创新实践
人工智能·ai
Jing_jing_X21 小时前
心情追忆-首页“毒“鸡汤AI自动化
java·前端·后端·ai·产品经理·流量运营
刘悦的技术博客1 天前
MagicQuill,AI动态图像元素修改,AI绘图,需要40G的本地硬盘空间,12G显存可玩,Win11本地部署
ai·aigc·python3.11
探索云原生2 天前
大模型推理指南:使用 vLLM 实现高效推理
ai·云原生·kubernetes·gpu·vllm
Elastic 中国社区官方博客2 天前
Elasticsearch:如何部署文本嵌入模型并将其用于语义搜索
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索
guanpinkeji2 天前
AI数字人视频小程序:引领未来互动新潮流
人工智能·ai·小程序·软件开发·小程序开发·ai数字人小程序
Elastic 中国社区官方博客3 天前
使用 Elasticsearch 构建食谱搜索(二)
大数据·人工智能·python·elasticsearch·搜索引擎·ai
良少3 天前
使用合适的Prompt充分利用ChatGPT的能力
人工智能·ai·chatgpt·prompt
AliCloudROS3 天前
使用SaaS化的Aurora应用快速搭建私人ChatGPT助手
阿里云·ai·chatgpt·saas应用