DB GPT本地安装部署

源码下载

git clone https://github.com/eosphoros-ai/DB-GPT.git

Miniconda环境安装

Miniconda 安装

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh

初始化Miniconda

~/miniconda3/bin/conda init bash

使conda环境生效:

source ~/.bashrc

之后就有conda基础环境了,会看到在终端用户名前面添加了(base)标志

创建Python虚拟环境

python >= 3.10

conda create -n dbgpt_env python=3.10

conda activate dbgpt_env #之后conda环境就变成(dbgpt_env) tom@ubuntu:/home/apps$ 

# it will take some minutes

pip install -e ".[default]" -i https://mirrors.aliyun.com/pypi/simple/

复制环境变量

cp .env.template  .env

模型部署

下载Embedding 模型

cd DB-GPT

mkdir models and cd models

git lfs install

git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese

下载模型比较慢,使用huggingface的镜像站

git clone https://hf-mirror.com/GanymedeNil/text2vec-large-chinese

model.safetensor 和 pytorch_model.bin 文件较大可以手动下载放到text2vec-large-chinese文件目录里

配置代理

资源有限,此处采用代理模式安装,代理模式就是采用其他大模型厂商提供的API接口

此处采用智谱的glm-4模型

LLM_MODEL=zhipu_proxyllmi
PROXYLLM_BACKEND=glm-4
EMBEDDING_MODEL=text2vec
PROXY_SERVER_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
ZHIPU_PROXY_API_KEY=

测试数据

加载默认的测试数据到SQLite数据库中

bash ./scripts/examples/load_examples.sh

运行服务

python dbgpt/app/dbgpt_server.py

访问

http://localhost:5670

相关推荐
凳子花❀29 分钟前
强化学习与深度学习以及相关芯片之间的区别
人工智能·深度学习·神经网络·ai·强化学习
米开朗基杨12 小时前
Sealos Devbox 基础教程:使用 Cursor 从零开发一个代码猜古诗小游戏
ai·cursor·sealos·devbox
GitCode官方12 小时前
GitCode 光引计划投稿|JavaVision:引领全能视觉智能识别新纪元
人工智能·ai·gitcode
HUIBUR科技14 小时前
人工智能与云计算的结合:如何释放数据的无限潜力?
人工智能·ai·云计算
杨浦老苏14 小时前
开源PDF翻译工具PDFMathTranslate
人工智能·docker·ai·pdf·群晖·翻译
落魄实习生1 天前
AI应用-本地模型实现AI生成PPT(简易版)
python·ai·vue·ppt
ibrahim1 天前
Llama 3.2 900亿参数视觉多模态大模型本地部署及案例展示
ai·大模型·llama·提示词
探索云原生1 天前
在 K8S 中创建 Pod 是如何使用到 GPU 的: nvidia device plugin 源码分析
ai·云原生·kubernetes·go·gpu
SimonLiu0092 天前
[AI]30分钟用cursor开发一个chrome插件
chrome·ai·ai编程
伯牙碎琴2 天前
智能体实战(需求分析助手)二、需求分析助手第一版实现(支持需求提取、整理、痛点分析、需求分类、优先级分析、需求文档生成等功能)
ai·大模型·agent·需求分析·智能体