基于ChatGLM3的本地问答机器人部署流程

基于ChatGLM3的本地问答机器人部署流程

前言

部署完成后视频演示

复制代码
https://www.bilibili.com/video/BV1fV3XePEi4/?spm_id_from=333.1007.top_right_bar_window_dynamic.content.click&vd_source=c5d972a40f6877b991f3c691467df568

参考链接:

复制代码
https://github.com/THUDM/ChatGLM3
https://github.com/chatchat-space/Langchain-Chatchat
#微调
https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md
https://zhipu-ai.feishu.cn/wiki/QiLtwks1YioOSEkCxFIcAEWNnzb
https://github.com/chatchat-space/Langchain-Chatchat/wiki/

#基于ChatGLM3的本地测井问答机器人设计文档

复制代码
https://download.csdn.net/download/qq_51985653/89406695

一、确定文件结构

1.新建文件夹储存本地模型

2.下载源码和模型

#若下载较慢也可复制链接手动下载到本地

c 复制代码
git clone https://huggingface.co/THUDM/chatglm2-6b-32k
git clone https://huggingface.co/moka-ai/m3e-base
git clone https://github.com/chatchat-space/Langchain-Chatchat.git

下载完成后的文件结构

二、Anaconda环境搭建

1.创建anaconda环境

打开anaconda终端,创建并激活环境

复制代码
conda create -n log-chat python=3.10
conda activate log-chat

2.安装相关库

cd 复制代码
conda install spacy
pip install cchardet 
pip install accelerate
pip install --upgrade pip
pip install -r requirements.txt

3.设置本地模型路径

来到llm-chat模型的configs文件夹下,修改model_config.py的内容

将LLM_MODELS设置为本地下载的模型文件

复制代码
LLM_MODELS = ["chatglm2-6b-32k"]

在MODEL_PATH 中将m3e-base设置为本地路径

将llm_model中的chatglm2-6b-32k设置为本地模型路径,若本地有其他模型文件则同理

4.启动

在anaconda终端中进行启动

复制代码
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat
python startup.py --all-webui

三、构建本地知识库

1.下载并安装postgresql

2.安装c++库

3.配置向量插件

在Developer Command Prompt for Vs 2022终端进入源码目录下并执行call命令

复制代码
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat
call "E:\Softwares\Microsoft Visual tudio\2022\Community\VC\Auxiliary\Build\vcvars64.bat"
复制代码
set "PGROOT=E:\Softwares\PostgreSQL\16"
git clone -branch v0.4.4 https://github.com/pgvector/pgvector.git
cd pgvector
nmake /F Makefile.win
nmake /F Makefile.win install

#打开pgAdmin4,创建数据库并安装向量插件

四、线上运行

服务器租赁:https://www.autodl.com/

复制代码
#autodl部署启动命令
cd /root/Langchain-Chatchat/
conda activate /root/pyenv
python startup.py -a

#服务器连接本地参考命令
ssh -CNg -L  8501:127.0.0.1:8501 featurize@workspace.featurize.cn -p 56656

ssh -CNg -L 6006:127.0.0.1:6006 root@123.125.240.150 -p 42151

#其中root@123.125.240.150和42151分别是实例中SSH指令的访问地址与端口,
#请找到自己实例的ssh指令做相应替换。
#6006:127.0.0.1:6006是指代理实例内6006端口到本地的6006端口。

添加本地文件到知识库

五、 全部命令

复制代码
#完成建立放置本地模型文件夹后在Anaconda终端执行下述命令
#其中相关路径要修改为自己对应的本地路径

#下载模型
git clone https://huggingface.co/THUDM/chatglm2-6b-32k
git clone https://huggingface.co/moka-ai/m3e-base
git clone https://github.com/chatchat-space/Langchain-Chatchat.git


#创建并激活conda环境
conda create -n log-chat python=3.10
conda activate log-chat

#在模型对应路径下安装相关库
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat
conda install spacy
pip install cchardet 
pip install accelerate
pip install --upgrade pip
pip install -r requirements.txt


cd configs 
cp ./model_config.py.example  ./model_config.py
 cp ./server_config.py.example  ./server_config.py
 cp ./basic_config.py.example  ./basic_config.py
 cp ./kb_config.py.example  ./kb_config.py
cp ./prompt_config.py.example  ./prompt_config.py
#修改llm-chat配置文件使其使用本地模型
#修改model_config.py文件内容


#anaconda中启动
conda activate log-chat
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat
python startup.py --all-webui



#下载postgresql
#https://www.enterprisedb.com/downloads/postgres-postgresql-downloads
#下载visualstudio 安装c++环境
#https://visualstudio.microsoft.com/zh-hans/downloads
#在Developer Command Prompt for Vs 2022终端进入源码目录下
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat

#执行call命令
call "E:\Softwares\Microsoft Visual Studio\2022\Community\VC\Auxiliary\Build\vcvars64.bat"

#执行下述命令
set "PGROOT=E:\Softwares\PostgreSQL\16"
git clone -branch v0.4.4 https://github.com/pgvector/pgvector.git
cd pgvector
nmake /F Makefile.win
nmake /F Makefile.win install

#打开pgAdmin4,创建数据库并安装向量插件
CREATE DATABASE TEST;
CREATE EXTENSION IF NOT EXISTS vector;

#打开anaconda终端
conda activate log-chat
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat\configs
python -m spacy download en_core_web_sm
python -m spacy download zh_core_web_sm
pip install psycopg2
pip install pgvetor
cd  D:\DeeplearningWorkplace\GPT\models\llm-chat\
python init_database.py --recreate-vs

#启动
python startup.py -a
#之后在网页端上传知识库文件即可
相关推荐
人肉推土机10 小时前
Planning Agent:基于大模型的动态规划与ReAct机制,实现复杂问题自适应执行求解
大模型·动态规划·react·planning agent
DogDaoDao12 小时前
GitHub开源轻量级语音模型 Vui:重塑边缘智能语音交互的未来
大模型·github·音视频·交互·vui·语音模型·智能语音
我是李武涯13 小时前
GPTQ与Unsloth量化区别
大模型
一 铭2 天前
数据库询问RAG框架Vanna的总体架构
人工智能·语言模型·大模型·llm
dundunmm2 天前
【论文阅读】A Survey on Knowledge-Oriented Retrieval-Augmented Generation(4)
论文阅读·大模型·llm·rag·检索增强生成·评估标准
若兰幽竹2 天前
【基于开源大模型(如deepseek)开发应用及其发展趋势的一点思考】
大模型
DogDaoDao2 天前
2025年 GitHub 主流开源视频生成模型介绍
人工智能·深度学习·开源·大模型·github·音视频·视频生成
大千AI助手2 天前
OpenAI GPT-4o技术详解:全能多模态模型的架构革新与生态影响
人工智能·深度学习·机器学习·自然语言处理·大模型·openai·gpt-4o
tuan_zhang3 天前
MCP协议在工业大模型与自主智能体架构中的集成方案
大模型·mcp·工业智能体
ATM0063 天前
人机协作系列(四)AI编程的下一个范式革命——看Factory AI如何重构软件工程?
人工智能·大模型·agent·人机协作·人机协同