Langchain-Chatchat本地搭建ChatGLM3模型和提取PDF内容

文章目录

1、软件要求

Linux Ubuntu 22.04.5 kernel version 6.7
最低要求

该要求仅针对标准模式,轻量模式使用在线模型,不需要安装torch等库,也不需要显卡即可运行。

  • Python 版本: >= 3.8(很不稳定), < 3.12
  • CUDA 版本: >= 12.1
    推荐要求
    开发者在以下环境下进行代码调试,在该环境下能够避免最多环境问题。
  • Python 版本 == 3.11.7
  • CUDA 版本: == 12.1

本文是基于Ubuntu 22.04.1 LTS (GNU/Linux 5.15.133.1-microsoft-standard-WSL2 x86_64)测试

2、安装CUDA

2.1、安装gcc

输入gcc -version检查是否安装了gcc

bash 复制代码
~$ gcc --version
Command 'gcc' not found, but can be installed with:
sudo apt install gcc

2.2、安装CUDA

输入nvidia-smi查看支持CUDA的版本 ,支持的最高版本是12.3

当前pytorch最高支持12.1,在官网https://developer.nvidia.com/cuda-toolkit-archive下载12.1.1版本


输入命令下载安装

bash 复制代码
wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda_12.1.1_530.30.02_linux.run
sudo sh cuda_12.1.1_530.30.02_linux.run

配置环境变量,输入vi ~/.bashrc命令打开文件

bash 复制代码
export PATH=/usr/local/cuda-12.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH

刷新环境变量source ~/.bashrc

3、安装Anaconda3

3.1、下载Anaconda3

官网下载:https://www.anaconda.com/download/

清华镜像:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

当前最新版本:https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh

下载完成,输入下边命令安装

bash 复制代码
sh Anaconda3-2023.09-0-Linux-x86_64.sh

3.2、创建python虚拟环境

bash 复制代码
conda create -n python311 python=3.11

# 激活环境
conda activate python311
# 如果activate不存在,改用source激活环境
# source activate python311
# 退出环境
conda deactivate python311 

4、部署系统

4.1、下载源码

浏览器下载:Langchain-Chatchat-0.2.10.zip :https://github.com/chatchat-space/Langchain-Chatchat/releases

也可以通过git拉取最新仓库

bash 复制代码
# git拉取最新仓库
git clone https://github.com/chatchat-space/Langchain-Chatchat.git 

4.2、安装依赖

bash 复制代码
# 进入目录
$ cd Langchain-Chatchat

# 安装全部依赖
# 使用国内源下载依赖更快:https://mirrors.aliyun.com/pypi/simple/,https://pypi.tuna.tsinghua.edu.cn/simple/
# 全部依赖
$ pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
# api运行依赖
$ pip install -r requirements_api.txt -i https://mirrors.aliyun.com/pypi/simple/
# webui运行依赖
$ pip install -r requirements_webui.txt -i https://mirrors.aliyun.com/pypi/simple/
# 默认依赖包括基本运行环境(FAISS向量库)。如果要使用 milvus/pg_vector 等向量库,请将 requirements.txt 中相应依赖取消注释再安装。

4.3、下载模型

bash 复制代码
$ git lfs install
# 下载LLM模型,国内从魔塔下载更快
$ git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
# git clone https://huggingface.co/THUDM/chatglm3-6b

# 下载Embedding 模型,国内从魔塔下载更快
$ git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh.git
# git clone https://huggingface.co/BAAI/bge-large-zh

4.4、初始化配置和知识库

4.4.1、初始化配置
bash 复制代码
# 初始化Langchain-Chatchat-0.2.10\configs目录内的配置文件
$ python copy_config_example.py
  • 基础配置项 basic_config.py
    该配置基负责记录日志的格式和储存路径,通常不需要修改。
  • 模型配置项 model_config.py
bash 复制代码
EMBEDDING_MODEL = "bge-large-zh"  # 修改为bge-large-zh
# Embedding 模型运行设备。设为 "auto" 会自动检测(会有警告),也可手动设定为 "cuda","mps","cpu","xpu" 其中
EMBEDDING_DEVICE = "cuda"

# 要运行的 LLM 名称,可以包括本地模型和在线模型。列表中本地模型将在启动项目时全部加载。
# 列表中第一个模型将作为 API 和 WEBUI 的默认模型。
# 在这里,我们使用目前主流的两个离线模型,其中,chatglm3-6b 为默认加载模型。
LLM_MODELS = ["chatglm3-6b", "zhipu-api", "openai-api"]
# LLM 模型运行设备。设为"auto"会自动检测(会有警告),也可手动设定为 "cuda","mps","cpu","xpu" 其中之一。
LLM_DEVICE = "cuda" # 修改为cpu
MODEL_PATH = {
    "embed_model": {
        ......
        "bge-large-zh": "/mnt/d/project/python/model/BAAI/bge-large-zh", # 修改为物理路径
        ......
    },

    "llm_model": {
        ......
        "chatglm3-6b": "/mnt/d/project/python/model/THUDM/chatglm3-6b", # 修改为物理路径
        ......
    },
  • 提示词配置项 prompt_config.py
    提示词配置分为三个板块,分别对应三种聊天类型。
bash 复制代码
llm_chat: 基础的对话提示词, 通常来说,直接是用户输入的内容,没有系统提示词。
knowledge_base_chat: 与知识库对话的提示词,在模板中,我们为开发者设计了一个系统提示词,开发者可以自行更改。
agent_chat: 与Agent对话的提示词,同样,我们为开发者设计了一个系统提示词,开发者可以自行更改。
# prompt模板使用Jinja2语法,简单点就是用双大括号代替f-string的单大括号 请注意,本配置文件支持热加载,修改prompt模板后无需重启服务。
  • 数据库配置 kb_config.py

  • 服务和端口配置项 server_config.py

    这些模型必须是在model_config.MODEL_PATH或ONLINE_MODEL中正确配置的。

    在启动startup.py时,可用通过--model-name xxxx yyyy指定模型,不指定则为LLM_MODELS

    FSCHAT_MODEL_WORKERS = {
    ......
    "chatglm3-6b": {
    "device": "cuda", # 配置为cuda
    },
    ......
    }

4.4.2、初始化知识库
bash 复制代码
## 默认依赖包括基本运行环境(FAISS向量库),初始化自己的知识库
$ python init_database.py --recreate-vs

#如果您已经有创建过知识库,可以先执行以下命令创建或更新数据库表:
# python init_database.py --create-tables

4.5、运行

bash 复制代码
# 一键启动脚本 startup.py, 一键启动所有 Fastchat 服务、API 服务、WebUI 服务,示例代码:
$ python startup.py -a

并可使用 Ctrl + C 直接关闭所有运行服务。

可选参数包括 -a (或--all-webui), --all-api, --llm-api, -c (或--controller), --openai-api, -m (或--model-worker), --api, --webui,其中:

  • --all-webui 为一键启动 WebUI 所有依赖服务;

  • --all-api 为一键启动 API 所有依赖服务;

  • --llm-api 为一键启动 Fastchat 所有依赖的 LLM 服务;

  • --openai-api 为仅启动 FastChat 的 controller 和 openai-api-server 服务;

  • 其他为单独服务启动选项。
    若想指定非默认模型,需要用 --model-name 选项,示例:

    $ python startup.py --all-webui --model-name Qwen-7B-Chat

更多信息可通过 python startup.py -h 查看。

4.6、运行

本文运行例子:上传一个PDF文档到知识库,并通过问答的方式提取PDF内容。

4.6.1、启动
4.6.2、启动创建知识库和上传pdf


4.6.3、问答提取内容

问答方式提取内容,除了第一个社会信用代码不准确外,其它问题都能返回准确答案

安装部署参考自

相关推荐
Java小王子呀3 小时前
java使用itext生成pdf
java·pdf
讲文明的喜羊羊拒绝pua5 小时前
AIGC学习笔记(6)——AI大模型开发工程师
langchain·aigc·大模型架构体系·openai大模型·翻译助手·ai编程应用技术架构
像污秽一样5 小时前
根据气候变化自动制定鲜花存储策略(BabyAGI)
人工智能·chatgpt·langchain
萧鼎6 小时前
轻松解析 PDF 文档:深入了解 Python 的 pdfplumber 库
服务器·python·pdf
初学者↑12 小时前
在线pdf转word免费工具
pdf
galaxycraft18 小时前
CodiMD导出pdf失败或无中文
pdf·中文字体·codimd
凌虚(失业了求个工作)1 天前
RAG 示例:使用 langchain、Redis、llama.cpp 构建一个 kubernetes 知识库问答
人工智能·redis·python·langchain·llama
情勤坊1 天前
JAVA实现将PDF转换成word文档
java·pdf·word
DN金猿1 天前
Vue移动端网页(H5)预览pdf文件(pdfh5和vue-pdf)(很详细)
前端·vue.js·pdf