创建单独的python环境
conda create -n python311 python=3.11.7
conda activate python311
拉取仓库
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
如果下载不了，本地运行代理 v2ray -config config.json
#git设置代理
git config --global http.proxy 127.0.0.1:1090
#取消代理
git config --global --unset http.proxy
进入目录
cd Langchain-Chatchat
安装全部依赖
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
为了支持离线下载
pip install -U huggingface_hub
编辑环境变量
vim ~/.bashrc
在末尾加上
export HF_ENDPOINT=https://hf-mirror.com
使环境变量生效
source ~/.bashrc
下载模型
huggingface-cli download --resume-download THUDM/chatglm3-6b --local-dir chatglm3-6b
huggingface-cli download --resume-download BAAI/bge-large-zh --local-dir bge-large-zh
快速复制配置文件
python copy_config_example.py
修改配置文件
vim configs/model_config.py
修改model目录
MODEL_ROOT_PATH = ""
改为
MODEL_ROOT_PATH = "/root/model"
修改模型，对embedding_model_dict和llm_model_dict参数进行修改。
embedding_model_dict = {
"ernie-tiny": "nghuyong/ernie-3.0-nano-zh",
"ernie-base": "nghuyong/ernie-3.0-base-zh",
"text2vec": "/your_path/text2vec"
}
llm_model_dict = {
"chatyuan": "ClueAI/ChatYuan-large-v2",
"chatglm-6b-int4-qe": "THUDM/chatglm-6b-int4-qe",
"chatglm-6b-int4": "THUDM/chatglm-6b-int4",
"chatglm-6b-int8": "THUDM/chatglm-6b-int8",
"chatglm-6b": "/your_path/chatglm-6b", }
我的text2vec 路径是 /root/model/bge-large-zh
我的chatglm-6b 路径是 /root/model/chatglm3-6b
初始化自己的知识库
python init_database.py --recreate-vs
轻量级启动，使用在线模型和emddings,这个有webui界面操作
python startup.py -a --lite
更加轻量启动，只启动api相关
python startup.py --all-api
参考链接：
1.离线下载huggingface模型
https://blog.csdn.net/weixin_43431218/article/details/135403324
2.基于 ChatGLM-6B 搭建个人专属知识库
https://developer.aliyun.com/article/1212941?spm=a2c6h.12873639.article-detail.7.5b5b1ca7PgM0ht
3.项目文档