Langchain-chatchat本地部署

Langchain-chatchat本地部署

参考官网

环境配置

conda安装

minicoda下载地址

安装时注意勾选上添加环境变量。安装完成之后使用conda --version测试一下版本。

环境创建

先配置一下conda的镜像地址(使用阿里的靠谱一些),这里要修改一下用户目录下的 .condarc 文件:

scala 复制代码
channels:
  - defaults
show_channel_urls: true
default_channels:
  - http://mirrors.aliyun.com/anaconda/pkgs/main
  - http://mirrors.aliyun.com/anaconda/pkgs/r
  - http://mirrors.aliyun.com/anaconda/pkgs/msys2
custom_channels:
  conda-forge: http://mirrors.aliyun.com/anaconda/cloud
  msys2: http://mirrors.aliyun.com/anaconda/cloud
  bioconda: http://mirrors.aliyun.com/anaconda/cloud
  menpo: http://mirrors.aliyun.com/anaconda/cloud
  pytorch: http://mirrors.aliyun.com/anaconda/cloud
  simpleitk: http://mirrors.aliyun.com/anaconda/cloud

创建一个环境:

复制代码
conda create -n langchain-chatchat python=3.10

提示:其他conda命令使用看这里

激活环境

复制代码
conda activate langchain-chatchat

激活之后我们接下来各种操作基本都在这个环境中进行。

项目依赖

复制代码
# 拉取仓库。拉去不了就直接下载解压吧。
git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# 进入目录
cd Langchain-Chatchat

# 安装全部依赖
pip install -r requirements.txt
# 如果有网络问题试一下这种
pip install -r requirements.txt --index-url http://mirrors.aliyun.com/pypi/simple/  --trusted-host mirrors.aliyun.com

# 默认依赖包括基本运行环境(FAISS向量库)。如果要使用 milvus/pg_vector 等向量库,请将 requirements.txt 中相应依赖取消注释再安装。

模型下载

如果下载不了,梯子换一下节点哈,或者需要配置以下代理啥的,实在不行就页面上文件一个个点击下载吧。

复制代码
# 支持大文件下载
git lfs install

git clone https://huggingface.co/THUDM/chatglm2-6b

git clone https://huggingface.co/moka-ai/m3e-base

设置配置项

Langchain-Chatchat目录下配置文件:

configs/model_config.py.example复制一个为configs/model_config.py

configs/server_config.py.example复制一个为configs/server_config.py

设置llm_model_dict为LLM 模型位置;

谁知embedding_model_dict 为Embedding 模型路径;

知识库初始化与迁移

复制代码
python init_database.py --recreate-vs

一键启动

scala 复制代码
python startup.py -a

额,我的内存只有16g,达不到要求。。。看要求最少要32g内存。

相关推荐
小眼睛FPGA9 小时前
【RK3568+PG2L50H开发板实验例程】FPGA部分/紫光同创 IP core 的使用及添加
科技·嵌入式硬件·ai·fpga开发·gpu算力
我爱一条柴ya13 小时前
【AI大模型】深入理解 Transformer 架构:自然语言处理的革命引擎
人工智能·ai·ai作画·ai编程·ai写作
伊布拉西莫14 小时前
LangChain 全面入门
langchain
AI大模型1 天前
LangGraph官方文档笔记(七)——Agent的输入输出
langchain·llm·agent
DeepSeek-大模型系统教程1 天前
深入金融与多模态场景实战:金融文档分块技术与案例汇总
人工智能·ai·语言模型·程序员·大模型·大模型学习·大模型教程
程序员鱼皮1 天前
Cursor 网页版来了,这下拉屎时也能工作了
计算机·ai·程序员·开发·项目·编程经验
我是小哪吒2.01 天前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型
AI大模型2 天前
LangGraph官方文档笔记(6)——时间旅行
程序员·langchain·llm
小眼睛FPGA2 天前
【RK3568+PG2L50H开发板实验例程】Linux部分/FPGA dma_memcpy_demo 读写案例
linux·运维·科技·ai·fpga开发·gpu算力
DeepSeek-大模型系统教程2 天前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习