【LLM】-12-部署Langchain-Chatchat-0.3.x版本

目录

1、0.3与0.2的功能对比

2、0.3.x支持多种部署方式

2.3、源码安装

2.3.1、项目源码下载

2.3.2、创建conda环境

2.3.3、安装poetry

2.3.4、安装依赖库

2.3.5、项目初始化

2.3.6、配置文件

2.3.7、初始化知识库

2.3.7、启动服务

2.3.8、配置说明

2.3.8.1、basic_settings.yaml


从0.3.1开始,模型与项目独立部署,需要借助xinference、oneai、localai等平台独立部署大模型,

Langchain-Chat通过接口API调用

1、0.3与0.2的功能对比

功能 0.2.x 0.3.x
模型接入 本地:fastchat 在线:XXXModelWorker 本地:model_provider,支持大部分主流模型加载框架 在线:oneapi 所有模型接入均兼容openai sdk
Agent ❌不稳定 ✅针对ChatGLM3和QWen进行优化,Agent能力显著提升
LLM对话
知识库对话
搜索引擎对话
文件对话 ✅仅向量检索 ✅统一为File RAG功能,支持BM25+KNN等多种检索方式
数据库对话
多模态图片对话 ✅ 推荐使用 qwen-vl-chat
ARXIV文献对话
Wolfram对话
文生图
本地知识库管理
WEBUI ✅更好的多会话支持,自定义系统提示词...

2、0.3.x支持多种部署方式

Langchain-Chatchat 自 0.3.0 版本起,为方便支持用户使用 pip 方式安装部署,以及为避免环境中依赖包版本冲突等问题, 在源代码/开发部署中不再继续使用 requirements.txt 管理项目依赖库,转为使用 Poetry 进行环境管理。

1)pip 安装:

复制代码
pip install langchain-chatchat -U

2)docker安装

docker pull chatimage/chatchat:0.3.1.3-0f4eb00-20240729

国内镜像

docker pull ccr.ccs.tencentyun.com/langchain-chatchat/chatchat:0.3.1.3-0f4eb00-20240729

2.3、源码安装

2.3.1、项目源码下载

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

2.3.2、创建conda环境

conda create -n chat03x python=3.10

conda activate chat03x

2.3.3、安装poetry

pip install poetry

poetry config virtualenvs.prefer-active-python true

2.3.4、安装依赖库

cd Langchain-Chatchat-03x/libs/chatchat-server

poetry install --with lint,test -E xinference


pip install -e .

Poetry install 后会在你的虚拟环境中 site-packages 路径下生成一个 chatchat-<version>.dist-info 文件夹带有 direct_url.json 文件,这个文件指向你的开发环境

2.3.5、项目初始化

cd libs/chatchat-server

python chatchat/cli.py init

注:配置参数打印查看

from chatchat.settings import Settings

print(Settings.basic_settings) # 基本配置信息,包括数据目录、服务器配置等
print(Settings.kb_settings) # 知识库相关配置项
print(Settings.model_settings) # 模型相关配置项
print(Settings.tool_settings) # 工具相关配置项
print(Settings.prompt_settings) # prompt 模板

2.3.6、配置文件

修改model_settings.yaml 文件

cd libs/chatchat-server

vim model_settings.yaml

# 默认选用的 LLM 名称
DEFAULT_LLM_MODEL: llama3-8b

# 默认选用的 Embedding 名称
DEFAULT_EMBEDDING_MODEL: bge-large-zh-v1.5  #bge-m3


# # 平台类型
# # 可选值:['xinference', 'ollama', 'oneapi', 'fastchat', 'openai', 'custom openai']
platform_type: xinference

# # xinference 平台访问地址 api url
api_base_url: http://127.0.0.1:9997/v1

# # api key if available
api_key: EMPTY

博主已搭建xinference平台, 并启动 名为llama3-8b的模型、以及名为 customer-bge-large-zh的embedding

可以借助平台,在线下载部署

2.3.7、初始化知识库

需要启动语言模型与嵌入模型

cd libs/chatchat-server

# 会清空数据库、删除已有的配置文件,如果有重要数据,请备份。
python chatchat/cli.py kb --recreate-vs

如需使用其它 Embedding 模型,或者重建特定的知识库,请查看 python chatchat/cli.py kb --help 了解更多的参数。

2.3.7、启动服务

需要先确保LLM 模型启动成功,参考【LLM】-13-Xinference的部署、使用-CSDN博客

cd libs/chatchat-server

python chatchat/cli.py start -a

部分启动日志

操作系统:Linux-5.15.0-73-generic-x86_64-with-glibc2.31.

python版本:3.10.14 (main, May 6 2024, 19:42:50) [GCC 11.2.0]

项目版本:0.3.1.3

langchain版本:0.1.17

数据目录:/home/chatchat/Langchain-Chatchat-03x/libs/chatchat-server

当前使用的分词器:ChineseRecursiveTextSplitter

默认选用的 Embedding 名称: customer-bge-large-zh

2.3.8、配置说明

2.3.8.1、basic_settings.yaml
# 服务器基本配置信息
# 除 log_verbose/HTTPX_DEFAULT_TIMEOUT 修改后即时生效
# 其它配置项修改后都需要重启服务器才能生效,服务运行期间请勿修改


# 生成该配置模板的项目代码版本,如这里的值与程序实际版本不一致,建议重建配置文件模板
version: 0.3.1.3

# 是否开启日志详细信息
log_verbose: false

# httpx 请求默认超时时间(秒)。如果加载模型或对话较慢,出现超时错误,可以适当加大该值。
HTTPX_DEFAULT_TIMEOUT: 300.0

# 知识库默认存储路径
KB_ROOT_PATH: /home/chatchat/Langchain-Chatchat-03x/libs/chatchat-server/data/knowledge_base

# 数据库默认存储路径。如果使用sqlite,可以直接修改DB_ROOT_PATH;如果使用其它数据库,请直接修改SQLALCHEMY_DATABASE_URI。
DB_ROOT_PATH: 
  /home/chatchat/Langchain-Chatchat-03x/libs/chatchat-server/data/knowledge_base/info.db

# 知识库信息数据库连接URI
SQLALCHEMY_DATABASE_URI: 
  sqlite:home/chatchat/Langchain-Chatchat-03x/libs/chatchat-server/data/knowledge_base/info.db

# API 是否开启跨域
OPEN_CROSS_DOMAIN: false

# 各服务器默认绑定host。如改为"0.0.0.0"需要修改下方所有XX_SERVER的host
# Windows 下 WEBUI 自动弹出浏览器时,如果地址为 "0.0.0.0" 是无法访问的,需要手动修改地址栏
DEFAULT_BIND_HOST: 0.0.0.0

# API 服务器地址。其中 public_host 用于生成云服务公网访问链接(如知识库文档链接)
API_SERVER:
  host: 0.0.0.0
  port: 7861
  public_host: 127.0.0.1
  public_port: 7861

# WEBUI 服务器地址
WEBUI_SERVER:
  host: 0.0.0.0
  port: 8501

参考文章:

Langchain-chat 0.3.x版本

Langchain-chat-0.3.x docker-compose部署

Langchain-chat API文档

使用 --- Xinference

NLTK下载资源包报错问题处理

相关推荐
bastgia2 天前
Tokenformer: 下一代Transformer架构
人工智能·机器学习·llm
新智元2 天前
李飞飞谢赛宁:多模态 LLM「空间大脑」觉醒,惊现世界模型雏形!
人工智能·llm
RWKV元始智能2 天前
RWKV-7:极先进的大模型架构,长文本能力极强
人工智能·llm
zaim13 天前
计算机的错误计算(一百八十七)
人工智能·ai·大模型·llm·错误·正弦/sin·误差/error
张拭心3 天前
Google 提供的 Android 端上大模型组件:MediaPipe LLM 介绍
android·人工智能·llm
带电的小王3 天前
whisper.cpp: Android端测试 -- Android端手机部署音频大模型
android·智能手机·llm·whisper·音频大模型·whisper.cpp
带电的小王3 天前
whisper.cpp: PC端测试 -- 电脑端部署音频大模型
llm·whisper·音视频·音频大模型
Ambition_LAO3 天前
LLaMA-Factory QuickStart 流程详解
llm·llama
宇梵文书C4 天前
在CFFF云平台使用llama-factory部署及微调Qwen2.5-7B-Instruct
llm·llama·cfff
zaim14 天前
计算机的错误计算(一百八十六)
人工智能·python·ai·大模型·llm·误差·decimal