第十一篇-Tesla P40+Text-Generation-Webui

部署环境

复制代码
系统:CentOS-7
CPU: 14C28T
显卡:Tesla P40 24G
驱动: 515
CUDA: 11.7
cuDNN: 8.9.2.26

介绍

复制代码
简单好用(当然速度不是最快的),
支持多种方式加载模型,transformers, llama.cpp, ExLlama, AutoGPTQ, GPTQ-for-LLaMa, ctransformers
支持多类模型, Llama-2-chat, Alpaca, Vicuna, WizardLM, StableLM等
图形化界面聊天,微调

下载模型

复制代码
https://huggingface.co/lmsys/vicuna-7b-v1.5

一个一个下载,文件下载比较耗时,可以使用浏览器下载,我用的是QQ浏览器,多点多试几次

创建虚拟环境

复制代码
conda create -n textgen python=3.10

conda activate textgen

git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui

pip install -r requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple

这里的安装需要访问github,注意自己网络可以访问github,

如果不能或者超时请重试

或者改用相应国内github镜像

移动模型

把下载好的模型文件夹放到models目录下

通过不同文件夹区别模型

复制代码
[root@ai-server ~]# cd /opt/ai-server/text-generation-webui/models/
[root@ai-server models]# ll -h
total 8.0K
-rw-r--r--. 1 root root 7.3K Aug 15 10:47 config.yaml
-rw-r--r--. 1 root root    0 Aug 15 10:47 place-your-models-here.txt
lrwxrwxrwx. 1 root root   30 Aug 16 09:43 Vicuna-13b-v1.3.0-GPTQ -> /models/Vicuna-13b-v1.3.0-GPTQ
lrwxrwxrwx. 1 root root   28 Aug 16 09:43 Vicuna-13b-v1.5-GGML -> /models/Vicuna-13b-v1.5-GGML
lrwxrwxrwx. 1 root root   23 Aug 16 09:43 Vicuna-33B-GPTQ -> /models/Vicuna-33B-GPTQ
lrwxrwxrwx. 1 root root   27 Aug 17 10:43 Vicuna-7B-v1.5-GPTQ -> /models/Vicuna-7B-v1.5-GPTQ
lrwxrwxrwx. 1 root root   32 Aug 17 10:00 WizardCoder-15B-1.0-GPTQ -> /models/WizardCoder-15B-1.0-GPTQ
lrwxrwxrwx. 1 root root   30 Aug 17 10:00 WizardLM-13B-V1.2-GPTQ -> /models/WizardLM-13B-V1.2-GPTQ

可以创建软连接

复制代码
ln -s /models/Vicuna-7B-v1.5-GPTQ /opt/ai-server/text-generation-webui/models/Vicuna-7B-v1.5-GPTQ
ln -s 已存在的文件夹	新链接文件夹

启动

复制代码
python server.py --listen --listen-host 192.168.31.232 --listen-port 7860

访问配置

复制代码
http://192.168.31.232:7860

配置模型,点击Model
1、选择第一个下拉框,选择你要加载的模型
2、可以选择Model loader使用想要的加载器加载,有多种可以选择,根据你下载的模型格式选择相应的
3、点击Load加载模型
    Loading Vicuna-7B-v1.5-GPTQ...
    Successfully loaded Vicuna-7B-v1.5-GPTQ
    说明加载成功
配置参数,点击Parameters
    可以配置许多参数,比如max_new_tokens
可是体验,点击Chat
    在input输入你的内容
    点击Generate等待回答

速度性能

复制代码
在启动服务控制台会打印回答速度
例如:
    Output generated in 19.92 seconds (1.10 tokens/s, 22 tokens, context 43, seed 1673505503)
Tesla P40速度还是非常慢的,建议使用其他性能更好的显卡

参考

  1. https://github.com/oobabooga/text-generation-webui

问题解决

  1. 在安装text-generation-webui时如果出现cmake,gcc,g++等问题,考虑升级gcc,g++版本
    升级

    wget --no-check-certificate https://copr.fedorainfracloud.org/coprs/mayeut/devtoolset-8/repo/epel-6/mayeut-devtoolset-8-epel-6.repo -O /etc/yum.repos.d/devtoolset-8.repo

    yum makecache

    yum -y install devtoolset-8-gcc devtoolset-8-gcc-c++ devtoolset-8-binutils

    scl enable devtoolset-8 bash

    gcc -v

    g++ -v

相关推荐
gptplusplus6 分钟前
AI智能体(Agent):从“辅助决策”到“自主行动”,重新定义下一个商业时代
人工智能
别忘了微笑啊7 分钟前
hCaptcha 图像识别 API 对接说明
人工智能
大千AI助手29 分钟前
灾难性遗忘:神经网络持续学习的核心挑战与解决方案
人工智能·深度学习·神经网络·大模型·llm·持续学习·灾难性遗忘
gotouniverse30 分钟前
之前自学RAG时做的调研
人工智能
新智元37 分钟前
刚刚,英伟达祭出下一代 GPU!狂飙百万 token 巨兽,投 1 亿爆赚 50 亿
人工智能·openai
霍格沃兹_测试1 小时前
从零开始搭建Qwen智能体:新手也能轻松上手指南
人工智能
SmartJavaAI1 小时前
Java调用Whisper和Vosk语音识别(ASR)模型,实现高效实时语音识别(附源码)
java·人工智能·whisper·语音识别
山东小木1 小时前
JBoltAI需求分析大师:基于SpringBoot的大模型智能需求文档生成解决方案
人工智能·spring boot·后端·需求分析·jboltai·javaai·aigs
君名余曰正则1 小时前
【竞赛系列】机器学习实操项目08——全球城市计算AI挑战赛(数据可视化分析)
人工智能·机器学习·信息可视化
算家计算1 小时前
一张图+一段音频=电影级视频!阿里Wan2.2-S2V-14B本地部署教程:实现丝滑口型同步
人工智能·开源·aigc