设计一基于Text generation web UI的语言模型部署与远程访问的方案

前言

Text generation web UI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面，不仅可以提高使用效率，还可满足私有化部署，或对模型进行自定义。目前，该Web UI已经支持了许多流行的语言模型，包括LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等.

而且，Text generation web UI部署非常简便，不仅在github主页上直接提供了一键部署安装包，同时由于是web UI形式，直接通过浏览器即可操作，不过本地化部署，无法远程访问，这里我们结合cpolar内网穿透工具实现从安装到最后实现远程访问。

系统环境

Windows 10

Python 3.11.4

1. 安装Text generation web UI

在github界面下载压缩包，这里以windows系统为例：

https://github.com/oobabooga/text-generation-webui

使用windows系统，我们下载windows压缩包：

下载后，这里注意：存放目录的路径不能有空格，然后点击start_windows.bat启动安装。

在安装过程中会提示选择显卡类型，根据电脑配置正常选择即可，然后等待下载，下载大小2个GB左右大小资源。

2.安装依赖

上面安装后会出现两个文件夹，可以看到其中一个是text-generation-webui 名称文件夹，我们点击cmd_windows.bat打开cmd命令行。

打开后，进入text-generation-webui文件夹：

cd text-generation-webui

Bash

Copy

执行下载依赖命令，注意！！！这里需要kx上网，否则下载依赖会发生错误，包括后面也一直需要保持kx上网哦！！！

pip install -r requirements.txt

Bash

Copy

执行后等待下载完成即可

3. 安装语言模型

同意点击cmd_windows.bat打开cmd命令行，进入

输入命令进入text-generation-webui文件夹

cd text-generation-webui

Bash

Copy

安装facebook语言模型，其他语言模型可以查看GitHub文档上面找到：

python download-model.py facebook/opt-1.3b

Bash

Copy

输入后等待下载安装完成即可，为了防止出现下载失败，建议开启kx上网！

4. 启动

点击start_windows.bat启动

启动后，可以看到访问的地址和端口，端口是:7860

在浏览器输入上述URL，即可看到web ui 界面：

设置一下语言模型，点击Model，在下拉框可以看到我们上面下载安装的facebook模型，选择后点击Load，然后保存设置。

然后输入即可对话，这样就搭建好了，可玩度很高，且可以扩展其他语言模型！

5. 安装cpolar 内网穿透

cpolar内网穿透工具，永久免费且不限制流量，支持http/https/tcp协议，无需公网IP，也不用设置路由器，使用简单。

cpolar官网：https://www.cpolar.com/

访问cpolar官网，注册一个账号，然后下载并安装客户端，具体安装教程可以参考官网文档教程。

• windows系统：在官网下载安装包后，双击安装包一路默认安装即可。
• linux系统：支持一键自动安装脚本，详细请参考官网文档------入门指南

cpolar安装成功后，在浏览器上访问本地9200端口【http://localhost:9200】，使用cpolar账号登录。

6. 创建公网地址

点击左侧仪表盘的隧道管理------创建隧道，创建一个我们上面的text generation webui 的http访问方式的7860隧道

• 隧道名称：可自定义命名，注意不要与已有的隧道名称重复
• 协议：选择http
• 本地地址：7860
• 域名类型：免费选择随机域名
• 地区：选择China vip

点击创建

隧道创建成功后，点击左侧的状态------在线隧道列表,查看所生成的公网地址，有两种访问方式，一种是http 和https

7. 公网访问

我们使用http公网地址访问，可以看到，我们访问到了text generation webui 界面，这样一个公网地址访问就创建好了。

8. 固定公网地址

由于以上使用cpolar所创建的隧道使用的是随机公网地址，24小时内会随机变化，不利于长期远程访问。因此我们可以为其配置二级子域名，该地址为固定地址，不会随机变化【ps：cpolar.cn已备案】

注意需要将cpolar套餐升级至基础套餐或以上，且每个套餐对应的带宽不一样。【cpolar.cn已备案】

登录cpolar官网，点击左侧的预留，选择保留二级子域名，地区选择china vip top，然后设置一个二级子域名名称，填写备注信息，点击保留。

保留成功后复制保留的二级子域名地址：

登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理------隧道列表，找到所要配置的隧道，点击右侧的编辑。

修改隧道信息，将保留成功的二级子域名配置到隧道中

• 域名类型：选择二级子域名
• Sub Domain：填写保留成功的二级子域名
• 地区: China VIP

点击更新

更新完成后，打开在线隧道列表，此时可以看到随机的公网地址已经发生变化，地址名称也变成了保留和固定的二级子域名名称。

最后，我们使用固定的公网地址访问text generation webui 界面可以看到访问成功，一个永久不会变化的远程访问方式即设置好了。