本地/笔记本/纯 cpu 部署、使用类 gpt 大模型

文章目录

    • [1. 安装 web UI](#1. 安装 web UI)
      • [1.1. 下载代码库](#1.1. 下载代码库)
      • [1.2. 创建 conda 环境](#1.2. 创建 conda 环境)
      • [1.3. 安装 pytorch](#1.3. 安装 pytorch)
      • [1.4. 安装 pip 库](#1.4. 安装 pip 库)
    • [2. 下载大模型](#2. 下载大模型)
    • [3. 使用 web UI](#3. 使用 web UI)
      • [3.1. 运行 UI 界面](#3.1. 运行 UI 界面)
      • [3.2. 加载模型](#3.2. 加载模型)
      • [3.3. 进行对话](#3.3. 进行对话)

使用 web UI + 大模型文件,即可在笔记本上部署、使用类 gpt 大模型。

1. 安装 web UI

1.1. 下载代码库

https://github.com/oobabooga/text-generation-webui

1.2. 创建 conda 环境

sh 复制代码
conda create -n textgen python=3.11
conda activate textgen

1.3. 安装 pytorch

文档:https://github.com/oobabooga/text-generation-webui#2-install-pytorch

System GPU Command
Linux/WSL NVIDIA pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
Linux/WSL CPU only pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
Linux AMD pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.6
MacOS + MPS Any pip3 install torch torchvision torchaudio
Windows NVIDIA pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
Windows CPU only pip3 install torch torchvision torchaudio

1.4. 安装 pip 库

文档:https://github.com/oobabooga/text-generation-webui#3-install-the-web-ui

sh 复制代码
pip install -r <requirements file according to table below>
GPU CPU requirements file to use
NVIDIA has AVX2 requirements.txt
NVIDIA no AVX2 requirements_noavx2.txt
AMD has AVX2 requirements_amd.txt
AMD no AVX2 requirements_amd_noavx2.txt
CPU only has AVX2 requirements_cpu_only.txt
CPU only no AVX2 requirements_cpu_only_noavx2.txt
Apple Intel requirements_apple_intel.txt
Apple Apple Silicon requirements_apple_silicon.txt

2. 下载大模型

TheBloke: https://huggingface.co/TheBloke

TheBloke 是 hugging face 社区的一个用户, ta 提供了许多预量化大模型的下载。

  • 量化:将模型权重中的 float 替换为 int 等数据类型,损失一小部分精度,但减少内存占用、计算开销。

在该用户的 model 库中搜索需要的模型,常用关键词是 7b-gguf

  • 其中 7b 代表模型的参数量 7 billion(常见参数量有 7b , 13b , 70b),参数量越大,模型精度越高,即对话质量越高。
  • gguf 是一个预量化大模型的格式,支持 cpu 、 gpu 共同加载模型,被广泛使用

在具体模型页面的 Provided files 部分可以看到该模型的不同量化版本、文件大小、预计内存占用、推荐与否。点击具体量化版本的模型即可下载。

3. 使用 web UI

3.1. 运行 UI 界面

打开 conda 命令行窗口,运行以下命令,并保持窗口开启:

sh 复制代码
conda activate textgen
cd text-generation-webui
python server.py

3.2. 加载模型

打开 127.0.0.1:7860 网页链接,model 页面,按上图进行模型加载即可(大概需要几十秒)。

具体文档:https://github.com/oobabooga/text-generation-webui/wiki/04-‐-Model-Tab#llamacpp

3.3. 进行对话

打开 chat 页面,即可进行对话。

  • 在对话框左侧菜单中有 "开始新对话" 等操作
  • 需注意,大部分模型默认语言为英文(可在模型页面查看详情)
  • 本地模型无法联网
相关推荐
你觉得20515 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
碳基学AI20 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
*星星之火*1 天前
【GPT入门】第33 课 一文吃透 LangChain:chain 结合 with_fallbacks ([]) 的实战指南
gpt·langchain
x-cmd2 天前
[250401] OpenAI 向免费用户开放 GPT-4o 图像生成功能 | Neovim 0.11 新特性解读
人工智能·gpt·文生图·openai·命令行·neovim
TGITCIC3 天前
BERT与Transformer到底选哪个-下部
人工智能·gpt·大模型·aigc·bert·transformer
在下_诸葛4 天前
DeepSeek的API调用 | 结合DeepSeek API文档 | Python环境 | 对话补全(二)
人工智能·python·gpt·prompt·aigc
TGITCIC4 天前
BERT与Transformer到底选哪个-上部
人工智能·gpt·大模型·aigc·bert·transformer
花千树-0104 天前
MCP - 使用 BlenderMCP 让 Claude AI 控制你的 Blender 模型创作
人工智能·gpt·3d·aigc·blender
自由鬼4 天前
GPT Workspace体验
人工智能·gpt
ai大师4 天前
给聊天机器人装“短期记忆“:Flask版实现指南
后端·python·gpt·flask·oneapi·中转api·apikey