本地部署属于自己的大语言模型和图文识别模型

R-sz2024-04-04 20:45

1安装docker

安装docker-desktop(自行百度即可)

2.docker 配置：setting->Docker Engine

 {
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "debug": false,
  "experimental": false,
  "features": {
    "buildkit": true
  },
  "insecure-registries": [],
  "registry-mirrors": [
    "https://docker.mirrors.ustc.edu.cn/"
  ]
}

3.安装oolama

*打开cmd拉取Ollama镜像命令： docker pull ollama/ollama:latest

4.新建容器：

新建容器，端口设置11434与之后的chatbot-ollama保持一致

打开内置命令行输入ollama run llama2-chinese

自动拉取Llama 2-chinese模型

5.安装chatbot或open-webui实现网页化

5.1安装chatbot-oolama

打开cmd 下载镜像
docker run -p 3000:3000 ghcr.io/ivanfioravanti/chatbot-ollama:main

浏览器输入本地地址

5.2安装open-webui

open-webui github地址：GitHub - open-webui/open-webui：用于 LLM 的用户友好型 WebUI（以前称为 Ollama WebUI）

拉取镜像并创建容器：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

success后进入网址： http://localhost:3000/

第一次进入提示注册，输入邮箱及密码出现如下界面即为成功

5.添加图片识别模型llava

在ollama容器内输入ollama run llava命令,即可自动拉取模型

可以自行切换模型

llava可以识别图像