利用ollama和open-webui本地部署通义千问Qwen1.5-7B-Chat模型

目录

[1 安装ollama](#1 安装ollama)

[2 安装open-webui](#2 安装open-webui)

[2.1 镜像下载](#2.1 镜像下载)

[3 配置ollama的模型转换工具环境](#3 配置ollama的模型转换工具环境)

[3.1 下载ollama源码](#3.1 下载ollama源码)

[3.2 下载ollama子模块](#3.2 下载ollama子模块)

[3.3 创建ollama虚拟环境](#3.3 创建ollama虚拟环境)

[3.4 安装依赖](#3.4 安装依赖)

[3.5 编译量化工具](#3.5 编译量化工具)

[7 创建ollama模型](#7 创建ollama模型)

[8 运行模型](#8 运行模型)

参考文献:


1 安装ollama

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

启动、关闭ollama

systemctl start ollama

systemctl stop ollama

systemctl restart ollama

systemctl status ollama

2 安装open-webui

bash 复制代码
git clone https://github.com/open-webui/open-webui.git
cd open-webui

这里open-webui的源码其实用不到,直接用下面的镜像就行。

2.1 镜像下载

官方没有在 docker hub 上发布镜像,而是发布在 ghcr.io,地址在 https://Github.com/open-webui/open-webui/pkgs/container/open-webui

bash 复制代码
docker pull ghcr.io/open-webui/open-webui:main

如果没有科学上网,很可能会拉不动,可以试试 docker 代理网站:https://dockerproxy.com/,但是会多几个步骤

bash 复制代码
# 如果拉不动的话加个代理
docker pull ghcr.dockerproxy.com/open-webui/open-webui:main

# 重命名镜像(如果是通过代理下载的)
docker tag ghcr.dockerproxy.com/open-webui/open-webui:main ghcr.io/open-webui/open-webui:main

# 删除代理镜像(如果是通过代理下载的)
docker rmi ghcr.dockerproxy.com/open-webui/open-webui:main

然后docker images可以看到镜像

bash 复制代码
docker run -d -p 3006:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui-chw --restart always ghcr.io/open-webui/open-webui:main
2c93ac3c6c911302d4d2926692a7bab64f607317938da71e53ff32798be801da

3 配置ollama的模型转换工具环境

3.1 下载ollama源码

bash 复制代码
git clone https://github.com/ollama/ollama.git
cd ollama

3.2 下载ollama子模块

bash 复制代码
git submodule init
git submodule update llm/llama.cpp

3.3 创建ollama虚拟环境

bash 复制代码
conda create -n ollama_chw python=3.11
conda activate ollama_chw

3.4 安装依赖

bash 复制代码
pip install -r llm/llama.cpp/requirements.txt

3.5 编译量化工具

bash 复制代码
make -C llm/llama.cpp quantize
如果编译llama.cpp的测试工具main,在llama.cpp目录执行make -j,会在当前目录生成main文件。
测试实验./main -m ./model_name

4 5 6 见私人博客

7 创建ollama模型

bash 复制代码
ollama create chw1.5 -f /data/chw/ollama_20240419/qwen1.5-7B/Modelfile

到了这一步之后,其实在open-webui上就可以看到这个模型了

8 运行模型

bash 复制代码
ollama run chw1.5

其实这个ollama run就相当于在命令行运行模型,但是我们这里是用open-webui,所以直接ollama create之后就可以用open-webui。

参考文献:

GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

llama.cpp部署通义千问Qwen-14B_通义千问gguf model-CSDN博客

适配Ollama的前端界面Open WebUI | 半码博客
🚀 Getting Started | Open WebUI

相关推荐
会飞的果粒橙3 天前
在Ubuntu24上安装ollama
ollama·deepseek
_pass_13 天前
Docker 运行RAGFlow 搭建RAG知识库
ollama·ragflow
诸神缄默不语15 天前
Re 82:读论文:qwen 3
llm·qwen·阿里·千问·qwen3
关山月19 天前
使用 Ollama 和 Next.js 构建 AI 助理(使用 LangChain、Pinecone 和 Ollama 实现 RAG)
ollama
ZackSock20 天前
自己开发 MCP 服务器
llm·ollama·mcp
陈佬昔没带相机21 天前
基于 open-webui 搭建企业级知识库
人工智能·ollama·deepseek
bug菌24 天前
手把手教你DeepSeek-R1本地部署和企业知识库搭建(Ollama+DeepSeek+RAGFlow)【保姆级教学】
人工智能·ollama·deepseek
西西弗Sisyphus1 个月前
Qwen2.5-VL - FFN(前馈神经网络)Feedforward Neural Network
人工智能·深度学习·神经网络·qwen
人工智能小豪1 个月前
2025年大模型平台落地实践研究报告|附75页PDF文件下载
大数据·人工智能·transformer·anythingllm·ollama·大模型应用
AI大模型1 个月前
Ollama系列教程(八):semantic kernel调用ollama接口
程序员·llm·ollama