使用ollama & openweb-ui 本地搭建自己的AI

前言:

ollama 是模型管理器,可以通过他 pull\create 创建ai模型

然后 通过run 跑 ai模型 进行对话(命令行)

pull会很慢,可以 自己去下载 模型

需要下载资源:1.ollama 2. 需要的模型 (我这里下载的DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf)

然后 openweb-ui是 openai可视化工具 启动后 是 浏览器 访问 localhost:8080 进行管理

一:模型安装、使用

下载ollama和 模型之后 安装 ollama,命令行ollama 命令生效就行

然后 在模型(gguf 文件)所在目录下创建 Modelfile 内容如下:

FROM ./DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

PARAMETER num_ctx 4096

然后 通过命令 ollama create deepseek-r1:7b -f Modelfile 加载模型 - 会很大

(加载的路径 可以指定,设置环境变量 OLLAMA_MODELS 值是你想存放的路径)

然后 可以 通过 ollama list 查看 已有的模型

我这里装了三个:

deepseek\qwen-coder\nomic-embed-text

其中前两个是 通过下载文件 创建的(因为很大,pull会经常断,丢失) nomic-embed-text是通过pull安装的(因为他很小)

注:nomic-embed-text 是使用知识库需要的(向量模型),当然 openweb-ui 会自动下载一个默认的模型,可以改用 ollama的这个 nomic-embed-text 模型

完了之后 通过 ollama run 模型名 来启动测试

二:openWeb UI

1.安装 python + nodejs

python 3.11 版本 nodejs 20.20版本

2.github上下载openweb ui 源码

然后 进入目录 进行前端页面编译 (npm install 后面 加 --registy=https://registry.npmmirror.com 可以加速 )

npm install

npm run build

然后进入 backend目录 进行 后端代码编译(py -i https://pypi.tuna.tsinghua.edu.cn/simple 可以加速)

py -m pip install -r requirements.txt

然后 启动 openweb-ui

backend有个 start_windows.bat 启动批处理

直接命令行 start_windows.bat启动

如果提示 uvicorn 命令没有 改bat文件 ,找到 uvicorn 这个 前面加 py -m

原本:

uvicorn xxxxx

改成

py -m uvicorn xxxxxx

注:需要 py -m pip install uvicorn (加速 加 -i https://pypi.tuna.tsinghua.edu.cn/simple)

在启动 前 可以设置环境变量或者直接配置系统环境变量

set HF_ENDPOINT=https://hf-mirror.com

set OFFLINE_MODE=1

set RAG_EMBEDDING_ENGINE=ollama

set RAG_EMBEDDING_MODEL=nomic-embed-text

显示 started 就成功了

然后 浏览器 访问 http://localhost:8080 注册 管理员 登录

找到左下角管理员面板 点击 然后点设置,在弹窗左侧下滑找到文档 使用 ollama模型

然后嵌入模型就是写前面pull 很小的 向量模型名字,然后点击左下角保存

然后关闭设置弹窗,点新对话,选择模型,然后对话

相关推荐
Norna43 分钟前
Git 给路径加了引号,这个文件就从 review 里消失了
python
Dawson Zhu44 分钟前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
wuyk5551 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel
wuyk5551 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
水如烟1 小时前
孤能子视角:通用智能 vs 分工协同智能群系统–––集中结晶 vs 分布式结晶
人工智能
罗西的思考2 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
lilihuigz2 小时前
权限配置:WordPress 7.2 Abilities API 权限、输入验证与 JSON 输出指南
人工智能
杨凯凡2 小时前
IT日报|2026-11-20:欧盟 AI 网络攻击、Valkey 9.2、GitHub 企业迁移
人工智能·github
JonaHu2 小时前
关键词排名突然消失?用 Python、SQLite 和 SERP API 搭一套可解释的 SEO 监控
python·sqlite·seo·serp api
鲁邦通物联网2 小时前
机器人梯控到站状态机设计:楼层匹配、事件时序与任务判断
人工智能·机器人·机器人梯控·agv梯控·非侵入式采集·机器人乘梯·机器人自主乘梯