在MacOS上打造本地部署的大模型知识库(一)

一、在MacOS上安装Ollama

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

最后停掉Docker的ollama,就能在webui中加载llama模型

二、在MacOS上安装Docker

科学上网

进入 open-webui 目录 cd /volume1/docker/open-webui # 将 docker-compose.yml 放入当前目录 # 一键启动 docker-compose up -d

三、在MacOS上安装Open-webui

安装CPU模式的open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在浏览器地址上输入http://0.0.0.0:3000,会打开如下界面

本人是MacOS系统,晚上自动转成了黑色风格,可忽略;如果是第一次运行,需要注册一个管理者账号,然后登录。你也可以再创建普通用户,这样可以进行分级登录管理。将Open WebUI的管理者和普通用户做好区分,以便企业知识库做权限分离管理。每个部门可以搭建单独且互不影响的知识库。并且可以针对不同部门,使用不同的大模型以适应业务需要。

四、在Open WebUI上导入知识库

我之前在向量模型这里遇到了困难。尝试加载了很多向量模型,结果进行文档内容查询生成的时候出现了幻觉(没有生成高质量需要的内容)。后来反复尝试发现只有默认的向量模型引擎设置,选择向量模型"sentence-transformers/all-MiniLM-L6-v2"后,才能真正实现知识库文档的内部查询输出效果。选择其他向量模型的时候,遇到过如下问题:

1、维度不一致报错;这是因为每次切换向量模型的时候,由于已经上传的文档是按照之前向量模型的结构做了向量化处理。在新的向量模型设置成功后,不能自动切换新的设置。需要将老文档删除,并删除chromadb的文件。在Docker中重启open webui的镜像后,重新上传知识文档。

2、选择其他Ollama支持的向量模型后,发现生成内容并没有在已上传的知识文档中查询生成。这个问题留待后续继续跟踪分析。

相关推荐
小弟调调9 小时前
Vidwall: 支持将 4K 视频设置为动态桌面壁纸,兼容 MP4 和 MOV 格式
macos·swiftui·桌面应用·macos app
Digitally13 小时前
如何将iPhone备份到Mac/MacBook
macos·ios·iphone
瓜子三百克2 天前
CALayer的异步处理
macos·ios·cocoa
Fine姐2 天前
传感器WSNs TheDataLinkLayer——B-MAC
macos
九丝城主2 天前
2025使用VM虚拟机安装配置Macos苹果系统下Flutter开发环境保姆级教程--中篇
服务器·flutter·macos·vmware
呆萌的代Ma2 天前
解决Mac上的老版本docker desktop 无法启动/启动后一直转圈/无法登陆账号的问题
macos·docker·eureka
fengyun28912 天前
Omi录屏专家 Screen Recorder by Omi 屏幕录制Mac
macos·mac·录屏·屏幕录制
不学会Ⅳ2 天前
Mac M芯片搭建jdk源码环境(jdk24)
java·开发语言·macos
九丝城主3 天前
2025使用VM虚拟机安装配置Macos苹果系统下Flutter开发环境保姆级教程--上篇
服务器·flutter·macos·vmware
芳草萋萋鹦鹉洲哦3 天前
【vue3+tauri+rust】如何实现下载文件mac+windows
windows·macos·rust