在MacOS上打造本地部署的大模型知识库(一)

一、在MacOS上安装Ollama

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

最后停掉Docker的ollama,就能在webui中加载llama模型

二、在MacOS上安装Docker

科学上网

进入 open-webui 目录 cd /volume1/docker/open-webui # 将 docker-compose.yml 放入当前目录 # 一键启动 docker-compose up -d

三、在MacOS上安装Open-webui

安装CPU模式的open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在浏览器地址上输入http://0.0.0.0:3000,会打开如下界面

本人是MacOS系统,晚上自动转成了黑色风格,可忽略;如果是第一次运行,需要注册一个管理者账号,然后登录。你也可以再创建普通用户,这样可以进行分级登录管理。将Open WebUI的管理者和普通用户做好区分,以便企业知识库做权限分离管理。每个部门可以搭建单独且互不影响的知识库。并且可以针对不同部门,使用不同的大模型以适应业务需要。

四、在Open WebUI上导入知识库

我之前在向量模型这里遇到了困难。尝试加载了很多向量模型,结果进行文档内容查询生成的时候出现了幻觉(没有生成高质量需要的内容)。后来反复尝试发现只有默认的向量模型引擎设置,选择向量模型"sentence-transformers/all-MiniLM-L6-v2"后,才能真正实现知识库文档的内部查询输出效果。选择其他向量模型的时候,遇到过如下问题:

1、维度不一致报错;这是因为每次切换向量模型的时候,由于已经上传的文档是按照之前向量模型的结构做了向量化处理。在新的向量模型设置成功后,不能自动切换新的设置。需要将老文档删除,并删除chromadb的文件。在Docker中重启open webui的镜像后,重新上传知识文档。

2、选择其他Ollama支持的向量模型后,发现生成内容并没有在已上传的知识文档中查询生成。这个问题留待后续继续跟踪分析。

相关推荐
AD钙奶-lalala7 小时前
在 macOS 上搭建 Flutter 开发环境
flutter·macos
~二向箔~13 小时前
Mac,苹果电脑移动硬盘不显示
macos
vastgrassland14 小时前
对WWDC 2025 Keynote 内容的预测
macos·ios·wwdc
fukai772214 小时前
WWDC 2025 macOS 26有哪些更新点
macos·ios·wwdc
ReadThroughLife19 小时前
【已解决】MACOS M4 芯片使用 Docker Desktop 工具安装 MICROSOFT SQL SERVER
microsoft·macos·docker·容器
獨枭1 天前
配置 macOS 上的 Ruby 开发环境
开发语言·macos·ruby
库奇噜啦呼1 天前
push [特殊字符] present
macos·ios·cocoa
安和昂2 天前
【iOS】多线程NSOperation,NSOperationQueue
macos·ios·cocoa
咕噜签名分发冰淇淋2 天前
Flutter 打包 iOS 苹果 IPA 应用有哪些优势?如何实现?
macos·objective-c·cocoa
st紫月2 天前
用虚拟机安装macos系统之后进入Boot Manager页面
macos