Ollama + (Anythingllm / Open WebUI / MaxKB)搭建本地大模型

个人体验MaxKB做知识库效果最好

一、Ollama

1、下载Ollama

地址:Download Ollama on macOS

curl -fsSL https://ollama.com/install.sh | sh

2、下载指定的模型

地址:library

Llama3

ollama run llama3:8b

这个模型可以将文本内容转换成向量数据

ollama pull nomic-embed-text:v1.5

二、Open WebUI

1、拉取镜像

拉取镜像

docker pull ghcr.io/open-webui/open-webui:main

2、(可选)使用代理拉取镜像

如果拉不动的话加个代理

docker pull ghcr.dockerproxy.com/open-webui/open-webui:main

重命名镜像(如果是通过代理下载的) docker tag ghcr.dockerproxy.com/open-webui/open-webui:main ghcr.io/open-webui/open-webui:main

删除代理镜像(如果是通过代理下载的)

docker rmi ghcr.dockerproxy.com/open-webui/open-webui:main

3、运行容器

docker run -p 18080:8080 -e OLLAMA_BASE_URL=http://10.16.2.70:11434 --name open-webui --restart always -v open-webui-data:/app/backend/data ghcr.io/open-webui/open-webui:main

4、使用浏览器访问链接

http://192.168.2.250:18080/

三、Anythingllm

1、拉取镜像

bash 复制代码
docker pull mintplexlabs/anythingllm

2、运行容器

bash 复制代码
export STORAGE_LOCATION=$HOME/anythingllm && \ mkdir -p $STORAGE_LOCATION && \ touch "$STORAGE_LOCATION/.env" && \ chmod -R 777 ${STORAGE_LOCATION} && \ docker run -d -p 3001:3001 \ --cap-add SYS_ADMIN \ -v ${STORAGE_LOCATION}:/app/server/storage \ -v ${STORAGE_LOCATION}/.env:/app/server/.env \ -e STORAGE_DIR="/root/anythingllm/storage" \ mintplexlabs/anythingllm

3、使用浏览器访问链接

http://192.168.2.250:3001

四、MaxKB

1、拉取镜像

bash 复制代码
docker pull 1panel/maxkb

2、运行容器

bash 复制代码
docker run -d --name=maxkb -p 28080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

3、使用浏览器访问链接

http://192.168.2.250:28080


附1:

更改模型存放位置

  1. 进入配置默认目录:
bash 复制代码
cd /etc/systemd/system/
  1. 配置目录权限给【ollama用户及用户组】
bash 复制代码
chown -R ollama:ollama /home/ollama

3.打开配置文件,在[Service]下添加OLLAMA_MODELS环境变量,

bash 复制代码
vi ollama.service

[Service]

修改模型位置

Environment="OLLAMA_MODELS=/home/ollama/models

配置其它机器可访问

Environment="OLLAMA_HOST=0.0.0.0"

  1. 重启ollama
bash 复制代码
systemctl daemon-reload
systemctl restart ollama.service

5、Open Web UI

密码:2kkVaZz91wQ2Rjck

附2:

参考链接1:利用AI解读本地TXT、WORD、PDF文档 - 哔哩哔哩

参考链接2:基于Ollama+AnythingLLM搭建本地私有知识库系统-CSDN博客

参考链接3:操作教程丨MaxKB+Ollama:快速构建基于大语言模型的本地知识库问答系统_应用_部署_Base

相关推荐
沐雪架构师7 小时前
ChatGPT与GPT的区别与联系
gpt·chatgpt
kakaZhui20 小时前
【llm对话系统】大模型源码分析之 LLaMA 位置编码 RoPE
人工智能·深度学习·chatgpt·aigc·llama
X.AI6661 天前
【大模型LLM面试合集】大语言模型架构_llama系列模型
人工智能·语言模型·llama
kakaZhui1 天前
【llm对话系统】大模型 Llama 源码分析之 LoRA 微调
pytorch·深度学习·chatgpt·aigc·llama
pingfanren21 天前
kimi,天工,gpt,deepseek效果对比
gpt
产品媛Gloria Deng1 天前
分享| RL-GPT 框架通过慢agent和快agent结合提高AI解决复杂任务的能力-Arxiv
人工智能·gpt·ai·agent·ai智能体
杨江1 天前
DB-GPT试用
gpt
engchina1 天前
使用LLaMA-Factory对AI进行认知的微调
人工智能·微调·llama·llama-factory
kakaZhui2 天前
【llm对话系统】大模型 Llama 源码分析之 Flash Attention
人工智能·chatgpt·aigc·llama
kakaZhui2 天前
【llm对话系统】大模型 Llama 源码分析之并行训练方案
人工智能·chatgpt·aigc·llama