笔记04--零基础创建个人本地大模型知识库ollama+Dify

ollma安装

官网下载直接下一步下一步即可,没有魔法的朋友可以留言,文章中所用到的文件也给打包了,大家可以直接下载使用通过云盘下载使用。

xml 复制代码
链接: https://pan.baidu.com/s/12zF9MpQtg1bnMDAQayaSyg 提取码: n9rm 

官网地址:https://ollama.com/
安装完成后打开控制面板输入Download列表中的命令进行模型下载和运行,完成这步后ollma已经可以使用了在cmd中。

Model Parameters Size Download
Llama 3.3 70B 43GB ollama run llama3.3
Llama 3.2 3B 2.0GB ollama run llama3.2
Llama 3.2 1B 1.3GB ollama run llama3.2:1b
Llama 3.2 Vision 11B 7.9GB ollama run llama3.2-vision
Llama 3.2 Vision 90B 55GB ollama run llama3.2-vision:90b
Llama 3.1 8B 4.7GB ollama run llama3.1
Llama 3.1 405B 231GB ollama run llama3.1:405b
Phi 3 Mini 3.8B 2.3GB ollama run phi3
Phi 3 Medium 14B 7.9GB ollama run phi3:medium
Gemma 2 2B 1.6GB ollama run gemma2:2b
Gemma 2 9B 5.5GB ollama run gemma2
Gemma 2 27B 16GB ollama run gemma2:27b
Mistral 7B 4.1GB ollama run mistral
Moondream 2 1.4B 829MB ollama run moondream
Neural Chat 7B 4.1GB ollama run neural-chat
Starling 7B 4.1GB ollama run starling-lm
Code Llama 7B 3.8GB ollama run codellama
Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored
LLaVA 7B 4.5GB ollama run llava
Solar 10.7B 6.1GB ollama run solar

Dify安装

1.docker安装

官网地址:https://www.docker.com/

下载完成后,下一步,下一步即可。

如果安装了git我们可以直接使用git命令讲Dify项目拉取到本地,如果未安装直接下载ZIP即可。

2.Dify安装

powershell 复制代码
#通过docker的命令行面板进入项目的docker目录
cd dify
cd docker
#输入以下命令等待镜像下载完成即可!
cp .env.example .env
docker compose up -d

ollma与Dify集成

1.Dify设置

完成上述操作后通过 http://localhost/install 进入Dify界面,设置登录的账号和密码。

关闭操作1中咱们启动的ollama,使用ollama serve直接启动

接下来来到Dify系统的用户设置中,设置我们本地运行的ollma模型,这里要注意的是模型名称基础 URL

因为是docker启动的Dify,基础 URLhttp://host.docker.internal:11434

模型名称 :使用ollma list 查看模型信息,一定要使用 NAME 列中的所有字符

功能

我们可以上传自己的本地资料作为知识库的基础信息,也可以创建一些我们我自己应用。

相关推荐
蒸蒸yyyyzwd3 小时前
分布式算法学习笔记1.1-1.4
笔记·学习
2601_949593653 小时前
CANN加速人脸检测推理:多尺度特征金字塔与锚框优化
人工智能
小刘的大模型笔记3 小时前
大模型LoRA微调全实战:普通电脑落地,附避坑手册
人工智能·电脑
乾元3 小时前
身份与访问:行为生物识别(按键习惯、移动轨迹)的 AI 建模
运维·网络·人工智能·深度学习·安全·自动化·安全架构
happyprince3 小时前
2026年02月07日全球AI前沿动态
人工智能
啊阿狸不会拉杆3 小时前
《机器学习导论》第 7 章-聚类
数据结构·人工智能·python·算法·机器学习·数据挖掘·聚类
Java后端的Ai之路3 小时前
【AI大模型开发】-AI 大模型原理深度解析与 API 实战(建议收藏!!!)
人工智能·ai·科普·ai大模型·llm大模型
禁默3 小时前
从图像预处理到目标检测:Ops-CV 助力 CV 任务在昇腾 NPU 上高效运行
人工智能·目标检测·目标跟踪·cann
pp起床3 小时前
Gen_AI 第四课 模型评估
人工智能
zhangshuang-peta3 小时前
人工智能代理团队在软件开发中的协同机制
人工智能·ai agent·mcp·peta