Ollama + AnythingLLM + Deepseek r1 实现本地知识库

1、Ollama:‌是一个开源的大型语言模型
(LLM)服务工具,旨在简化在本地运行大语言模型的过程,降低使用大语言模型的门槛
‌。

2、AnythingLLM:是由Mintplex Labs Inc.

开发的一款全栈应用程序,旨在构建一个高效、可定制、开源的企业级文档聊天机器人解决方案。AnythingLLM支持几乎所有的主流大模型和多种文档类型,能够通过将文档、资源或内容片段转化为大语言模型(LLM)在聊天中可以利用的相关上下文,从而构建一个专属的AI知识库‌。

3、Deepseek r1:‌是由深度求索

(DeepSeek)研发的一款大语言模型,属于幻方量化

旗下的AI公司。DeepSeek-R1在自然语言处理、科学推理和编程任务等方面表现出色。

4、安装( 如果下载不了,可以将文件的链接地址放到迅雷里下载。):

安装之前一定要查看是否有足够的硬盘空间。

1)下载Ollama

Download Ollama on macOS

简单测试:

当然也可以下载:qwen2.5:7b

常用命令:

复制代码
ollama list:显示模型列表。

ollama show:显示模型的信息

ollama pull:拉取模型

ollama push:推送模型

ollama cp:拷贝一个模型

ollama rm:删除一个模型

ollama run:运行一个模型

2)下载AnythingLLM

https://anythingllm.com/desktop

3)安装

双击OllamaSetup.exe,这个是在windows下安装的.

只要默认安装即可。安装成功后,会弹出一个命令行提示成功。

然后双击AnythingLLMDesktop.exe安装,默认安装即可。

下面是设置:

下载Deepseek r11.5B 作为LLM

有一步要输入email的,可以点下面的按钮,跳过。

输入工作区名称:比如 myworkspace-1

选择deepseekr1:1.5b

点击【设置】扳手图标:

当然也可以安装其它的比如:Qwen

最后安装了二个大模型:

4)提问:

比如:上面是我问的冒泡排序的几种语言的不同实现。

5)设置及训练大模型:

点击【上传】按钮,就可以上传文本(pdf、word、txt)等等格式,只要是文本就可以了。右侧的【设置】按钮,是设置当前工作区的。

这里做个文档,然后上传到工作区中测试下效果:

保存,如果报错:documents failed add,则要进行设置:

复制代码
ollama pull nomic-embed-text

本地库的相关设置:

聊天模式:改为【查询】。以下是文档中查询的效果:

测试了几次,有的时候本地的查询在转圈出不来,重新新建以后,再次查询才出来以上的效果。

相关推荐
PNP Robotics5 分钟前
领军军者|PNP机器人包文涛:以具身智能定义机器人的“生命直觉”
人工智能·深度学习·学习·机器学习·机器人
stereohomology10 分钟前
2026年人工智能技术趋势浅度解析
人工智能
2601_9583205718 分钟前
【小白易懂版】OpenClaw 飞书机器人绑定配置详细教程(含安装包)
人工智能·机器人·飞书·open claw·小龙虾·open claw安装
AI创界者23 分钟前
《2026 视觉革命:深度测评 GPT-Image-2,基于 DMXAPI 实现 4K 超分与批量生图实战》
人工智能
云上码厂25 分钟前
2023年之前物理信息神经网络PINN papers
人工智能·深度学习·神经网络
aini_lovee29 分钟前
多目标粒子群优化(MOPSO)双适应度函数MATLAB实现
人工智能·算法·matlab
Cosolar30 分钟前
提示词工程面试题系列 - Zero-Shot Prompting 和 Few-Shot Prompting 的核心区别是什么?
人工智能·设计模式·架构
灵机一物34 分钟前
灵机一物AI原生电商小程序、PC端(已上线)-【无标Anthropic 研究深度解析:AI 对就业市场的实际冲击与高危职业排行题】
人工智能·ai·程序员·职业发展·anthropic·就业市场
电子科技圈36 分钟前
芯科科技在蓝牙亚洲大会展示汽车与边缘AI前沿蓝牙创新技术, 解锁车用、家居、健康及工商业等应用场景
人工智能·科技·嵌入式硬件·mcu·物联网·网络安全·汽车
redreamSo43 分钟前
让AI Agent自动接Issue、写代码、上线:我用200行代码搭了一个全自动开发流水线
人工智能·开源·github