利用Ollama+AnythingLLM+本地向量数据库Milvus+本地DeepSeek大模型实现知识库的搭建

1. Ollama的搭建

基本介绍

Ollama是一个支持在Windows、Linux和MacOS上本地运行大语言模型的工具。它允许用户非常方便地运行和使用各种大语言模型,比如Qwen模型等。用户只需一行命令就可以启动模型。

Ollama 下载：https://ollama.com/download

Ollama 官方主页：https://ollama.com

Ollama 官方 GitHub 源代码仓库：https://github.com/ollama/ollama/

安装完成之后，打开一个cmd命令窗口，输入"ollama"命令，如果显示ollama相关的信息就证明安装已经成功了！

常见指令：

复制代码

ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息

2. 利用Ollama安装DeepSeek

在dos窗口下，输入：

复制代码

ollama run deepseek-r1:8b

3. 安装AnythingLLM

直接安装以后，就可以看到

文档上传解析

4. Window安装Milvus

Milvus简介

Milvus是一款开源的向量数据库，具有高度的灵活性、稳定可靠性以及高速查询等特点。它支持针对TB级向量的增删改操作和近实时查询，适用于大规模向量数据的存储和检索。

Milvus集成了多种广泛应用的向量索引库，如Faiss、NMSLIB和Annoy等，并提供了简单直观的API，用户可以根据不同场景选择适合的索引类型。此外，Milvus还可以对标量数据进行过滤，进一步提高召回率，增强搜索的灵活性。

Milvus被广泛应用于多个领域，包括图像处理、机器视觉、自然语言处理、语音识别、推荐系统以及新药发现等。它的源代码托管在Github上，这使得社区可以轻松地访问、使用和贡献代码。

官网：https://milvus.io/zh

安装步骤

先安装docker Desktop
然后下载milvus-standalone-docker-compose.yml
下载完成后得到的是一个milvus-standalone-docker-compose.yml文件，需要重命名为docker-compose.yml，然后将yml文件复制到工作路径下：
然后打开命令行终端，cd到你的文件目录下，运行下面代码

docker-compose up -d
等待一段时间，就可以去查看doker，或者终端输入

docker-compose ps
安装客户端工具attu

执行命令，加个 -d 在后台运行

复制代码

docker run -d -p 8000:3000 -e MILVUS_URL=127.0.0.1:19530 zilliz/attu:v2.2.8

或者Window安装，地址如下：

https://download.csdn.net/download/wu2374633583/90456544