利用Ollama+AnythingLLM+本地向量数据库Milvus+本地DeepSeek大模型实现知识库的搭建

1. Ollama的搭建

基本介绍

Ollama是一个支持在Windows、Linux和MacOS上本地运行大语言模型的工具。它允许用户非常方便地运行和使用各种大语言模型,比如Qwen模型等。用户只需一行命令就可以启动模型。

Ollama 下载:https://ollama.com/download

Ollama 官方主页:https://ollama.com

Ollama 官方 GitHub 源代码仓库:https://github.com/ollama/ollama/

安装完成之后,打开一个cmd命令窗口,输入"ollama"命令,如果显示ollama相关的信息就证明安装已经成功了!

常见指令:

复制代码
ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息  

2. 利用Ollama安装DeepSeek

在dos窗口下,输入:

复制代码
ollama run deepseek-r1:8b

3. 安装AnythingLLM

直接安装以后,就可以看到

文档上传解析



4. Window安装Milvus

Milvus简介

Milvus是一款开源的向量数据库,具有高度的灵活性、稳定可靠性以及高速查询等特点。它支持针对TB级向量的增删改操作和近实时查询,适用于大规模向量数据的存储和检索。

Milvus集成了多种广泛应用的向量索引库,如Faiss、NMSLIB和Annoy等,并提供了简单直观的API,用户可以根据不同场景选择适合的索引类型。此外,Milvus还可以对标量数据进行过滤,进一步提高召回率,增强搜索的灵活性。

Milvus被广泛应用于多个领域,包括图像处理、机器视觉、自然语言处理、语音识别、推荐系统以及新药发现等。它的源代码托管在Github上,这使得社区可以轻松地访问、使用和贡献代码。

官网:https://milvus.io/zh

安装步骤

  1. 先安装docker Desktop

  2. 然后下载milvus-standalone-docker-compose.yml
    下载完成后得到的是一个milvus-standalone-docker-compose.yml文件,需要重命名为docker-compose.yml,然后将yml文件复制到工作路径下:

  3. 然后打开命令行终端,cd到你的文件目录下,运行下面代码

    docker-compose up -d

  4. 等待一段时间,就可以去查看doker,或者终端输入

    docker-compose ps

  5. 安装客户端工具attu

执行命令,加个 -d 在后台运行

复制代码
docker run -d -p 8000:3000 -e MILVUS_URL=127.0.0.1:19530 zilliz/attu:v2.2.8

或者Window安装,地址如下:

https://download.csdn.net/download/wu2374633583/90456544

相关推荐
DreamBoy_W.W.Y7 天前
Milvus搜索机制
milvus
TheBestRucy19 天前
从零构建企业级“中文法律智能问答系统”:FastAPI+Milvus+混合检索+真流式RAG实战
fastapi·milvus
Flynn Liang19 天前
内存/Redis/PGVector/Milvus/ES 怎么选?Spring AI VectorStore 抽象与向量库选型对照表
redis·elasticsearch·milvus·rag·springai·pgvector·向量库
kyrie_sakura21 天前
大模型学习19 大模型学习 - LangChain2_Retrieval(RAG-文档处理-向量处理检索-Milvus)
学习·langchain·milvus
Maiko Star21 天前
*【HM-LC】Milvus向量库详解:Collection、索引、混合检索与LangChain实战
langchain·milvus
霸道流氓气质23 天前
AI 图片管理平台:Spring AI 原生多模态、Milvus 向量语义检索与 MinIO 预签名安全管控的 React + 全栈生产级实战
人工智能·spring·milvus
一枕槐安48723 天前
多模态RAG实战:PDF图文混合文档检索问答本地跑通
langchain·pdf·milvus·ai应用开发·多模态rag
ai大模型-探索者1 个月前
BGE-M3三种向量在Milvus怎么存(稠密、稀疏、多向量)
milvus·稀疏·多向量·稠密
唠点键盘之外的1 个月前
29 切片的权限隔离(实战篇):Milvus + Spring AI,从 0 搭一条带权限过滤的检索链路
人工智能·spring·milvus
ai大模型-探索者1 个月前
Milvus向量数据库(介绍与使用)
数据库·milvus