Linux之milvus向量数据库安装

一、milvus简介

Milvus是一个开源的向量相似度搜索引擎,主要用于大规模向量数据的存储和查询。它支持多种向量类型,包括稠密向量、稀疏向量、二进制向量等,并提供了多种相似度度量方法,如欧氏距离、余弦相似度、Jaccard相似度等。Milvus支持分布式部署,可以在多台服务器上搭建分布式搜索集群,支持高并发查询和批量查询。Milvus通过提供简单易用的API,可以轻松地与各种应用程序集成,如图像搜索、推荐系统、自然语言处理等领域。此博文以centos环境下安装milvus为例进行介绍,博文实验环境如下:

  • 操作系统:centos7.9
  • docker版本:23.0.1
  • milvus版本:2.2.9

二、安装环境要求

如下是以单机节点部署方式的软硬件安装要求。

1、硬件要求

序号 硬件类型 最低配置要求 推荐配置 备注
1 CPU intel二代以上CPU 4核以上CPU 目前不支持AMD CPU类型
2 CPU指令集 SSE4.2、AVX、AVX2、AVX-512 SSE4.2、AVX、AVX2、AVX-512 确保CPU至少支持一个列出的SIMD扩展
3 内存 8G 16G
4 硬盘驱动 SATA 3.0 SSD或者更高 NVMe SSD或者更高

2、软件要求

对于单机部署来说主要满足满足docker和docker compose组件版本要求就可以,另外几个相关软件是在通过docker compose安装milvus时自动安装的。

序号 软件 要求 备注
1 Linux系统 Docker 19.03以上版本,Docker Compose 1.25.1以上版本
2 etcd 3.5.0 对集群性能至关重要,与磁盘性能相关
3 MinIO RELEASE.2023-03-20T20-16-18Z
4 Pulsar 2.8.2

三、安装步骤

1、安装docker

docker的安装见博文Linux之docker安装,这里不再赘述。

2、安装fio命令

root@yws55 home\]# yum install -y fio

3、磁盘性能测试

理想情况下,磁盘的IOPS应超过500,而fsync延迟的99%以上应低于10ms。

4、检查CPU支持的指令集

我们使用lscpu命令可以查看CPU支持的指令集,Flags的参数值就是该服务器支持的CPU指令集。

5、检查docker版本

根据milvus安装要求,docker版本要求是19.03以上版本,我们这里安装的docker版本为23.0.1,满足要求。

root@yws55 test-data\]# docker -v Docker version 23.0.1, build a5ee5b1

6、安装docker compose组件

根据milvus安装要求,docker compose版本要求是1.25.1以上,我们这里安装的版本是1.29.2,满足要求。

root@yws55 home\]# yum -y install python3-pip \[root@yws55 home\]# pip3 install --upgrade pip \[root@yws55 home\]# pip install docker-compose \[root@yws55 home\]# docker-compose version ... docker-compose version 1.29.2, build unknown ...

7、下载YAML文件

在/home目录下创建一个docker目录,当然这个可以自定义,这个目录将用于存储我们的milvus容器的volumes数据。

root@yws55 home\]# mkdir docker \[root@yws55 home\]# cd docker/ \[root@yws55 docker\]# wget https://github.com/milvus-io/milvus/releases/download/v2.2.9/milvus-standalone-docker-compose.yml -O docker-compose.yml

8、安装milvus容器

在下载存储docker-compose.yml文件的目录下执行docker-compose up -d 命令开始安装milvus容器。

root@yws55 docker\]# docker-compose up -d ... Creating milvus-minio ... done Creating milvus-etcd ... done Creating milvus-standalone ... done \[root@yws55 docker\]# ll total 4 -rw-r--r-- 1 root root 1356 Jun 5 10:35 docker-compose.yml drwxr-xr-x 5 root root 45 Jun 13 14:52 volumes

9、查看milvus容器运行状态

使用docker-compose安装完成milvus后自动启动了,可以使用命令docker ps或者docker-compose ps命令查看容器运行状态。看到milvus-etcd 、milvus-minio 、milvus-standalone三个容器说明安装成功。

10、milvus数据库连接测试

使用浏览器访问连接地址http://ip:9091/api/v1/health,返回{"status":"ok"}说明milvus数据库服务器运行正常。

11、milvus数据库服务管理

  • 停止milvus容器

root@yws55 docker\]# docker-compose stop

  • 启动milvus容器

root@yws55 docker\]# docker-compose start

  • 删除milvus容器
    使用docker-compose down命令会停止milvus容器并删除,然后我们可以rm -rf volumes删除milvus数据。

root@yws55 docker\]# docker-compose down

  • 重启milvus容器

root@yws55 docker\]# docker-compose restart

  • 查看milvus容器日志

root@yws55 docker\]# docker-compose logs

12、更多milvus知识

更多milvus知识见官网

相关推荐
Ffe18 分钟前
Linux提权五:Rbash绕过&Docker&LXD镜像
linux·docker·lxd·提权笔记总结
!沧海@一粟!18 分钟前
Linux-配置虚拟IP实例
linux·网络
济61718 分钟前
I.MX6U 开发板网络环境搭建----(电脑 WiFi 上网,开发板和电脑直连)--虚拟机双网口实现-- Ubuntu20.04
linux·网络·电脑
yuanmenghao31 分钟前
Linux 性能实战 | 第 18 篇:ltrace 与库函数性能分析
linux·python·性能优化
Elastic 中国社区官方博客34 分钟前
Elasticsearch 8.17.2 升级到 9.2.4 完整升级过程
大数据·运维·数据库·elasticsearch·搜索引擎·全文检索·运维开发
熬了夜的程序员35 分钟前
【LeetCode】118. 杨辉三角
linux·算法·leetcode
运维闲章印时光39 分钟前
企业跨地域互联:GRE隧道部署与互通配置
linux·服务器·网络
至此流年莫相忘40 分钟前
Linux部署k8s(Ubuntu)
linux·ubuntu·kubernetes
Hello World . .1 小时前
Linux:线程(thread)
linux·开发语言·vscode
春日见9 小时前
拉取与合并:如何让个人分支既包含你昨天的修改,也包含 develop 最新更新
大数据·人工智能·深度学习·elasticsearch·搜索引擎