向量数据库Milvus部署及试用

向量数据库milvus

Milvus 是一种高性能、高扩展性的向量数据库,可在从笔记本电脑到大型分布式系统等各种环境中高效运行。它既可以开源软件的形式提供,也可以云服务的形式提供。

milvus安装

建议采用Docker进行安装,详见https://milvus.io/docs/zh/install_standalone-docker.md

Docker安装

复制代码
# 下载安装脚本
curl -sfL https://raw.githubusercontent.com/milvus-io/milvus/master/scripts/standalone_embed.sh -o standalone_embed.sh

# 开启Docker容器
bash standalone_embed.sh start

# 关闭Docker容器
bash standalone_embed.sh stop

# 删除Milvus数据
bash standalone_embed.sh delete

# 可视化界面
sudo docker run --ipc=host -p 19532:3000 -e MILVUS_URL=10.1.3.118:19530 zilliz/attu:v2.4

attu界面

Docker Compose安装

重启的时候,容易出现问题,我感觉尽量不要用Docker Compose方式安装

向量数据库试用

复制代码
from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection, utility, Partition, MilvusClient
import time

MILVUS_HOST_LOCAL = '0.0.0.0'
MILVUS_HOST_ONLINE = '0.0.0.0'
MILVUS_PORT = 19530
MILVUS_USER = ''
MILVUS_PASSWORD = ''
MILVUS_DB_NAME = ''
VECTOR_SEARCH_TOP_K = 20
HYBRID_SEARCH = False

## 连接数据库
connections.connect(host='0.0.0.0', port=19530, user='',
                                password='', db_name='', timeout = 3)  # timeout=3 [cannot set]

## 字段定义
fields = [
    FieldSchema(name="pk", dtype=DataType.INT64, is_primary=True, auto_id=False),
    FieldSchema(name="random", dtype=DataType.DOUBLE),
    FieldSchema(name="embeddings", dtype=DataType.FLOAT_VECTOR, dim=8)
]
schema = CollectionSchema(fields)

## session定义
milvus_session = Collection("hello_milvus", schema)

## 建立索引
milvus_session.create_index(field_name='embeddings', index_params = {"metric_type": "L2", "index_type": "IVF_FLAT", "params": {"nlist": 128}})

## 添加分区
milvus_session.create_partition('00')
partitions = [Partition(milvus_session, '00')]

## load内存
milvus_session.load()

## 插入数据
num = 1000000
import random
entities = [
    [i for i in range(num)],  # field pk
    [float(random.randrange(-20, -10)) for _ in range(num)],  # field random
    [[random.random() for _ in range(8)] for _ in range(num)],  # field embeddings
]
partitions[0].insert(entities)

## 等待数据插入完成
time.sleep(10)

## 检索配置
vectors_to_search = [[0.5, -0.5, 0.5, -0.5, 0.5, -0.5, 0.5, -0.5]]
search_params = {
    "metric_type": "L2",
    "params": {"nprobe": 10},
}

## 开始检索
for i in range(10000000) :
    start_time = time.time()
    result = milvus_session.search(data=vectors_to_search, partition_names=['00'], anns_field="embeddings",
                                            param={"metric_type": "L2", "params": {"nprobe": 10}}, limit=2,
                                            output_fields=['pk', 'random'], expr='', timeout=None)

    print(result, 'using time in {} s'.format(time.time() - start_time))

版本要求

Milvus Docker版本:milvusdb/milvus:v2.4.8

pymilvus版本:2.4.5

相关推荐
AAA修煤气灶刘哥7 小时前
后端人速藏!数据库PD建模避坑指南
数据库·后端·mysql
RestCloud11 小时前
揭秘 CDC 技术:让数据库同步快人一步
数据库·api
得物技术14 小时前
MySQL单表为何别超2000万行?揭秘B+树与16KB页的生死博弈|得物技术
数据库·后端·mysql
可涵不会debug18 小时前
【IoTDB】时序数据库选型指南:工业大数据场景下的技术突围
数据库·时序数据库
ByteBlossom18 小时前
MySQL 面试场景题之如何处理 BLOB 和CLOB 数据类型?
数据库·mysql·面试
麦兜*18 小时前
MongoDB Atlas 云数据库实战:从零搭建全球多节点集群
java·数据库·spring boot·mongodb·spring·spring cloud
Slaughter信仰19 小时前
深入理解Java虚拟机:JVM高级特性与最佳实践(第3版)第十章知识点问答(10题)
java·jvm·数据库
麦兜*19 小时前
MongoDB 在物联网(IoT)中的应用:海量时序数据处理方案
java·数据库·spring boot·物联网·mongodb·spring
-Xie-19 小时前
Mysql杂志(十六)——缓存池
数据库·mysql·缓存