Milvus load 加载速度很慢!load so slowly!

文章目录

  • [1. 现象描述](#1. 现象描述)
  • [2. 原因及解决方案](#2. 原因及解决方案)
    • [2.1 load干了哪些事情?](#2.1 load干了哪些事情?)
    • [2.2 index原因推测](#2.2 index原因推测)
      • [2.2.1 服务器内存太小或者不足](#2.2.1 服务器内存太小或者不足)
      • [2.2.2 先设置Index再Insert数据](#2.2.2 先设置Index再Insert数据)

1. 现象描述

当你建立了一个milvus collection之后,collection.load()到内存时,速度很慢,比如20分钟没有结果,这是什么原因?

2. 原因及解决方案

2.1 load干了哪些事情?

我猜测:load函数的一个动作是将milvus计算好的index加入到内存中去。原因是:

  1. 如果在load前,没有设定index,那么load会报错提示你没有设定index。
  2. Milvus的所有相似计算,都是基于index进行的,所以load的时候一定会将index结果加载到内存。
  3. 建立好milvus的collection后,首次load时,有时会很耗时间,有时又不怎么耗时间。这是因为如果你在insert前,就create_index的,那么insert环节一并计算生成index,所以首次load只需要将结果load到内存,速度很快;如果create_index发生在insert环节后,那么load环节就会计算index,然后再加载到内存,显然load速度就会慢了。

由此推测,您的load函数非常慢,很有可能是index环节速度太慢或者出了问题!

2.2 index原因推测

2.2.1 服务器内存太小或者不足

向量百万,计算index,需要比较多的内存和计算量。看看您的机器是否内存不足了。

测试方法:找一个空的机器去,上milvus试一下,或者将现在milvus服务器释放一些内存试试。

2.2.2 先设置Index再Insert数据

相关推荐
YiRan_Zhao20 小时前
milvus-2.3.12安装部署
milvus
YiRan_Zhao1 天前
milvus的客户端pymilvus安装
milvus
程序员老邢2 天前
【技术底稿 17】DevOps 监控告警实战踩坑复盘 —— 企微机器人告警 + Milvus 向量库监控全流程验证
运维·机器人·企业微信·devops·milvus
james的分享3 天前
向量数据库之Milvus
数据库·milvus
程序员老邢4 天前
【产品底稿 05】商助慧 V1.1 里程碑:RAG 文章仿写模块全链路实现
java·spring boot·程序人生·ai·milvus
Flying pigs~~4 天前
从零到一构建企业级 RAG 问答系统:一个完整的模块化实践指南
数据库·人工智能·缓存·大模型·milvus·知识库·rag
Flying pigs~~4 天前
RAG 项目完整学习笔记与总结
agent·milvus·rag·智能体·检索增强生成
Flying pigs~~4 天前
企业级模块化RAG项目(mysql➕redis➕milvus➕模型微调➕bm25➕fastapi➕ollama➕Prompt➕多策略选择)
人工智能·redis·mysql·docker·prompt·milvus·rag
小程故事多_805 天前
Agent+Milvus,告别静态知识库,打造具备动态记忆的智能AI助手
人工智能·深度学习·ai编程·milvus
许彰午7 天前
零成本搭建RAG智能客服:Ollama + Milvus + DeepSeek全程实战
人工智能·语音识别·llama·milvus