解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
Clarence Liu1 天前
Milvus学习(1) 架构和部署
学习·架构·milvus
托尼吴2 天前
milvus 向量数据库学习笔记-基础认识
数据库·学习·milvus
liuc03172 天前
调用embedding生成向量并存储到milvus中,进行查询
embedding·milvus
西柚小萌新4 天前
【大模型:RAG】--向量数据库Milvus详解2
数据库·milvus
程序员柒叔5 天前
Dify 集成-向量数据库
数据库·milvus·向量数据库·工作流·dify·向量库
学Linux的语莫9 天前
Milvus向量数据库的操作(基于Langchain)
数据库·langchain·milvus
学Linux的语莫9 天前
向量数据库Milvus的基础概念
milvus
学Linux的语莫10 天前
Milvus向量数据库的基础连接操作
数据库·milvus
Coder_Boy_10 天前
开源向量数据库比较(Chroma、Milvus、Faiss、Weaviate)
数据库·人工智能·spring boot·开源·milvus
咕噜企业分发小米11 天前
阿里云Milvus的HNSW索引如何优化?
阿里云·云计算·milvus