解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
西柚小萌新10 小时前
【大模型:RAG】--向量数据库Milvus详解1
milvus
明阳~1 天前
Milvus向量数据库:AI时代的向量搜索利器
agent·milvus·向量数据库·rag
路边草随风6 天前
milvus向量数据库使用尝试
人工智能·python·milvus
java_logo6 天前
Onlyoffice Documentserver Docker 容器化部署指南
运维·人工智能·docker·容器·onlyoffice·milvus·documentserver
Zilliz Planet8 天前
如何优化英伟达CAGRA,实现GPU建图+CPU查询,成本效率兼顾| Milvus Week
人工智能·算法·搜索引擎·milvus
工藤学编程8 天前
零基础学AI大模型之LangChain+Milvus实战:相似性搜索与MMR多样化检索全解析
人工智能·langchain·milvus
Fuly10249 天前
langchain基础教程(6)---构建知识库--②向量数据库-milvus
数据库·langchain·milvus
工藤学编程9 天前
零基础学AI大模型之LangChain整合Milvus:新增与删除数据实战
人工智能·langchain·milvus
java_logo10 天前
Milvus GUI ATTU Docker 容器化部署指南
运维·数据库·docker·容器·eureka·milvus
java_logo11 天前
MILVUS Docker 容器化部署指南
运维·人工智能·docker·容器·prometheus·milvus