解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
背太阳的牧羊人20 小时前
Neo4j 的向量搜索(Neo4jVector)和常见的向量数据库(比如 Milvus、Qdrant)之间的区别与联系
数据库·neo4j·milvus
knqiufan1 天前
深度解析影响 RAG 召回率的四大支柱——模型、数据、索引与检索
llm·milvus·向量数据库·rag
秦歌6662 天前
向量数据库-Milvus快速入门
数据库·milvus
栗子~~3 天前
Python实战- Milvus 向量库 使用相关方法demo
开发语言·python·milvus
栗子~~3 天前
Milvus docker-compose 部署
docker·容器·milvus
johnny23317 天前
Milvus介绍
milvus
junjunzai12317 天前
milvus和attu的搭建
人工智能·milvus
余衫马18 天前
提升语义搜索效率:LangChain 与 Milvus 的混合搜索实战
langchain·milvus
余衫马20 天前
LangChain 与 Milvus 的碰撞:全文检索技术实践
langchain·全文检索·milvus