解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
woshiabc1113 天前
安装milvus以及向量库增删改操作
milvus
阿里云大数据AI技术5 天前
通过阿里云 Milvus 与 PAI 搭建高效的检索增强对话系统
大数据·阿里云·云计算·milvus·向量检索
MonkeyKing_sunyuhua7 天前
milvus 支持向量化索引的方法
python·算法·milvus
Zilliz Planet7 天前
RAG开发中,如何用Milvus 2.5 BM25算法实现混合搜索
开发语言·python·算法·milvus
坐吃山猪15 天前
Milvus向量数据库04-Pipelines搭建RAG应用
数据库·milvus
❀͜͡傀儡师16 天前
使用docker-compose安装Milvus向量数据库及Attu可视化连接工具
数据库·docker·milvus
坐吃山猪16 天前
Milvus向量数据库01-基础概念
数据库·milvus
晨欣16 天前
Milvus中如何实现全文检索(Full Text Seach)?
python·全文检索·milvus
报名搜谷安16 天前
OSCP:我理解的Web环境知识
milvus·faiss·iotdb