解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
昙鱼1 天前
Markdown文件导入Milvus向量数据库完整指南
数据库·ai·milvus
昙鱼1 天前
embeddingModel操作milvus数据库集合
spring boot·milvus·spring ai
x***J3481 天前
VueWebSocket案例
分布式·milvus·appcompat
6***x5451 天前
C++在计算机视觉中的图像处理
c++·图像处理·计算机视觉·游戏引擎·logback·milvus
weixin_446260856 天前
Milvus:高效能的云原生向量数据库
数据库·云原生·milvus
勇往直前plus7 天前
Milvus数据更新:使用Upsert API实现标量字段批量更新
milvus
StringKai10 天前
milvus+langchain实现RAG应用
langchain·milvus
~kiss~11 天前
Milvus-云原生和分布式的开源向量数据库-介绍
分布式·云原生·milvus
l12345sy13 天前
Milvus——向量索引 :IVF_FLAT
milvus·ivf_flat
大连滚呢王13 天前
Linux(麒麟)服务器离线安装单机Milvus向量库
linux·python·milvus·银河麒麟·milvus_cli