解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
花千树-01012 小时前
Milvus - 四个主要时间戳参数
aigc·embedding·ai编程·milvus
AskHarries12 小时前
Spring Boot集成Milvus和deeplearning4j实现图搜图功能
spring boot·后端·milvus·deeplearning4j·djl
陌北v11 天前
Milvus 与 Faiss:选择合适的向量数据库
milvus·faiss·向量数据库
诩en3 天前
SpringBoot/Java/SpringAI使用milvus报错
java·spring boot·milvus
微学AI3 天前
基于大模型的Milvus向量数据库的背景与实战应用,计算与索引机制,Python代码实现
数据库·人工智能·milvus·1024程序员节
xybDIY5 天前
【亚马逊云】基于 Amazon EKS 搭建开源向量数据库 Milvus
aws·milvus·1024程序员节
狂奔solar8 天前
使用milvus数据库实现文本相似比较
数据库·算法·milvus
Jamence8 天前
向量数据库Milvus部署及试用
数据库·milvus
TiDB 社区干货传送门8 天前
Milvus 到 TiDB 向量迁移实践
tidb·milvus