解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
会发paper的学渣4 天前
milvus和attu客户端的安装
milvus
Zilliz Planet4 天前
SentenceTransformers×Milvus:如何进行向量相似性搜索
milvus
强哥之神4 天前
向量搜索工具之 Milvus vs. Elastic
人工智能·机器学习·语言模型·llama·milvus·向量搜索·搜索数据库
花千树-01018 天前
Milvus - GPU 索引类型及其应用场景
运维·人工智能·aigc·embedding·ai编程·milvus
花千树-01022 天前
Milvus - 时间同步机制详解
aigc·embedding·ai编程·milvus
晨曦_子画22 天前
将 IBM WatsonX 数据与 Milvus 结合使用,构建用于知识检索的智能 Slack 机器人
机器人·milvus
花千树-01022 天前
Milvus - 标量字段索引技术解析
人工智能·aigc·embedding·ai编程·milvus·db
花千树-01022 天前
深入探讨 Tantivy 及其在 Milvus 中的应用:倒排索引库对比与选择
elasticsearch·全文检索·lucene·milvus·es
07122109822 天前
向量库Milvus异常挂了,重新启动
java·开发语言·milvus
花千树-0101 个月前
Milvus - 四个主要时间戳参数
aigc·embedding·ai编程·milvus