解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
Java后端的Ai之路1 天前
Milvus 向量数据库从入门到精通:AI 时代的“记忆中枢“实战指南(建议收藏!)
数据库·人工智能·milvus·向量数据库·rag
路小雨~3 天前
Milvus 向量数据库的官方文档笔记
数据库·学习·milvus
工頁光軍4 天前
基于Python的Milvus完整使用案例
开发语言·python·milvus
工頁光軍4 天前
Node.js 操作 Milvus 完整实战案例
node.js·milvus
夏末蝉未鸣016 天前
Windows环境下载并安装milvus
windows·milvus
大傻^9 天前
Spring AI Alibaba 向量数据库集成:Milvus与Elasticsearch配置详解
数据库·人工智能·spring·elasticsearch·milvus·springai·springaialibaba
zone7_9 天前
008-01:RAG 入门-向量存储与企业级向量数据库 milvus
数据库·milvus
冷小鱼9 天前
Milvus 向量数据库完全指南:开源架构与生产级部署实战
数据库·开源·milvus
骇客野人9 天前
向量数据库Milvus的安装使用
数据库·milvus
core51211 天前
深入浅出 Milvus 向量数据库:从核心原理到 Python 实战指南
数据库·python·milvus·向量数据库·语义检索