解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
Muyuan199816 小时前
29.从 FAISS 到 Milvus:给我的 RAG Agent 项目加一层可替换的向量检索后端
fastapi·milvus·faiss
AIGC包拥它18 小时前
RAG 项目实战进阶:基于 FastAPI + Vue3 前后端架构全面重构 LangChain 0.3 集成 Milvus 2.5 构建大模型智能应用
人工智能·python·重构·vue·fastapi·milvus·ai-native
My_Java_Life1 天前
windows中使用docker部署Milvus和Autt
windows·docker·milvus
霸道流氓气质2 天前
基于 Milvus Lite 的 Spring AI RAG 向量库实践方案与示例
人工智能·spring·milvus
隔窗听雨眠3 天前
基于Milvus混合检索与Java SpringBoot的全栈实现
milvus
毋语天3 天前
从零搭建 RAG 系统:Milvus 向量数据库 + 大模型完整实战指南
数据库·milvus
qq_283720054 天前
Milvus 向量数据库全链路优化实战教程
数据库·milvus
Traving Yu5 天前
向量数据库Milvus
数据库·人工智能·milvus
序冢--磊5 天前
milvus 部署排查
milvus