解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
Paraverse_徐志斌2 天前
RAG架构(检索增强生成)与向量数据库
数据库·ai·llm·embedding·milvus·rag
Cherry Zack3 天前
windows系统docker装milvus向量数据库
milvus
分布式存储与RustFS6 天前
告别复杂配置:用Milvus、RustFS和Vibe Coding,60分钟DIY专属Chatbot
wpf·文件系统·milvus·对象存储·minio·rustfs·vibe
泥烟7 天前
使用Milvus和DeepSeek构建RAG demo
大模型·milvus·deepseek
XXX-X-XXJ8 天前
二:RAG 的 “语义密码”:向量、嵌入模型与 Milvus 向量数据库实操
人工智能·git·后端·python·django·milvus
Roam-G8 天前
在 Mac 上使用 Docker 安装 Milvus 2.6.2
docker·容器·milvus
2301_794333911 个月前
Docker Compose 运行 Milvus (Mac) 并与 python 连接测试
macos·docker·milvus
勇往直前plus1 个月前
Milvus快速入门以及用 Java 操作 Milvus
java·spring boot·embedding·milvus
乔公子搬砖2 个月前
构建企业级RAG系统:基于Milvus的模块化实现与全流程解析
大数据·人工智能·python·ai·milvus·rag·向量库
runfarther2 个月前
Milvus 向量数据库开发实战指南
python·ai·大语言模型·数据库开发·milvus