解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
YiRan_Zhao4 小时前
Milvus从连接到查询操作手册
milvus
庚昀◟12 小时前
基于 LangChain、RAG、LoRA 、Streamlit 的知识库问答客服系统从零到一(附项目源码)
人工智能·langchain·milvus
不爱吃米饭_1 天前
Milvus 和 PGVector,哪个更好?
milvus
响叮当!1 天前
Milvus 向量数据库使用指南
数据库·milvus
YiRan_Zhao3 天前
milvus-2.3.12安装部署
milvus
YiRan_Zhao4 天前
milvus的客户端pymilvus安装
milvus
程序员老邢5 天前
【技术底稿 17】DevOps 监控告警实战踩坑复盘 —— 企微机器人告警 + Milvus 向量库监控全流程验证
运维·机器人·企业微信·devops·milvus
james的分享5 天前
向量数据库之Milvus
数据库·milvus
程序员老邢6 天前
【产品底稿 05】商助慧 V1.1 里程碑:RAG 文章仿写模块全链路实现
java·spring boot·程序人生·ai·milvus
Flying pigs~~6 天前
从零到一构建企业级 RAG 问答系统:一个完整的模块化实践指南
数据库·人工智能·缓存·大模型·milvus·知识库·rag