解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
温暖小土1 天前
CentOS 部署 Milvus 向量数据库完整指南
centos·ai编程·milvus·向量数据库
91刘仁德3 天前
RAG实战-从 NoSQL 到 Milvus 混合检索的架构演进
架构·nosql·milvus
91刘仁德4 天前
RAG实战 - 向量数据库(Milvus)
数据库·milvus
梦想不只是梦与想4 天前
向量数据库Milvus: 管理与工具
大模型·milvus·attu
海天一色y12 天前
生产级医疗AI Agent:Multi-Agent RAG架构解析
redis·milvus·multi-agent
Hrain-AI12 天前
AI 爬虫三档授权工程落地:搜索放行、训练拦截、Agent 分层(附脚本)
人工智能·elasticsearch·milvus
happy_king_zi13 天前
Milvus 生产环境部署,优化,日常维护中遇到的问题
llm·milvus
jason_renyu14 天前
Windows 环境下 Python 方式安装 Milvus 向量库与 Attu 避坑指南
人工智能·milvus·windows安装milvus·windows安转向量库
forestsea16 天前
从零构建 Java 智能体 RAG 系统:Milvus 向量数据库实战指南
java·数据库·milvus