解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
风流 少年15 小时前
langchain-milvus(Hybrid 混合检索)
milvus
IT码农-爱吃辣条16 小时前
Milvus 向量数据库 Python 实战教程
数据库·python·milvus
半兽先生1 天前
RAG 避坑指南:Embedding 模型与 Milvus 向量维度选型全解析
embedding·milvus
像风一样自由20202 天前
17.Milvus如何完成一次向量相似度检索
人工智能·postgresql·大模型·milvus·rag·智能体
像风一样自由20202 天前
19.Milvus数据分片扩展与高并发设计
postgresql·大模型·milvus·rag·智能体
m0_579146656 天前
PostgreSQL+Milvus分层存储架构:双写一致性与CAP理论取舍分析
postgresql·架构·milvus·cap
Chasing__Dreams6 天前
向量数据库--Milvus--2--介绍
数据库·milvus
像风一样自由20206 天前
15.Milvus是什么?为什么RAG系统经常使用它?
postgresql·大模型·milvus·rag·智能体
老郑聊AI业财智造7 天前
数据不搬家,也能做检索:Milvus的“湖原生”架构革命
人工智能·ai·架构·软件工程·软件构建·milvus
像风一样自由20207 天前
14.什么时候用pgvector什么时候单独部署Milvus
postgresql·大模型·微调·milvus