解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
取啥都被占用15 小时前
milvus+flask山寨《从零构建向量数据库》第7章case2
flask·milvus·向量数据库
游王子15 小时前
Milvus(24):全文搜索、文本匹配
milvus
ZHOU_WUYI2 天前
Milvus Docker 部署教程
docker·容器·milvus
feilieren4 天前
Windows 安装 Milvus
数据库·ai·milvus
tangjunjun-owen4 天前
Milvus 2.4 使用详解:从零构建向量数据库并实现搜索功能(Python 实战)
数据库·python·milvus·rag
GalenZhang8884 天前
langchain4j中使用milvus向量数据库做RAG增加索引
数据库·milvus
游王子4 天前
Milvus(21):过滤搜索、范围搜索、分组搜索
milvus
FeelTouch Labs4 天前
Milvus 视角看重排序模型(Rerankers)
milvus
在未来等你7 天前
互联网大厂Java求职面试:基于RAG的智能问答系统设计与实现-2
java·智能问答·milvus·向量数据库·rag·spring ai
取啥都被占用8 天前
milvus+flask山寨复刻《从零构建向量数据库》第7章
milvus