解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
文天大人2 天前
Milvus-04-collection-metric_type度量类型COSINE/L2/IP
milvus
文天大人2 天前
Milvus-05-将文本变成向量并入库
milvus
sunywz2 天前
【AI RAG知识库】05.【导入】【节点7】node_import_milvus.md
人工智能·milvus
文天大人3 天前
Milvus-02-创建collections
milvus
zhoupenghui1684 天前
【AI大模型应用开发】【项目实战】13.RAG智慧问答项目-(一)项目介绍&项目架构&项目环境配置
人工智能·docker·ai·milvus·rag·attu·rag智慧问答项目
阿拉斯攀登5 天前
向量数据库选型:Milvus vs Chroma vs Elasticsearch
数据库·elasticsearch·milvus·知识库·rag·个人知识库
bang冰冰5 天前
Windows安装Milvus(Docker部署)
milvus
毒爪的小新5 天前
踩坑实录 | RAG知识库完整搭建-Milvus2.4+BGE大中文AI模型嵌入
linux·人工智能·ai·milvus·rag
第十昵称6 天前
[milvus-backup]milvus-standalone跨服务器迁移
milvus
zhiSiBuYu05177 天前
Milvus、Pinecone 与 FAISS 向量数据库选型与实战指南
数据库·milvus·faiss