解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
知行合一。。。1 小时前
LangChain--11--Milvus
langchain·milvus
二进制_博客1 天前
Milvus-lite的使用
milvus
tqs_123452 天前
Agent智能体+Skill插件引擎+Milvus混合检索 技术沉淀
java·python·milvus
逐米时代3 天前
向量数据库选型——Chroma、Qdrant、Milvus到底怎么选
数据库·milvus
粗体鱼4 天前
RAG/Agent 记忆混合检索多路召回:RRF 算法与Chunk RRF、Document RRF如何决策TopK
postgresql·milvus·es·rag·rff·mermory
小大宇5 天前
python milvus 案例
开发语言·python·milvus
sugar__salt6 天前
向量数据库从零到实战:用 Milvus + Zilliz 构建 AI 日记语义检索系统
数据库·人工智能·embedding·milvus·rag·zilliz
meilindehuzi_a7 天前
Node.js 实战 Milvus 向量数据库:从建库、向量检索到 RAG AI 日记本
数据库·node.js·milvus
华大哥8 天前
Milvus向量数据库和Milvus向量数据库命令行工具:milvus-cli
数据库·milvus
Lemon0309239 天前
milvus
milvus