解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
IT小盘1 天前
08-向量数据库选型-Chroma-FAISS-Milvus-pgvector
数据库·人工智能·milvus·faiss
安_1 天前
如何为 RAG 项目选择向量数据库?Milvus、Pinecone、Chroma 怎么选?
数据库·milvus
知行合一。。。2 天前
LangChain--11--Milvus
langchain·milvus
二进制_博客2 天前
Milvus-lite的使用
milvus
tqs_123453 天前
Agent智能体+Skill插件引擎+Milvus混合检索 技术沉淀
java·python·milvus
逐米时代4 天前
向量数据库选型——Chroma、Qdrant、Milvus到底怎么选
数据库·milvus
粗体鱼5 天前
RAG/Agent 记忆混合检索多路召回:RRF 算法与Chunk RRF、Document RRF如何决策TopK
postgresql·milvus·es·rag·rff·mermory
小大宇6 天前
python milvus 案例
开发语言·python·milvus
sugar__salt7 天前
向量数据库从零到实战:用 Milvus + Zilliz 构建 AI 日记语义检索系统
数据库·人工智能·embedding·milvus·rag·zilliz
meilindehuzi_a8 天前
Node.js 实战 Milvus 向量数据库:从建库、向量检索到 RAG AI 日记本
数据库·node.js·milvus