解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
三月七(爱看动漫的程序员)4 天前
LLM面试题六
数据库·人工智能·gpt·语言模型·自然语言处理·llama·milvus
ghostwritten7 天前
Run Milvus in Kubernetes with Milvus Operator
容器·kubernetes·milvus
下海的alpha13 天前
milvus单节点安装教程
milvus
下海的alpha14 天前
milvus-use教程 python
开发语言·python·milvus
摆烂z14 天前
向量数据库milvus文档地址
milvus
重整旗鼓~14 天前
3.milvus索引-HNSW
milvus·向量数据库
Zilliz Planet15 天前
Milvus×最新版DeepSeek v3:对标Claude,本地数据五分钟写网站
milvus
IT_Octopus16 天前
springboot milvus search向量相似度查询 踩坑使用经验
spring boot·milvus
重整旗鼓~17 天前
4.milvus索引FLAT
milvus·向量数据库
无极低码18 天前
基于deepseek的智能语音客服【第四讲】封装milvus数据库连接池封装
数据库·人工智能·milvus·连接池·向量数据库·向量化