解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
要努力啊啊啊4 天前
Elasticsearch + Milvus 构建高效知识库问答系统《一》
人工智能·深度学习·elasticsearch·语言模型·milvus
无风听海4 天前
Milvus单机模式安装和试用
大模型·llm·milvus·向量数据库
风筝超冷4 天前
使用Milvus运行一个Milvus单机版实例
milvus
敲键盘的小夜猫4 天前
Milvus向量Search查询综合案例实战(下)
数据库·python·milvus
敲键盘的小夜猫8 天前
LangChain整合Milvus向量数据库实战:数据新增与删除操作
人工智能·python·milvus
孤狼逐月9 天前
Spring boot集成milvus(spring ai)
spring boot·spring·milvus·spring ai
敲键盘的小夜猫9 天前
Milvus索引操作和最佳实践避坑指南
数据库·oracle·milvus
在未来等你10 天前
互联网大厂Java求职面试:AI大模型推理服务性能优化与向量数据库分布式检索
java·llm·milvus·向量数据库·rag·spring ai·语义缓存
Uranus^11 天前
Spring Boot集成Spring AI与Milvus实现智能问答系统
spring boot·milvus·rag·spring ai·智能问答系统
敲键盘的小夜猫11 天前
Milvus分区-分片-段结构详解与最佳实践
java·数据库·milvus