解决milvus migration 迁移数据到出现数据丢失问题

在迁移数据的时候发现数据丢失

问题是数据在批量迁移的过程中,这个错误会被忽略掉

分析下来是因为buuferSize 设置的是500条数据,但是迁移工具对一次迁移的数据是是有大小限制的,如果500条数据的总大小大于4194304,就会导致数据迁移失败。

解决方案:bufferSize 修改的条数少一点

注意:这个在2.3.x 迁移到2.4.5 的时候没有出现这个问题,问题出现在2.4.5迁移到2.4.13-hotfix的时候出现的。

相关推荐
SuniaWang10 天前
Milvus 深度解析:为 AI 而生的云原生向量数据库
数据库·人工智能·milvus
£漫步 云端彡10 天前
安装 Milvus Standalone 模式的完整指南及常见问题解决
milvus
寂寞旅行19 天前
向量数据库Milvus的使用
数据库·milvus
CCPC不拿奖不改名20 天前
虚拟机基础:在VMware WorkStation上安装Linux为容器化部署打基础
linux·运维·服务器·人工智能·milvus·知识库搭建·容器化部署
heimeiyingwang20 天前
如何用向量数据库构建企业级语义检索系统
数据库·mongodb·nosql·milvus
rongyili8821 天前
Dify 外部知识库集成 Milvus 实战指南
开发语言·python·milvus
Hoking22 天前
milvus向量数据库介绍与部署(docker-compose)
人工智能·milvus·向量数据库
IT_Octopus22 天前
AI 工程 生产级别 向量数据库 Milvus 部署架构&多租户方案&节点流程简单总结
数据库·架构·milvus
IT_Octopus23 天前
AI 工程 生产级别向量数据库Milvus2.6.10性能测试报告
数据库·人工智能·milvus
陌陌62324 天前
应届生第一门 AI 大模型实战课:RAG、Dify、Milvus 与 Vibe Coding
人工智能·milvus