msyql迁移到mongodb

关系型数据库迁移到mongodb的理由

高并发需求,关系型数据库不容易扩展

快速迭代

灵活的json模式

大数据量需求

应用迁移难度:

关系型到关系

oracle-》mysql oracle -》 postgresql

关系到文档-

oracle -》 mongodb

需要考虑:

总体架构(单体到分布式)

模式设计(关系模式到文档模型)

SQL语句/储存过程/JDBC/ORM

数据迁移(如何处理已有数据?)

模式设计:

针对已有关系模型,考虑如何用文档模型进行设计

方法一:使用mongexport

一次性导入,需要停机

1.数据库导出

mysql添加参数secure-file-priv=/tmp #/tmp为导出的目录

方法一:

mysqldump导出:

-T 参数用于指定导出结果的目录和表文件名前缀,会导出txt格式的数据

mysqldump -uroot -p123456 test -T /tmp/

cat /tmp/testlog.txt

select导出:

select * from test.testlog into outfile '/tmp/testlog.csv';

导出后添加,号 sed -i.bak 's/\t/,/g' testlog.txt

2.导入

mongoexport导入

方法一

bash 复制代码
 --headerline -第一行做为mongodb中的列,要编辑testlog.txt添加列
 mongoimport  -d test -c testlog --headerline --type=csv /tmp/testlog.txt
2023-11-30T00:46:52.430+0800	connected to: mongodb://localhost/
2023-11-30T00:46:52.756+0800	29757 document(s) imported successfully. 0 document(s) failed to import.

方法二

-f指定列(就是mongodb中的列)导入

mongoimport -d test -c testlog -f id,name,salary --type=csv /tmp/testlog.txt

mongodb查看文档信息正常

test> use test

already on db test

test> db.testlog.find()

db.dropDatabase() 删除当前数据库

方法二:批量同步

安装同步工具(如kettle/Talend)

创建输入源(关系型数据库)

创建输入源(mongodb)

编辑数据同步任务

执行

备注:

适用3变量同步,定期更新,特别是每晚跑批

支持基于时间戳的增量同步,需要源表有合适的时间戳支持

对源库有明显的性能影响,不宜频繁查询

不支持实时同步

三 实时同步

安装实时同步工具(如informatica/Tapdata)

创建输入

创建输入源(关系型数据库)

创建输入源(mongodb)

编辑实时数据同步任务

执行

备注:

基于源库的日志文件解析进制,可以实现秒级数据同步

对源库性能影响较少

可以支持应用的无缝迁移

四 应用主导迁移

应用程序写代码

相关推荐
Java探秘者2 小时前
Maven下载、安装与环境配置详解:从零开始搭建高效Java开发环境
java·开发语言·数据库·spring boot·spring cloud·maven·idea
2301_786964363 小时前
3、练习常用的HBase Shell命令+HBase 常用的Java API 及应用实例
java·大数据·数据库·分布式·hbase
阿维的博客日记4 小时前
图文并茂解释水平分表,垂直分表,水平分库,垂直分库
数据库·分库分表
wrx繁星点点4 小时前
事务的四大特性(ACID)
java·开发语言·数据库
小小娥子5 小时前
Redis的基础认识与在ubuntu上的安装教程
java·数据库·redis·缓存
DieSnowK5 小时前
[Redis][集群][下]详细讲解
数据库·redis·分布式·缓存·集群·高可用·新手向
-XWB-6 小时前
【MySQL】数据目录迁移
数据库·mysql
老华带你飞6 小时前
公寓管理系统|SprinBoot+vue夕阳红公寓管理系统(源码+数据库+文档)
java·前端·javascript·数据库·vue.js·spring boot·课程设计
我明天再来学Web渗透6 小时前
【hot100-java】【二叉树的层序遍历】
java·开发语言·数据库·sql·算法·排序算法
Data 3176 小时前
Hive数仓操作(十一)
大数据·数据库·数据仓库·hive·hadoop