MySQL大表数据导入到MongoDB

修改参数 ,开启into outfile的功能

secure_file_priv='/home/backups/mysql_outfile'

重启数据库是参数生效

按条件导出MySQL数据

sql 复制代码
select  * from receipt_receive_log  where gmt_create >= '2020-04-13 00:00:00' and gmt_create<= '2020-07-13 00:00:00' INTO OUTFILE '/home/backups/mysql_outfile/receipt_receive_log_2020_q1.csv' FIELDS TERMINATED BY ',' ENCLOSED BY "'" LINES TERMINATED BY '\n';

FIELDS TERMINATED BY ',' 字段用逗号分割

ENCLOSED BY "'" 每个字段的数据用引号

LINES TERMINATED BY '\n' 每行数据换行

导出表头

注意表头的字段不能加引号,否则导入到MongoDB的时候字段名也会有引号

SELECT column_name FROM information_schema.columns WHERE table_schema = 'workingplatform_prod' AND table_name = 'receipt_receive_log' INTO OUTFILE '/home/backups/mysql_outfile/receipt_receive_log_tableHead.csv' FIELDS TERMINATED BY ',' LINES TERMINATED BY ',';

创建导入账号

在要导入数据的MongoDB数据库下创建一个账号

db.createUser( {user: "user_name",pwd: "123",roles: [ { role: "readWrite", db: "db_name" }] })

使用mongoimport导入

mongoimport --headerline --type=csv -d workingplatform_test -c receipt_receive_log_2020_q1 -h 10.89.181.21 --port=27017 -u workingplatform_test_rw -p 123 --file=receipt_receive_log_q1.csv -vv

导入报错

Failed: read error on entry #231885: line 231886, column 7245: bare " in non-quoted-field

'单据转换错误:Unparseable date: ""',

根据报错查看数据 发现该条数据中有引号,引号会被识别为CSV文件类象的分隔符, 导致导入报错。

相关推荐
尘下吹霜7 分钟前
【鉴权架构】SpringBoot + Sa-Token + MyBatis + MySQL + Redis 实现用户鉴权、角色管理、权限管理
spring boot·mysql·mybatis
weixin_4414552629 分钟前
Mysql MVCC
数据库·mysql
Su-RE1 小时前
【ElasticSearch】text 和 keyword 类型区分
java·数据库·elasticsearch
武子康1 小时前
Java-146 深入浅出 MongoDB 数据插入、批量写入、BSON 格式与逻辑查询and or not操作指南
java·开发语言·数据库·sql·mongodb·性能优化·nosql
奥尔特星云大使1 小时前
MySQL快速构建主从(基于GTID)
数据库·mysql·主从复制
小园子的小菜1 小时前
MySQL ORDER BY 深度解析:索引排序规则与关键配置参数阈值
数据库·mysql
wxjlkh1 小时前
Oracle Exadata一体机简介 1千多个W
数据库·oracle
泽虞1 小时前
《Qt应用开发》笔记p3
linux·开发语言·数据库·c++·笔记·qt·面试
XXYBMOOO1 小时前
如何自定义 Qt 日志处理并记录日志到文件
开发语言·数据库·qt
不剪发的Tony老师2 小时前
PEV2:一款PostgreSQL执行计划可视化工具
数据库·postgresql