MySQL转移大量数据技巧

旧方法

  • 使用mysqldump,mysqlpump这两个命令行工具,但都有缺陷

    mysqldump的速度太慢,3千万记录要10个小时
    mysqlpump无法使用指定字段名对数据导入

新方法

  • 参考:Mysql亿级数据大表单表备份

  • 使用SQL语法select * from into outfile导出,再使用load data infile '' into table

    select * from 表名(可以使用多表联合查询) into outfile '绝对路径文件名';
    load data infile '绝对路径文件名' into table 表名 (字段名1,字段名2)

面临问题

  • 导出数据时,提示:The MySQL Server is Running with the --secure-file-priv Option So It Cannot Execute This Statement,这个错误可以通过配置my.conf文件解决,在mysqld段落中添加secure-file-priv配置:

    [mysqld]
    secure-file-priv=可用目录

  • 导入时,如果有不需要的字段,可以用@dump占位跳过不需要的字段,或者使用变量来处理,变量是可以进行计算操作的

sql 复制代码
SET @file_name = 'myfilename'
 ;

 LOAD DATA LOCAL INFILE @file_name  
 INTO TABLE revenue_table  
 FIELDS TERMINATED BY ','   
 LINES TERMINATED BY '\n'  
 ( @total_rev
 , @monthly_rev
 , @day_rev
 )
 SET `total_rev`   = @total_rev
   , `monthly_rev` = @monthly_rev
   , `day_rev`     = @day_rev
   , `from`        = @file_name
 ;

合理的流程

  • 先写个语句,看看能不能从A库插入记录到B库,注意限制行数,这个步骤用于避免字段不对应
sql 复制代码
insert into a (字段1,字段2...) select 字段1,字段2... from b limit 10
  • 导出数据后,在目的数据库拷贝粘贴测试好的字段对照,这样就可以避免非常大的麻烦

补充

  • 导入时,可以先删除索引,导入数据完成后再重建,可以提高处理速度
相关推荐
企业数字化笔记41 分钟前
报表上线怎么对账?口径回归、权限抽检与差异定位
java·spring boot·mysql
codeejun1 小时前
每日一Go·MySQL-17、分页优化方案
数据库·mysql
CoderYanger1 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第四弹):图书管理系统(用户登录+添加图书)
java·数据库·spring boot·mysql·面试·java-ee·mybatis
Decay__1 小时前
附 - 02・SQLServer 分库分表与中间件 —— 原生分区表、横向分库实践与联邦查询
运维·数据库·sql·mysql·架构
牧瀬クリスだ1 小时前
从零手写博客系统:分层架构与统一响应(一)
java·数据库·架构·mybatis·springboot·安全架构
the局外人1 小时前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
得物技术2 小时前
从研发经验到团队知识:Akashic知识工程实践|得物技术
数据库·程序员·架构
ClouGence2 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
FungLeo2 小时前
FengCMS ·PHP+MySQL 升级实录 · 安全加固的克制:一份“不做什么“清单,比修了几个漏洞更重要
mysql·安全·php·安全加固·fengcms
wno7043 小时前
Centos下PostgreSQL安装部署详细步骤
java·数据库·spring boot