loader命令导出大批量数据维护SQL

一、背景

工作学习中,经常遇到几千,甚至上万条的数据维护任务,如果一条一条进行数据维护SQL的编写,将是巨大的工作量。本文将分享2个小技巧,减小准备大批量数据维护SQL的工作量。

方案 1: loader 支持直接输出文本

loader 执行纯 SELECT,然后用 shell 重定向:

java 复制代码
loader \
  -type="out" \
  -db-conn-info="196.0.0.1:8002" \
  -sql="SELECT CONCAT('update table set field1=''小时'',field2=''虽然'' where field3=''', field3, ''' and field4=''', field4, ''';') FROM table1 WHERE field3='12345';" \
  -user="admin" \
  -password="123456" \
  > /data/path/file.sql 2>log/table1.log &

MySQL 中字符串用两个单引号 '' 转义,而不是反斜杠。

方案 2:当 loader 直接连 MySQL用 INTO OUTFILE

java 复制代码
SELECT CONCAT('update `table` set field1=\'小时\',field2=\'虽然\' where field3=\'', field3, '\' and field4=\'', field4, '\';')
FROM table1
WHERE field3 = '12345'
INTO OUTFILE '/data/export/file.sql'
FIELDS TERMINATED BY ''
LINES TERMINATED BY '\n';
相关推荐
逻辑驱动的ken1 小时前
Java高频面试考点18
java·开发语言·数据库·算法·面试·职场和发展·哈希算法
qq_392690661 小时前
Redis怎样应对Redis集群整体宕机带来的雪崩
jvm·数据库·python
快乐非自愿2 小时前
Redis--SDS字符串与集合的底层实现原理
数据库·redis·缓存
这儿有一堆花2 小时前
住宅代理(Residential Proxy)技术指南
开发语言·数据库·php
茉莉玫瑰花茶3 小时前
LangChain 核心组件 [ 2 ]
java·数据库·langchain
存在的五月雨3 小时前
Mysql 索引的一些
数据库·mysql
黄俊懿4 小时前
MySQL主从复制:从“异步“到“GTID“,数据同步的进化之路
数据库·sql·mysql·oracle·架构·dba·db
看海的四叔4 小时前
【SQL】SQL-管好你的字符串
大数据·数据库·hive·sql·数据分析·字符串
秋95 小时前
TiDB 数据库全链路实战指南:从下载部署到 Java 高并发调优
java·数据库·tidb
zhou周大哥5 小时前
银河麒麟安装mysql
数据库·mysql