shell脚本拉取mysql数据

需求:假设有一个mysql数据库,用户名密码为test,有一个test库,test库下有128个表,表名依次为test_1,...,test_128,表字段都一样,有一个uid为主键。现在给你一个uid.csv文件,里面只有一个字段uid,数据可能有上万行。写一个shell脚本,连接到mysql,根据uid查询到对应的数据并返回。注意每个uid对应的表名可能不一样,应先用uid对128求余,然后作为test_的后缀为表名。

以下是用gemini生成的代码

bash 复制代码
#!/bin/bash

# 定义数据库连接信息
HOST="localhost"
USERNAME="root"
PASSWORD="password"

# 读取 uid.csv 文件
while read uid; do
    # 计算表名后缀
    table_suffix=$((uid % 128 + 1))
    table_name="test_$table_suffix"

    # 查询数据
    data=$(mysql -h $HOST -u $USERNAME -p$PASSWORD test -e "SELECT * FROM $table_name WHERE uid = $uid")

    # 处理数据
    if [[ -n $data ]]; then
        echo "UID: $uid"
        echo "Data: $data"
    else
        echo "UID $uid not found."
    fi
done < uid.csv

最后它也给出了优化建议:

但是要求根据优化建议来修改脚本时,给出的是把查询结果不尽人意。

优化原则:

  1. mysql连接复用,给出的代码是一次查询执行一次mysql命令,即会建立一次连接。
  2. 并发执行,每次并发操作可读取1000行数据。

对于1,mysql命令可以接收一个sql文件作为参数,因此可以先把要查询的sql先写入一个文件,然后再传入mysql命令;由于数据太多,因此输出也写入一个文件。 对于2,应该把一次查询操作写成一个函数,函数每次执行1000行的查询;并在上层并发调用。

封装一个query函数:

bash 复制代码
query() {
  # 参数1:文件id
    fileId=$1
    # 参数2:查询的行数
    qureyNum=$2
    start=$((($fileId-1) * 2000 + 1))
    end=$(($start + $qureyNum - 1))
    sedpar="$start,$(($end))p"
    select="*"
    echo "查询第 $start 到 $end 行"
    # 先sql清空文件
    echo "" > $fileId.sql
    for i in $(sed -n $sedpar uid.csv); do
      # 追加到sql文件
      let tableId=$((i%128))
      echo "select $select from test_$tableId where uid=$i;" >> $fileId.sql
    done
    # 传入sql文件执行
    mysql -h $HOST -u $USERNAME -p$PASSWORD test < $fileId.sql > $fileId.result.csv
    echo "第 $fileId 文件查询完成"
}

读取uid文件,并发调用query,每次执行1000个uid的查询: 注意:因为是并发,所以每次query写入的文件不一样,可以在最后合并成一个文件。

bash 复制代码
totalLine=$(wc -w uid.csv | awk '{print $1}')
echo "总行数:$totalLine"
curFileId=1
for ((i=1; i < $totalLine; i+=1000)); do
  echo "处理第 $curFileId 个文件.........."
  query $curFileId 1000 & # 并发查询
  curFileId=$(($curFileId+1))
done

# 等待所有查询结束
wait

# 合并文件。。。

全部代码:

bash 复制代码
#!/bin/bash

# 定义数据库连接信息
HOST="localhost"
USERNAME="root"
PASSWORD="password"

query() {
  # 参数1:文件id
    fileId=$1
    # 参数2:查询的行数
    qureyNum=$2
    start=$((($fileId-1) * 2000 + 1))
    end=$(($start + $qureyNum - 1))
    sedpar="$start,$(($end))p"
    select="*"
    echo "查询第 $start 到 $end 行"
    # 先sql清空文件
    echo "" > $fileId.sql
    for i in $(sed -n $sedpar uid.csv); do
      # 追加到sql文件      
      # 计算表名后缀 
      table_suffix=$((i % 128 + 1))     
      table_name="test_$table_suffix"
      echo "select $select from $table_name where uid=$i;" >> $fileId.sql
    done
    # 传入sql文件执行
    mysql -h $HOST -u $USERNAME -p$PASSWORD test < $fileId.sql > $fileId.result.csv
    echo "第 $fileId 文件查询完成"
}

# 读取 uid.csv 文件
totalLine=$(wc -w uid.csv | awk '{print $1}')
echo "总行数:$totalLine"
curFileId=1
for ((i=1; i < $totalLine; i+=1000)); do
  echo "处理第 $curFileId 个文件.........."
  query $curFileId 1000 & # 并发查询
  curFileId=$(($curFileId+1))
done

# 等待所有查询结束
wait

# 合并文件。。。
相关推荐
2401_8315017334 分钟前
Linux之Zabbix分布式监控篇(二)
数据库·分布式·zabbix
秋林辉2 小时前
Jfinal+SQLite处理 sqlite数据库执行FIND_IN_SET报错
jvm·数据库·sqlite
巴里巴气5 小时前
MongoDB复杂查询 聚合框架
数据库·mongodb
scheduleTTe8 小时前
SQL增查
数据库·sql
浮生带你学Java8 小时前
2025Java面试题及答案整理( 2025年 7 月最新版,持续更新)
java·开发语言·数据库·面试·职场和发展
期待のcode8 小时前
图片上传实现
java·前端·javascript·数据库·servlet·交互
小毛驴8509 小时前
redis 如何持久化
数据库·redis·缓存
吗喽1543451889 小时前
用python实现自动化布尔盲注
数据库·python·自动化
hbrown9 小时前
Flask+LayUI开发手记(十一):选项集合的数据库扩展类
前端·数据库·python·layui
云资源服务商11 小时前
探索阿里云DMS:解锁高效数据管理新姿势
数据库·阿里云·oracle·云计算