shell脚本拉取mysql数据

需求：假设有一个mysql数据库，用户名密码为test，有一个test库，test库下有128个表，表名依次为test_1,...,test_128，表字段都一样，有一个uid为主键。现在给你一个uid.csv文件，里面只有一个字段uid，数据可能有上万行。写一个shell脚本，连接到mysql，根据uid查询到对应的数据并返回。注意每个uid对应的表名可能不一样，应先用uid对128求余，然后作为test_的后缀为表名。

以下是用gemini生成的代码

bash 复制代码

#!/bin/bash

# 定义数据库连接信息
HOST="localhost"
USERNAME="root"
PASSWORD="password"

# 读取 uid.csv 文件
while read uid; do
    # 计算表名后缀
    table_suffix=$((uid % 128 + 1))
    table_name="test_$table_suffix"

    # 查询数据
    data=$(mysql -h $HOST -u $USERNAME -p$PASSWORD test -e "SELECT * FROM $table_name WHERE uid = $uid")

    # 处理数据
    if [[ -n $data ]]; then
        echo "UID: $uid"
        echo "Data: $data"
    else
        echo "UID $uid not found."
    fi
done < uid.csv

最后它也给出了优化建议：

但是要求根据优化建议来修改脚本时，给出的是把查询结果不尽人意。

优化原则：

mysql连接复用，给出的代码是一次查询执行一次mysql命令，即会建立一次连接。
并发执行，每次并发操作可读取1000行数据。

对于1，mysql命令可以接收一个sql文件作为参数，因此可以先把要查询的sql先写入一个文件，然后再传入mysql命令；由于数据太多，因此输出也写入一个文件。对于2，应该把一次查询操作写成一个函数，函数每次执行1000行的查询；并在上层并发调用。

封装一个query函数：

bash 复制代码

query() {
  # 参数1：文件id
    fileId=$1
    # 参数2：查询的行数
    qureyNum=$2
    start=$((($fileId-1) * 2000 + 1))
    end=$(($start + $qureyNum - 1))
    sedpar="$start,$(($end))p"
    select="*"
    echo "查询第 $start 到 $end 行"
    # 先sql清空文件
    echo "" > $fileId.sql
    for i in $(sed -n $sedpar uid.csv); do
      # 追加到sql文件
      let tableId=$((i%128))
      echo "select $select from test_$tableId where uid=$i;" >> $fileId.sql
    done
    # 传入sql文件执行
    mysql -h $HOST -u $USERNAME -p$PASSWORD test < $fileId.sql > $fileId.result.csv
    echo "第 $fileId 文件查询完成"
}

读取uid文件，并发调用query，每次执行1000个uid的查询：注意：因为是并发，所以每次query写入的文件不一样，可以在最后合并成一个文件。

bash 复制代码

totalLine=$(wc -w uid.csv | awk '{print $1}')
echo "总行数：$totalLine"
curFileId=1
for ((i=1; i < $totalLine; i+=1000)); do
  echo "处理第 $curFileId 个文件.........."
  query $curFileId 1000 & # 并发查询
  curFileId=$(($curFileId+1))
done

# 等待所有查询结束
wait

# 合并文件。。。

全部代码：

bash 复制代码

#!/bin/bash

# 定义数据库连接信息
HOST="localhost"
USERNAME="root"
PASSWORD="password"

query() {
  # 参数1：文件id
    fileId=$1
    # 参数2：查询的行数
    qureyNum=$2
    start=$((($fileId-1) * 2000 + 1))
    end=$(($start + $qureyNum - 1))
    sedpar="$start,$(($end))p"
    select="*"
    echo "查询第 $start 到 $end 行"
    # 先sql清空文件
    echo "" > $fileId.sql
    for i in $(sed -n $sedpar uid.csv); do
      # 追加到sql文件      
      # 计算表名后缀 
      table_suffix=$((i % 128 + 1))     
      table_name="test_$table_suffix"
      echo "select $select from $table_name where uid=$i;" >> $fileId.sql
    done
    # 传入sql文件执行
    mysql -h $HOST -u $USERNAME -p$PASSWORD test < $fileId.sql > $fileId.result.csv
    echo "第 $fileId 文件查询完成"
}

# 读取 uid.csv 文件
totalLine=$(wc -w uid.csv | awk '{print $1}')
echo "总行数：$totalLine"
curFileId=1
for ((i=1; i < $totalLine; i+=1000)); do
  echo "处理第 $curFileId 个文件.........."
  query $curFileId 1000 & # 并发查询
  curFileId=$(($curFileId+1))
done

# 等待所有查询结束
wait

# 合并文件。。。