python实现批量化查询耗时SQL

python实现批量化查询耗时SQL

今天发现最近多了一些耗时SQL的查询,例如我去数据库一张千万级表查询一天的数据需要耗时20分钟,我总共需要查询一年的数据,我总不能一条一条的手动执行吧,这样也太伤身体,属实难崩啊。就算将这些SQL都弄好放到navicat里面执行,一个窗口最多只能展示20个结果,根本不够用,所以只能另想他法。于是我就计划用python程序解决这个问题,将每次查询的结果保存到一个CSV文件里面,这样我就能等它查询之后,一键复制就行,真实老婆婆吃豆腐------放120个心,哈哈哈哈哈,下面开始上程序!!!

import csv
from pymysql import *
import time
from datetime import datetime, timedelta

conn = connect(host='xxxxxx',
               port=3306,
               user='xxxxxx',
               password='xxxxxx',
               database='xxxxxx',
               charset='utf8mb4')

sites = ["bw_web", "bw_app"]

data_list = []
start_date = datetime(2024, 1, 1)
end_date = datetime(2024, 7, 22)
current_date = start_date
while current_date <= end_date:
    date = current_date.strftime("%Y-%m-%d")
    print(date)

    rows_list = [date]
    for site in sites:
        cs = conn.cursor()  # 获取光标
        sql = f"SELECT count(1) as pv, count( DISTINCT ( token_id ) ) as uv FROM msg2024{current_date.month} WHERE server_day = '{date}' AND track_event = '0' AND site_id = '{site}'; \n"
        start_time = time.time()
        cs.execute(sql)
        rows = cs.fetchall()
        # 记录结束时间
        end_time = time.time()
        # 计算执行时间
        execution_time = end_time - start_time
        conn.commit()
        pv_value = rows[0][0]
        uv_value = rows[0][1]

        print(f"======>track库共花费{execution_time:.6f}秒执行完毕,{sql},pv为{pv_value},uv为{uv_value}")

        rows_list.append(pv_value)
        rows_list.append(uv_value)

    data_list.append(rows_list)
    current_date += timedelta(days=1)

print(data_list)

with open('result.csv', 'w', newline='', encoding='utf-8-sig') as file:
    writer = csv.writer(file)
    csv_title = ['date', 'track-web-pv', 'track-web-uv', 'track-app-pv', 'track-app-uv']
    writer.writerow(csv_title)
    writer.writerows(data_list)

写在最后

编程精选网(www.codehuber.com),程序员的终身学习网站已上线!

如果这篇【文章】有帮助到你,希望可以给【JavaGPT】点个赞👍,创作不易,如果有对【后端技术 】、【前端领域 】感兴趣的小可爱,也欢迎关注❤️❤️❤️ 【JavaGPT】❤️❤️❤️,我将会给你带来巨大的【收获与惊喜】💝💝💝!

相关推荐
legend_jz17 分钟前
【Linux】线程控制
linux·服务器·开发语言·c++·笔记·学习·学习方法
drebander29 分钟前
使用 Java Stream 优雅实现List 转化为Map<key,Map<key,value>>
java·python·list
tangliang_cn38 分钟前
java入门 自定义springboot starter
java·开发语言·spring boot
莫叫石榴姐38 分钟前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
程序猿阿伟39 分钟前
《智能指针频繁创建销毁:程序性能的“隐形杀手”》
java·开发语言·前端
新知图书1 小时前
Rust编程与项目实战-模块std::thread(之一)
开发语言·后端·rust
威威猫的栗子1 小时前
Python Turtle召唤童年:喜羊羊与灰太狼之懒羊羊绘画
开发语言·python
力透键背1 小时前
display: none和visibility: hidden的区别
开发语言·前端·javascript
bluefox19791 小时前
使用 Oracle.DataAccess.Client 驱动 和 OleDB 调用Oracle 函数的区别
开发语言·c#
ö Constancy1 小时前
c++ 笔记
开发语言·c++