mysql并行效率提升

下面是一个并行读取mysql数据库表的测试程序,测试结果发现,读取10个表,1个个读取,和并行读取10个,效率一样,甚至并行读取还慢很多,这是为什么?

python 复制代码
con = get_db_conn()
results = {}
pool = multiprocessing.Pool(processes=multiprocessing.cpu_count())
for i in table_list:
        sql = f"select * from {i}"
        results[i]=pool.apply_async(func=query_db,args=(sql,))
pool.close()
pool.join()

检查一下mysql后端:

原来啊,这个outgoing network traffic一直上不去,从数据库读取出来的数据,发不出去,也就返回不了给客户端,也就是说,数据都堵在网络外发上面了。即便并行把所有数据读出来了,还是被网络外发给卡住了。

解决办法:

  1. 提高网络带宽,你会发现这个outgoing network迅速就提上来了,然后并发也提上来了。

  2. 如果是测试程序和mysql在同一台机器上,千万别用mysql的外网ip来连接,用localhost或者192开头的内网ip。

相关推荐
计算机毕设定制辅导-无忧学长20 分钟前
TDengine 数据写入优化:协议选择与批量操作(一)
网络·数据库·tdengine
Mr.洛 白21 分钟前
OpenEuler/CentOS一键部署OpenGauss数据库教程(脚本+视频)
数据库·opengauss·gaussdb·国产数据库安装·安装脚本
炬火初现35 分钟前
redis-cpp-cpp如何使用lua脚本
数据库·redis·lua
hxung35 分钟前
Redis 数据类型详解
数据库·redis·缓存
因为奋斗超太帅啦1 小时前
MySQL学习笔记(一)——MySQL下载安装配置
笔记·学习·mysql
oh,huoyuyan2 小时前
火语言RPA--Sqlite-导入数据表格
数据库·sqlite·rpa
伏游2 小时前
【BUG】生产环境死锁问题定位排查解决全过程
服务器·数据库·spring boot·后端·postgresql·bug
搬码红绿灯3 小时前
数据库——MySQL数字函数和子查询
数据库·mysql
侧耳倾听1113 小时前
使用内存数据库来为mapper层的接口编写单元测试
数据库·单元测试
ifanatic3 小时前
[每周一更]-(第138期):MySQL 子查询详解:原理、应用及优化方案
数据库·mysql