mysql并行效率提升

sidney2023-08-23 9:19

下面是一个并行读取mysql数据库表的测试程序，测试结果发现，读取10个表，1个个读取，和并行读取10个，效率一样，甚至并行读取还慢很多，这是为什么？

python 复制代码

con = get_db_conn()
results = {}
pool = multiprocessing.Pool(processes=multiprocessing.cpu_count())
for i in table_list:
        sql = f"select * from {i}"
        results[i]=pool.apply_async(func=query_db,args=(sql,))
pool.close()
pool.join()

检查一下mysql后端：

原来啊，这个outgoing network traffic一直上不去，从数据库读取出来的数据，发不出去，也就返回不了给客户端，也就是说，数据都堵在网络外发上面了。即便并行把所有数据读出来了，还是被网络外发给卡住了。

解决办法：

提高网络带宽，你会发现这个outgoing network迅速就提上来了，然后并发也提上来了。
如果是测试程序和mysql在同一台机器上，千万别用mysql的外网ip来连接，用localhost或者192开头的内网ip。