PyMysql error : Packet Sequence Number Wrong - got 1 expected 0

文章目录

我自己知道的,这类问题有两类原因,两种解决方案。

错误一

错误原因

pymysql的主进程启动的connect无法给子进程中使用,所以读取大批量数据时最后容易出现了此类问题。

解决方案

换成pymysql-pool可以解决方法:

具体如下:

shell 复制代码
pip install pymysql-pool

代码如下:

python 复制代码
import pymysql
import pymysqlpool

def select_ebay_catelotory():
    config={'host': HOST, 'user': USER, 'password': PASSWD, 'database': DB, 'autocommit':True}
    pool1 = pymysqlpool.ConnectionPool(size=10, maxsize=20, pre_create_num=2, name='pool1', **config)
    con1 = pool1.get_connection()
    gcu = con1.cursor()
    try:
        gcu.execute(f"""SELECT *** """)

        # 获取剩余结果所有数据
        rows = gcu.fetchall()
    except Exception as e:
        print(e)
    finally:
        # gcu.close()
        con1.close()
    return rows

错误二

原因

要读取的内容太大了。有两类:某列太长了,总行数太多了。

如何确定?

你的代码读取100行没问题,1000行也没问题,10000行也没问题,100万行就有问题了。那就是这个原因。

解决方案

不要limit去读,太费时间:先取id,再用id去分批读取数据。

python 复制代码
import pymysql
import pymysqlpool

def select_all_ids():
    config={'host': HOST, 'user': USER, 'password': PASSWD, 'database': DB, 'autocommit':True}
    pool1 = pymysqlpool.ConnectionPool(size=35, maxsize=35, pre_create_num=2, name='pool1', **config)
    con1 = pool1.get_connection()
    gcu = con1.cursor()
    try:
        gcu.execute(f"""SELECT `id` FROM sfc_minesweeper.product_detail WHERE create_time>'2024-07-10' AND CHAR_LENGTH(result_data)>500""")

        # 获取剩余结果所有数据
        rows = gcu.fetchall()
    except Exception as e:
        print(e)
    finally:
        # gcu.close()
        con1.close()
    return rows


def select_ebay_catelotory(pids):
    config={'host': HOST, 'user': USER, 'password': PASSWD, 'database': DB, 'autocommit':True}
    pool1 = pymysqlpool.ConnectionPool(size=35, maxsize=35, pre_create_num=2, name='pool1', **config)
    con1 = pool1.get_connection()
    gcu = con1.cursor()
    try:
        gcu.execute(f"""SELECT `id`, `result_data`, `product_offer_id` FROM sfc_minesweeper.product_detail WHERE id in {tuple(pids)}""")

        # 获取剩余结果所有数据
        rows = gcu.fetchall()
    except Exception as e:
        print(e)
    finally:
        # gcu.close()
        con1.close()
    return rows

# 先拿到所有id
pd_ids = [e[0] for e in select_all_ids()]
# 再分批读取
pd1688s = []
step = 4000
for begin in range(0, len(pd_ids), step):
    pd1688s.extend([e for e in select_ebay_catelotory(pd_ids[begin:begin+step])])
    print(i, len(pd1688s))
相关推荐
野生技术架构师1 小时前
聊聊五种 Redis 部署模式
数据库·redis·缓存
IndulgeCui1 小时前
【金仓数据库产品体验官】KES-ORACLE兼容模式再体验之FLASHBACK
数据库
zxsz_com_cn2 小时前
钢铁厂设备健康监测系统:AIoT技术驱动的智慧运维革命
数据库
chirrupy_hamal4 小时前
PostgreSQL 流复制参数 - synchronous_standby_names
数据库·postgresql
TiAmo zhang5 小时前
什么是SQL Server 2019?
数据库·sqlserver
问道飞鱼5 小时前
【数据库知识】TxSQL 主从数据库同步底层原理深度解析
网络·数据库·半同步复制·txsql
大有数据可视化6 小时前
数字孪生背后的大数据技术:时序数据库为何是关键?
大数据·数据库·人工智能
lang201509286 小时前
揭秘InnoDB磁盘I/O与存储空间管理
数据库·mysql
老华带你飞7 小时前
机电公司管理小程序|基于微信小程序的机电公司管理小程序设计与实现(源码+数据库+文档)
java·数据库·vue.js·spring boot·微信小程序·小程序·机电公司管理小程序
Elastic 中国社区官方博客7 小时前
CI/CD 流水线与 agentic AI:如何创建自我纠正的 monorepos
大数据·运维·数据库·人工智能·搜索引擎·ci/cd·全文检索