1688 半自动化拟人浏览信息处理工具爬虫
gitcode地址:https://gitcode.com/weixin_41447544/main
该项目本代码仅学习交流，非法使用后果自负
项目简介： 本项目是一个基于 Python、Playwright 和 PyQt5 开发的 1688 供应商数据半自动采集工具。为了最大程度规避平台风控，项目放弃了传统的全自动化接口爬取，转而采用"人工控制翻页 + 后台拟人化自动浏览"的策略。用户只需在图形界面手动控制搜索结果的翻页，程序便会在后台自动模拟真人行为（鼠标移动、随机滚动、点击空白处等）来采集商品链接、店铺链接以及联系方式。
核心特性： CDP 连接模式：通过 connect_over_cdp 连接用户本地的 Edge 浏览器，无需下载 Playwright 内置浏览器，完美复用用户已有的登录态和浏览器指纹。 纯 JS 事件驱动拟人化：所有鼠标移动、点击、滚动均通过 page.evaluate() 在前端派发真实的 DOM 事件，包含平滑轨迹、随机停顿和微调抖动，即使浏览器最小化也能正常执行。 内置滑块验证处理：utils.py 中内置了针对阿里系滑块验证码的拟人化拖动算法（含来回拖动、变速缓动、终点回弹），当触发风控时自动尝试处理或挂起等待人工介入。 断点续传与存档读档：通过 archive_utils.py 记录当前采集进度（页码、阶段、已抓链接），配合 GUI 上的存档/读档按钮，随时可以中断并恢复任务。 半自动工作流：列表页阶段由人工点击"上一页/下一页/完成抓取"，给平台呈现"真人在浏览搜索结果"的假象，大幅降低被封禁概率