爬虫--翻页tips

免责声明:本文仅做分享!

伪线程

python 复制代码
from DrissionPage import ChromiumPage
import time

page = ChromiumPage()
page.get("https://you.ctrip.com/sight/taian746.html")
# 初始化 第0页
index_page = 0


# 翻页点击函数 + sleep
def page_turn():
    page.eles(".:ant-pagination-item-link")[3].click()
    time.sleep(2)


# 循环翻页
while True:
    # 非第一次翻页,获取数据. index_page>0
    if index_page > 0:
        try:
            # 获取数据
            for i in page.eles(".:sightItemCard_box__2FUEj "):
                print(i.text)
                print("=" * 30)
        except:
            # 没有数据,退出循环。
            print("no more sight")
            break
    # 第一次翻页,获取第一页数据。 index_page=0
    else:
        for i in page.eles(".:sightItemCard_box__2FUEj "):
            print(i.text)
            print("=" * 30)

            index_page += 1  #  ---> index_page=1
    # 翻页点击函数,sleep 2秒:
    page_turn()

··· 这个翻页有点好用ε=(´ο`*)))唉


相关推荐
M158227690551 天前
跨协议互通利器|SG-PN-EIP (S)-220 Profinet 转 EtherNet/IP 网关,打通欧美 PLC 通讯壁垒
网络·网络协议·tcp/ip
qq_589666051 天前
TypeScript 完整入门教程
前端·javascript·typescript
tkevinjd1 天前
MiniCode 项目详解6:原项目控制系统的10个缺陷(已修复)
python·llm·agent
北龙云海1 天前
案例分享 | 面向公网业务系统境内访问白名单配置实操方案
运维·网络·安全·网络安全·告警·数据泄露·入侵攻击
dNGUZ7UGj1 天前
10分钟完成第一个Python小游戏
python·django
没有梦想的咸鱼185-1037-16631 天前
AI-Python机器学习与深度学习技术:CNN/Transformer/扩散模型、SHAP可解释及Hermes智能体自动化
人工智能·python·深度学习·机器学习·chatgpt·cnn·transformer
闲猫1 天前
Spring AI对接Deepseek 使用Charles代理api.deepseek.com 拦截报文,查看Tool和Skill的本质
网络·网络协议·http
霸道流氓气质1 天前
SpringBoot中通用工具类库(Utils)封装与使用实践
spring boot·后端·python
用户059540174461 天前
LLM对话记忆测试踩坑实录:手工回归30分钟,自动化后2分钟发现3个隐藏Bug
前端·css
niaiheni1 天前
Fastjson 1.2.83 “Gadget-Free“ RCE
网络·安全·web安全