爬虫--翻页tips

免责声明:本文仅做分享!

伪线程

python 复制代码
from DrissionPage import ChromiumPage
import time

page = ChromiumPage()
page.get("https://you.ctrip.com/sight/taian746.html")
# 初始化 第0页
index_page = 0


# 翻页点击函数 + sleep
def page_turn():
    page.eles(".:ant-pagination-item-link")[3].click()
    time.sleep(2)


# 循环翻页
while True:
    # 非第一次翻页,获取数据. index_page>0
    if index_page > 0:
        try:
            # 获取数据
            for i in page.eles(".:sightItemCard_box__2FUEj "):
                print(i.text)
                print("=" * 30)
        except:
            # 没有数据,退出循环。
            print("no more sight")
            break
    # 第一次翻页,获取第一页数据。 index_page=0
    else:
        for i in page.eles(".:sightItemCard_box__2FUEj "):
            print(i.text)
            print("=" * 30)

            index_page += 1  #  ---> index_page=1
    # 翻页点击函数,sleep 2秒:
    page_turn()

··· 这个翻页有点好用ε=(´ο`*)))唉


相关推荐
RSABLOCKCHAIN几秒前
AI Agents in LangGraph-2
人工智能·python
WA内核拾荒者42 分钟前
WhatsApp 账号异常检测的自动化告警系统设计
数据库·python·自动化
石小石Orz1 小时前
我发现了开发者AI产品营收的新方向
前端·虚拟现实
老马识途2.01 小时前
关于跨域问题的总结
java·前端
码流怪侠2 小时前
【GitHub】Bend:让 GPU 并行编程像写 Python 一样简单
python·github
Yang96112 小时前
光缆故障快速排查实操技巧,鼎讯信通 Smart-S3 OTDR 一线使用心得
网络
2401_894915532 小时前
GEO 搜索优化完整源码从零部署:环境配置、集群搭建全流程
开发语言·python·tcp/ip·算法·unity
LDZKKJ3 小时前
OpenAI模型“越狱“入侵Hugging Face——AI安全史上的至暗时刻
网络·人工智能·安全
别惊醒渔人3 小时前
Vue3 Diff 优化:最长递增子序列 LIS
前端·javascript·vue.js