爬虫--翻页tips

免责声明:本文仅做分享!

伪线程

python 复制代码
from DrissionPage import ChromiumPage
import time

page = ChromiumPage()
page.get("https://you.ctrip.com/sight/taian746.html")
# 初始化 第0页
index_page = 0


# 翻页点击函数 + sleep
def page_turn():
    page.eles(".:ant-pagination-item-link")[3].click()
    time.sleep(2)


# 循环翻页
while True:
    # 非第一次翻页,获取数据. index_page>0
    if index_page > 0:
        try:
            # 获取数据
            for i in page.eles(".:sightItemCard_box__2FUEj "):
                print(i.text)
                print("=" * 30)
        except:
            # 没有数据,退出循环。
            print("no more sight")
            break
    # 第一次翻页,获取第一页数据。 index_page=0
    else:
        for i in page.eles(".:sightItemCard_box__2FUEj "):
            print(i.text)
            print("=" * 30)

            index_page += 1  #  ---> index_page=1
    # 翻页点击函数,sleep 2秒:
    page_turn()

··· 这个翻页有点好用ε=(´ο`*)))唉


相关推荐
wjjzhbb几秒前
前端监控:给用户体验装上仪表盘
前端·ux
云水初9 分钟前
【项目篇】基于LanGraph的自动处理客服邮件的 Agent汇总
开发语言·笔记·python·学习·fastapi·langgraph
江湖有缘10 分钟前
Docker实战 | Docker部署Minimalist-web-notepad个人笔记本
前端·docker·notepad++
云老大-阿里云国际站代理商16 分钟前
网站遇到恶意爬虫和CC攻击,阿里云国际站WAF与Bot管理怎么搭配
爬虫·阿里云·云计算
为思念酝酿的痛24 分钟前
Reactor反应堆模式
linux·服务器·网络
香吧香26 分钟前
venv 详解
python
笨笨饿29 分钟前
#142_VS Code.map文件插件的用法
git·python·stm32·单片机·嵌入式硬件·物联网·vim
zwd200530 分钟前
Manim 竖屏 1080×1920 配置详解:pixel_width、frame_width 怎么写(0.21.0 / 0.22.0 实测)
python·manim·数学动画·短视频制作·manim教程·竖屏视频
Nontee39 分钟前
Quartz 新手入门:定时任务的两个承诺
开发语言·windows·python