爬虫--翻页tips

免责声明:本文仅做分享!

伪线程

python 复制代码
from DrissionPage import ChromiumPage
import time

page = ChromiumPage()
page.get("https://you.ctrip.com/sight/taian746.html")
# 初始化 第0页
index_page = 0


# 翻页点击函数 + sleep
def page_turn():
    page.eles(".:ant-pagination-item-link")[3].click()
    time.sleep(2)


# 循环翻页
while True:
    # 非第一次翻页,获取数据. index_page>0
    if index_page > 0:
        try:
            # 获取数据
            for i in page.eles(".:sightItemCard_box__2FUEj "):
                print(i.text)
                print("=" * 30)
        except:
            # 没有数据,退出循环。
            print("no more sight")
            break
    # 第一次翻页,获取第一页数据。 index_page=0
    else:
        for i in page.eles(".:sightItemCard_box__2FUEj "):
            print(i.text)
            print("=" * 30)

            index_page += 1  #  ---> index_page=1
    # 翻页点击函数,sleep 2秒:
    page_turn()

··· 这个翻页有点好用ε=(´ο`*)))唉


相关推荐
宸津-代码粉碎机2 小时前
OpenAI 连夜迎战 Grok Bot 和 Muse:AI 智能体从 “会聊天” 到 “能办事”,现在入场还来得及吗
java·大数据·人工智能·分布式·python
Y3815326622 小时前
SERP API 计费口径:credits_charged、执行失败扣费与退款边界
python·搜索引擎
福兮说3 小时前
前端下载大文件,点了按钮半天没反应:fetch + blob 的三个问题和三种替代写法
前端·javascript·性能优化·文件下载
GreenTea3 小时前
我把 Agent 的 while 循环拆掉了:一种你可能没想到的 Agent 架构
前端·后端·架构
科技观察哨4 小时前
六足平台选型与纳米定位系统集成:HEB-640六自由度位移台在半导体光刻对准中的参数边界与国产替代评估
前端·人工智能
蒸鱼Yuzheng4 小时前
设备端性能工件可靠导出:断点续传、哈希、manifest 与失败恢复
android·自动化测试·python·adb·数据完整性
niucloud-admin4 小时前
JAVA V6 多商户商城 开发文档——web前端
前端
颜进强4 小时前
16 · NestJS LifecycleEvents 生命周期事件:五个钩子、三条边界,和 rag-server 的优雅停机
前端·后端·ai编程
圆圆讲门店5 小时前
挑选同城获客服务机构时需要考量的核心因素都有哪些?
大数据·网络·人工智能·python
傻啦嘿哟5 小时前
Python的默认参数把我坑惨了,原来写[]和写None的区别这么大
开发语言·python·机器学习