爬虫--翻页tips

免责声明:本文仅做分享!

伪线程

python 复制代码
from DrissionPage import ChromiumPage
import time

page = ChromiumPage()
page.get("https://you.ctrip.com/sight/taian746.html")
# 初始化 第0页
index_page = 0


# 翻页点击函数 + sleep
def page_turn():
    page.eles(".:ant-pagination-item-link")[3].click()
    time.sleep(2)


# 循环翻页
while True:
    # 非第一次翻页,获取数据. index_page>0
    if index_page > 0:
        try:
            # 获取数据
            for i in page.eles(".:sightItemCard_box__2FUEj "):
                print(i.text)
                print("=" * 30)
        except:
            # 没有数据,退出循环。
            print("no more sight")
            break
    # 第一次翻页,获取第一页数据。 index_page=0
    else:
        for i in page.eles(".:sightItemCard_box__2FUEj "):
            print(i.text)
            print("=" * 30)

            index_page += 1  #  ---> index_page=1
    # 翻页点击函数,sleep 2秒:
    page_turn()

··· 这个翻页有点好用ε=(´ο`*)))唉


相关推荐
新诺韦尔API35 分钟前
手机在网时长查询接口对接全流程详解
大数据·网络·api
少废话h2 小时前
解决Flink中ApacheCommonsCLI版本冲突
开发语言·python·pycharm
serve the people3 小时前
TensorFlow 图执行(tf.function)的 “非严格执行(Non-strict Execution)” 特性
人工智能·python·tensorflow
天命码喽c3 小时前
GraphRAG-2.7.0整合Milvus-2.5.1
开发语言·python·milvus·graphrag
吴佳浩5 小时前
LangChain 深入
人工智能·python·langchain
veneno7 小时前
大量异步并发请求控制并发解决方案
前端
网安-轩逸7 小时前
回归测试原则:确保软件质量的基石
自动化测试·软件测试·python
Mr_Xuhhh8 小时前
YAML相关
开发语言·python
阿巴~阿巴~8 小时前
JsonCpp:C++ JSON处理利器
linux·网络·c++·json·tcp·序列化和反序列化
i***t9198 小时前
Spring Boot项目接收前端参数的11种方式
前端·spring boot·后端