爬虫获取数据:selenium的应用

当我们在爬取数据时,如:古诗网。有时会出现输出内容不全的情况,针对这种问题如何解决?

个人思路:在遍历网页内容时,如果未发现显示全部内容字样,说明该条数据内容完整,则立即输出。若识别到显示全部内容,则表示内容不全。需要click点击事件,跳转成功后获取该页面中我们主要的数据,例如古诗名、作者、古诗内容等。获取全部数据后返回初始页面,继续寻找显示全部内容。如此循环,直到遍历完成。

此处默认已掌握全部相关知识点,只提供代码。欢迎大家探讨。

复制代码
import time
import random
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.edge.service import Service
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
options = webdriver.EdgeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_experimental_option('useAutomationExtension', False)
options = webdriver.EdgeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_experimental_option('useAutomationExtension', False)

# 加载当前浏览器驱动.exe.sh
edgeDriver = Service("../drivera/msedgedriver.exe")

# 实例化当前的浏览器对象
browser = webdriver.Edge(service=edgeDriver, options=options)

# 设置浏览器超时
wait = WebDriverWait(browser, 10)

browser.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
  'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})
# 数据容器
poem_data = []
count = 1

url = "https://www.shicimingju.com/chaxun/zuozhe/46.html"
browser.get(url)
time.sleep(2)

# 获取所有诗词链接
more_links = browser.find_elements(By.CLASS_NAME, 'more')
total_links = len(more_links)
print(f"第一页找到 {total_links} 个诗词链接")

# 循环处理每个链接
for i, link in enumerate(more_links):
    try:
        print(f"\n--- 处理第 {count}/{total_links} 个链接 ---")

        # 滚动并点击链接
        browser.execute_script("arguments[0].scrollIntoView();", link)
        time.sleep(1)
        link.click()
        time.sleep(2)

        title = WebDriverWait(browser, 10).until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "h1"))
        ).text.strip()

        author_elem = browser.find_elements(By.CSS_SELECTOR, "div.source, .name")
        author = "未知作者"
        if author_elem:
            author = author_elem[0].text.strip()
            author = author.split("·")[-1] if "·" in author else author

        # 提取内容
        content_elem = WebDriverWait(browser, 10).until(
            EC.presence_of_element_located((By.CLASS_NAME, "text"))
        )
        soup = BeautifulSoup(content_elem.get_attribute('innerHTML'), "html.parser")
        content = soup.get_text().strip()

        # 清理内容
        exclude = ["注释", "赏析", "作品赏析"]
        content = "\n".join([line for line in content.split("\n") if not any(x in line for x in exclude)])

        # 保存数据
        poem_data.append({
            "序号": count,
            "标题": title,
            "作者": author,
            "内容": content
        })


        print("=" * 50)
        print(f"【{title}】 - {author} \n{content}")

        count += 1

        # 返回上一页
        browser.back()
        time.sleep(1)
    finally:
        pass
#
# # 保存到Excel
# if poem_data:
#     pd.DataFrame(poem_data).to_excel("陆游诗词_简化版.xlsx", index=False)
#     print(f"\n成功保存 {len(poem_data)} 条数据")
#
# browser.quit()
相关推荐
27^×18 分钟前
Java 内存模型与垃圾回收机制详解
java·开发语言
计算机编程小央姐20 分钟前
数据安全成焦点:基于Hadoop+Spark的信用卡诈骗分析系统实战教程
大数据·hadoop·python·spark·毕业设计·课程设计·dash
max50060034 分钟前
本地部署开源数据生成器项目实战指南
开发语言·人工智能·python·深度学习·算法·开源
q5673152335 分钟前
手把手教你用Go打造带可视化的网络爬虫
开发语言·爬虫·信息可视化·golang
Bling_Bling_140 分钟前
面试常考:js中 Map和 Object 的区别
开发语言·前端·javascript
MonkeyKing_sunyuhua1 小时前
mac怎么安装uv工具
python·macos·uv
Source.Liu1 小时前
【Python基础】 19 Rust 与 Python if 语句对比笔记
笔记·python·rust
程序喵大人1 小时前
写C++十年,我现在怎么设计类和模块?(附真实项目结构)
开发语言·c++·类和模板
工业互联网专业2 小时前
基于Spark的新冠肺炎疫情实时监控系统_django+spider
python·spark·django·vue·毕业设计·源码·课程设计
Yh8702032 小时前
2025年经济学专业女生必考证书指南:打造差异化竞争力
python