python爬虫:下载上海证券交易所的最新的公告PDF

  1. 动态加载内容 :该网页可能是通过 JavaScript 动态加载的,而 requests 无法处理动态内容。因此,直接使用 requests 获取到的 HTML 中可能不包含 PDF 链接。

  2. HTML 结构不匹配 :网页结构可能与你预期的不同,导致 BeautifulSoup 查找不到匹配的标签。你可以检查 HTML 的结构,确保你使用的选择器(例如 class_='iconfont iconxiazai')正确。

解决方法:

  1. 检查网页内容 :

    在代码中打印页面的HTML内容,看看 requests.get() 获取到的网页是否包含PDF链接的部分:

    python 复制代码
    print(response.text)  # 打印获取到的HTML内容
  2. 使用Selenium处理动态加载的网页 :

    如果网页使用了动态加载技术(例如AJAX或JavaScript),可以使用 Selenium 来模拟浏览器操作,并获取完整的页面内容。

Selenium 示例代码:

以下是如何使用 Selenium 来处理动态加载网页的示例:

安装依赖:
bash 复制代码
pip install selenium

你还需要下载对应的浏览器驱动(如ChromeDriver),并将其路径加入系统环境变量。

代码示例:
python 复制代码
import os
from selenium import webdriver
from bs4 import BeautifulSoup
import time

# 设置你要保存PDF文件的目录
DOWNLOAD_DIR = "pdf_downloads"
if not os.path.exists(DOWNLOAD_DIR):
    os.makedirs(DOWNLOAD_DIR)

# 设置目标URL
base_url = "https://www.sse.com.cn"

# 目标网页的公告URL
announcement_url = "https://www.sse.com.cn/disclosure/listedinfo/announcement/"

# 启动浏览器
driver = webdriver.Chrome()  # 请确保你已安装并配置了对应的ChromeDriver
driver.get(announcement_url)

# 等待页面加载完成
time.sleep(5)

# 获取页面内容
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')

# 查找所有带有PDF文件链接的<a>标签
pdf_links = soup.find_all('a', href=True)

# 遍历查找到的所有链接,下载PDF
for link in pdf_links:
    pdf_relative_url = link['href']  # 获取相对路径
    if pdf_relative_url.endswith('.pdf'):
        pdf_url = base_url + pdf_relative_url  # 拼接成完整的URL
        pdf_name = os.path.join(DOWNLOAD_DIR, pdf_url.split("/")[-1])  # 使用文件名保存PDF

        # 下载PDF文件
        print(f"Downloading {pdf_name}...")
        pdf_response = requests.get(pdf_url)
        with open(pdf_name, 'wb') as pdf_file:
            pdf_file.write(pdf_response.content)

        print(f"Downloaded {pdf_name}")

# 关闭浏览器
driver.quit()

print("All PDF files have been downloaded.")

关键步骤:

  1. Selenium 模拟浏览器:Selenium 会加载页面,确保动态加载的内容能够被正确解析。
  2. 处理动态内容 :通过 driver.page_source 获取完整的页面HTML,然后使用 BeautifulSoup 进行解析。

总结:

使用 Selenium 可以解决动态加载的内容问题,并且通过这种方式,你可以抓取到包含PDF链接的完整网页内容。如果网页确实是动态生成的,那么这种方法应该可以帮助你成功获取PDF文件的链接。

相关推荐
Thanks_ks11 小时前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局
python·内存管理·垃圾回收·循环引用·引用计数·gc 模块·weakref
CyrusYiVPP11 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
yiangL_11 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
lula88812 小时前
PVC-U、PVC-C、PVC-O 差一个字母,差的是三种增强路线
python
数字工作台13 小时前
给 LangGraph 加一道可审计记忆:替换默认 Checkpointer,实现防篡改 + 崩溃不丢数据
python·agent
DKPT14 小时前
Python 的 Web 框架:选型选错的人,都踩了同一个坑
python
2401_8685347815 小时前
逻辑网络设计
网络·python
2601_9679791215 小时前
python如何组织文件?python文件操作全介绍!
python·文件操作·压缩文件·遍历文件夹·shutil模块
青少儿编程课堂15 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:扫描线与线段树求矩形面积并解析
c++·python·算法·bfs·信息学竞赛
羲云网络15 小时前
GPT Image 2.6 商品图交付:用文件指纹排查错图、覆盖与版本串线
图像处理·人工智能·python·技术教程·文件校验