利用Python和Selenium编程,实现定时自动检索特定网页,发现特定网页内容发生变化后,向管理员发送提醒邮件(一)

一、项目需求

要求爬取某单位网站,登录后台查看是否有新增"网友提问",如果有新的提问,向特定邮箱发出提醒邮件。

二、项目分析

(一)判断是否可用爬虫爬取相关内容

首先查看该网站的robots.txt文件,发现不存在该文件,由于未禁止,可用爬取取相关信息。

(二)操作流程分析

查看是否有网友提问的操作流程如下。

1、登录网站后台管理页面

2、登录成功后,点击"互动平台" 。

3、点击互动平台后,浏览器会打开新页面(互动平台)

4、互动平台页面上端有一个选项卡,在选项卡中可以选择"依申请公开"或是"网上问答",但已选项显示内容是"依申请公开"还是"网上问答",无法预见,这其由最后一次对选项卡的操作决定。互动平台页面右侧显示的是待办办件,这里显示的就是需要提醒的内容。

在这里,我们需要查看"网上问答"部分有无新的问题,有新问题的话需要通过邮件提醒管理员。

三、解决方案和所需知识

由于访问特定信息需要进行一系列操作互动,由于Selenium可以操作浏览器,不用理会涉及页面渲染一类的复杂问题,所以这里我们选择Selenium作为爬虫解决方案。

第一步需要通过Python和Selenium实现对浏览器的相关操作,获取特定网页中的内容。

第二步是通过电子邮件将提醒内容发至管理员。

需要学习Python、HTML、Selenium,以及如何通过Python利用SMTP服务器发送信息有关的知识。

下面我们分几步进行学习,首先学习如何利用Python和Selenium操作浏览器和获取页面中的信息。

相关推荐
座山雕~1 分钟前
测试接口-----详细
开发语言·postman
小龙报11 分钟前
算法通关指南:数据结构和算法篇 --- 队列相关算法题》--- 1. 【模板】队列,2. 机器翻译
c语言·开发语言·数据结构·c++·算法·学习方法·visual studio
晚秋大魔王16 分钟前
基于python的jlink单片机自动化批量烧录工具
前端·python·单片机
胖哥真不错17 分钟前
Python基于PyTorch实现多输入多输出进行CNN卷积神经网络回归预测项目实战
pytorch·python·毕业设计·课程设计·毕设·多输入多输出·cnn卷积神经网络回归预测
木木em哈哈18 分钟前
有关于cnb自动化的脚本补全
服务器·开发语言·pygame
星释19 分钟前
Rust 练习册 :Poker与扑克牌游戏
开发语言·游戏·rust
程序员-小李20 分钟前
基于PyTorch的动物识别模型训练与应用实战
人工智能·pytorch·python
晨非辰28 分钟前
【数据结构初阶】--从排序算法原理分析到代码实现操作,参透插入排序的奥秘!
c语言·开发语言·数据结构·c++·算法·面试·排序算法
Jonathan Star33 分钟前
Next.js、NestJS、Nuxt.js 是 **Node.js 生态中针对不同场景的框架**
开发语言·javascript·node.js
zhangyao9403303 小时前
关于js导入Excel时,Excel的(年/月/日)日期是五位数字的问题。以及对Excel日期存在的错误的分析和处理。
开发语言·javascript·excel