八爪鱼&easyspider:

参考我的上一篇博客:

scraper插件与软件,

主八爪鱼,easyspider

1,八爪鱼:

同时注意数据横向还是纵向,但是不好操作

二,easyspider:

其中1/2是不需要用户登入的,第3个是需要用户登入的

1,采集中国地震网数据:

数据需求:采集维度>25度,且主要集中在前5页,并且是西藏地区的数据

首先:点击使用纯净版浏览器设计

会进入一个google空白页面:

创建新任务进入:

此时将我们要爬取的中国地震网的网址粘贴复制过来,注意一定要带http/s

点击开始设计

上面是任务设计流程图,然后右边有多行的链接池

因为要输入多个维度进行查询,所以需要循环结构,且是设计在打开网页之后

进入界面:

此时注意使用右键选取元素

我们右键选中大于(因为我们想要选取维度>25的)

此时流程中已经输入

但是我们实际上是想每个维度都采集,不仅仅是25,所以点击"使用循环内的文本"

需要点击外框(循环)

选中文本列表:

比如说下面的25/26就相当于是进行了循环输入检索

我们下一步就是检索:

此时就是

相关推荐
栗筝i几秒前
Spring 核心技术解析【纯干货版】- IV:Spring 切面编程模块 Spring-Aop 模块精讲
java·数据库·spring
Spcarrydoinb4 分钟前
python学习笔记—12—布尔类型、if语句
笔记·python·学习
go_bai8 分钟前
OJ随机链表的复制题目分析
数据结构·经验分享·笔记·链表·学习方法
尘浮生11 分钟前
Java项目实战II基于小程序的驾校管理系统(开发文档+数据库+源码)
java·开发语言·数据库·spring boot·mysql·微信小程序·小程序
Y编程小白12 分钟前
沙箱模拟支付宝支付3--支付的实现
java·沙箱支付
山山而川粤13 分钟前
酒店管理系统|Java|SSM|VUE| 前后端分离
java·开发语言·后端·学习·mysql
今早晚点睡喔24 分钟前
小程序学习06——uniapp组件常规引入和easycom引入语法
学习·uni-app
yuanbenshidiaos34 分钟前
QT-------绘图
开发语言·数据库·qt
wangqiaowq35 分钟前
正则表达式中,`$1` 是一个反向引用(backreference),它代表了匹配过程中捕获的第一个子表达式(即第一个括号内的内容)
java·数据库·mysql
tazj1 小时前
IDEA中Lombok不能使用,找不到get方法
java·ide·intellij-idea