八爪鱼&easyspider:

参考我的上一篇博客:

scraper插件与软件,

主八爪鱼,easyspider

1,八爪鱼:

同时注意数据横向还是纵向,但是不好操作

二,easyspider:

其中1/2是不需要用户登入的,第3个是需要用户登入的

1,采集中国地震网数据:

数据需求:采集维度>25度,且主要集中在前5页,并且是西藏地区的数据

首先:点击使用纯净版浏览器设计

会进入一个google空白页面:

创建新任务进入:

此时将我们要爬取的中国地震网的网址粘贴复制过来,注意一定要带http/s

点击开始设计

上面是任务设计流程图,然后右边有多行的链接池

因为要输入多个维度进行查询,所以需要循环结构,且是设计在打开网页之后

进入界面:

此时注意使用右键选取元素

我们右键选中大于(因为我们想要选取维度>25的)

此时流程中已经输入

但是我们实际上是想每个维度都采集,不仅仅是25,所以点击"使用循环内的文本"

需要点击外框(循环)

选中文本列表:

比如说下面的25/26就相当于是进行了循环输入检索

我们下一步就是检索:

此时就是

相关推荐
这人很懒没留下什么3 分钟前
SpringBoot2.7.4整合MongoDb
数据库·spring boot·mongodb
e***98573 分钟前
springboot接入deepseek深度求索 java
java·spring boot·后端
0***v7773 分钟前
redis批量删除namespace下的数据
数据库·redis·缓存
q***06294 分钟前
【细如狗】记录一次使用MySQL的Binlog进行数据回滚的完整流程
android·数据库·mysql
8***84825 分钟前
SQL 实战—递归 SQL:层级结构查询与处理树形数据
java·数据库·sql
Sandman6z7 分钟前
快速上手:国内通过 Gitee 学习使用在线托管平台
学习·gitee
睡前要喝豆奶粉8 分钟前
EF Core动态sql
数据库·sql·c#·.netcore
小股虫9 分钟前
代码优化与设计模式 — 实战精要
java·设计模式·重构
倚肆10 分钟前
MyBatis XML 配置详解
xml·java·mybatis
f***241110 分钟前
SpringBoot中整合ONLYOFFICE在线编辑
java·spring boot·后端