八爪鱼&easyspider:

参考我的上一篇博客:

scraper插件与软件,

主八爪鱼,easyspider

1,八爪鱼:

同时注意数据横向还是纵向,但是不好操作

二,easyspider:

其中1/2是不需要用户登入的,第3个是需要用户登入的

1,采集中国地震网数据:

数据需求:采集维度>25度,且主要集中在前5页,并且是西藏地区的数据

首先:点击使用纯净版浏览器设计

会进入一个google空白页面:

创建新任务进入:

此时将我们要爬取的中国地震网的网址粘贴复制过来,注意一定要带http/s

点击开始设计

上面是任务设计流程图,然后右边有多行的链接池

因为要输入多个维度进行查询,所以需要循环结构,且是设计在打开网页之后

进入界面:

此时注意使用右键选取元素

我们右键选中大于(因为我们想要选取维度>25的)

此时流程中已经输入

但是我们实际上是想每个维度都采集,不仅仅是25,所以点击"使用循环内的文本"

需要点击外框(循环)

选中文本列表:

比如说下面的25/26就相当于是进行了循环输入检索

我们下一步就是检索:

此时就是

相关推荐
可涵不会debug几秒前
【IoTDB】时序数据库选型指南:工业大数据场景下的技术突围
数据库·时序数据库
ByteBlossom3 分钟前
MySQL 面试场景题之如何处理 BLOB 和CLOB 数据类型?
数据库·mysql·面试
玉衡子6 分钟前
九、MySQL配置参数优化总结
java·mysql
叽哥7 分钟前
Kotlin学习第 8 课:Kotlin 进阶特性:简化代码与提升效率
android·java·kotlin
麦兜*9 分钟前
MongoDB Atlas 云数据库实战:从零搭建全球多节点集群
java·数据库·spring boot·mongodb·spring·spring cloud
带刺的坐椅9 分钟前
DamiBus v1.1.0 发布(给单体多模块解耦)
java·事件总线·damibus
葡萄城技术团队10 分钟前
用 Java 构建健壮 REST API 的 4 个关键技巧
java
杨杨杨大侠10 分钟前
解密 atlas-mapper 框架 (9/10):故障排查与调试技巧
java·开源·github
Slaughter信仰12 分钟前
深入理解Java虚拟机:JVM高级特性与最佳实践(第3版)第十章知识点问答(10题)
java·jvm·数据库
麦兜*14 分钟前
MongoDB 在物联网(IoT)中的应用:海量时序数据处理方案
java·数据库·spring boot·物联网·mongodb·spring