八爪鱼&easyspider:

参考我的上一篇博客:

scraper插件与软件,

主八爪鱼,easyspider

1,八爪鱼:

同时注意数据横向还是纵向,但是不好操作

二,easyspider:

其中1/2是不需要用户登入的,第3个是需要用户登入的

1,采集中国地震网数据:

数据需求:采集维度>25度,且主要集中在前5页,并且是西藏地区的数据

首先:点击使用纯净版浏览器设计

会进入一个google空白页面:

创建新任务进入:

此时将我们要爬取的中国地震网的网址粘贴复制过来,注意一定要带http/s

点击开始设计

上面是任务设计流程图,然后右边有多行的链接池

因为要输入多个维度进行查询,所以需要循环结构,且是设计在打开网页之后

进入界面:

此时注意使用右键选取元素

我们右键选中大于(因为我们想要选取维度>25的)

此时流程中已经输入

但是我们实际上是想每个维度都采集,不仅仅是25,所以点击"使用循环内的文本"

需要点击外框(循环)

选中文本列表:

比如说下面的25/26就相当于是进行了循环输入检索

我们下一步就是检索:

此时就是

相关推荐
@淡 定1 分钟前
线程安全的日期格式化:避免 SimpleDateFormat 并发问题
java
想不出名字ಥ_ಥ2 分钟前
STM32学习笔记--01学会如何点亮一颗LED灯
笔记·stm32·学习
qq_12498707533 分钟前
基于springboot框架的小型饮料销售管理系统的设计与实现(源码+论文+部署+安装)
java·spring boot·后端·spring·毕业设计
Warren987 分钟前
datagrip新建oracle连接教程
数据库·windows·云原生·oracle·容器·kubernetes·django
焦糖玛奇朵婷8 分钟前
扭蛋机小程序:线上扭蛋机模式发展新形势[特殊字符]
大数据·数据库·程序人生·小程序·软件需求
我命由我123459 分钟前
Python Flask 开发:在 Flask 中返回字符串时,浏览器将其作为 HTML 解析
服务器·开发语言·后端·python·flask·html·学习方法
YMatrix 官方技术社区20 分钟前
YMatrix 高可用详解:3 种镜像策略在节点宕机时表现有何不同?
运维·数据库·数据仓库·ai·数据库开发·数据库架构·ymatrix
嘟嘟w23 分钟前
SQL注入是什么
数据库·sql·oracle
摇滚侠23 分钟前
Redis 零基础到进阶,Redis 主从复制,笔记55-62
数据库·redis·笔记
surtr125 分钟前
数据库基础(数据库原理和应用)
数据库·sql·mysql·oracle·database