参考我的上一篇博客:
scraper插件与软件,
主八爪鱼,easyspider
1,八爪鱼:
同时注意数据横向还是纵向,但是不好操作
二,easyspider:
其中1/2是不需要用户登入的,第3个是需要用户登入的
1,采集中国地震网数据:
数据需求:采集维度>25度,且主要集中在前5页,并且是西藏地区的数据
首先:点击使用纯净版浏览器设计
会进入一个google空白页面:
创建新任务进入:
此时将我们要爬取的中国地震网的网址粘贴复制过来,注意一定要带http/s
点击开始设计
上面是任务设计流程图,然后右边有多行的链接池
因为要输入多个维度进行查询,所以需要循环结构,且是设计在打开网页之后
进入界面:
此时注意使用右键选取元素
我们右键选中大于(因为我们想要选取维度>25的)
此时流程中已经输入
但是我们实际上是想每个维度都采集,不仅仅是25,所以点击"使用循环内的文本"
需要点击外框(循环)
选中文本列表:
比如说下面的25/26就相当于是进行了循环输入检索
我们下一步就是检索:
此时就是