八爪鱼&easyspider:

参考我的上一篇博客:

scraper插件与软件,

主八爪鱼,easyspider

1,八爪鱼:

同时注意数据横向还是纵向,但是不好操作

二,easyspider:

其中1/2是不需要用户登入的,第3个是需要用户登入的

1,采集中国地震网数据:

数据需求:采集维度>25度,且主要集中在前5页,并且是西藏地区的数据

首先:点击使用纯净版浏览器设计

会进入一个google空白页面:

创建新任务进入:

此时将我们要爬取的中国地震网的网址粘贴复制过来,注意一定要带http/s

点击开始设计

上面是任务设计流程图,然后右边有多行的链接池

因为要输入多个维度进行查询,所以需要循环结构,且是设计在打开网页之后

进入界面:

此时注意使用右键选取元素

我们右键选中大于(因为我们想要选取维度>25的)

此时流程中已经输入

但是我们实际上是想每个维度都采集,不仅仅是25,所以点击"使用循环内的文本"

需要点击外框(循环)

选中文本列表:

比如说下面的25/26就相当于是进行了循环输入检索

我们下一步就是检索:

此时就是

相关推荐
海绵宝宝转agent6 小时前
learn-claude-code第1-5章开源学习笔记分享
人工智能·笔记·python·学习
每天都要写算法(努力版)6 小时前
【行业前沿报告】DAgger:让智能体在自己走到的状态上学习
人工智能·学习·机器学习
Wang's Blog6 小时前
Java 项目实战: 外卖平台优化-Nginx配置文件结构与块层级
java·开发语言·nginx
Elastic 中国社区官方博客6 小时前
将你自己的密钥用于现有 Elastic Cloud 部署
大数据·数据库·elasticsearch·全文检索
红海云7 小时前
Jev:给智能系统做判断的模型
大数据·数据库·人工智能
wjkjpcba7 小时前
PCBA烧录程序是什么:PCBA包工包料厂家解析烧录与测试
linux·数据库·人工智能·smt贴片加工·pcba贴片加工厂
꯭自꯭闭꯭7 小时前
达梦事物特性及MVCC
linux·运维·数据库
\光辉岁月/8 小时前
5.java-数组
java·开发语言
小马同学-8 小时前
MySQL主从复制和读写分离
数据库·mysql
谢亮_vipxieliang8 小时前
Spring 事务失效的常见场景
java·开发语言·数据库·spring boot