八爪鱼&easyspider:

参考我的上一篇博客:

scraper插件与软件,

主八爪鱼,easyspider

1,八爪鱼:

同时注意数据横向还是纵向,但是不好操作

二,easyspider:

其中1/2是不需要用户登入的,第3个是需要用户登入的

1,采集中国地震网数据:

数据需求:采集维度>25度,且主要集中在前5页,并且是西藏地区的数据

首先:点击使用纯净版浏览器设计

会进入一个google空白页面:

创建新任务进入:

此时将我们要爬取的中国地震网的网址粘贴复制过来,注意一定要带http/s

点击开始设计

上面是任务设计流程图,然后右边有多行的链接池

因为要输入多个维度进行查询,所以需要循环结构,且是设计在打开网页之后

进入界面:

此时注意使用右键选取元素

我们右键选中大于(因为我们想要选取维度>25的)

此时流程中已经输入

但是我们实际上是想每个维度都采集,不仅仅是25,所以点击"使用循环内的文本"

需要点击外框(循环)

选中文本列表:

比如说下面的25/26就相当于是进行了循环输入检索

我们下一步就是检索:

此时就是

相关推荐
蓝程序6 分钟前
Spring AI学习 程序接入大模型(HTTP接入)
java·spring
技术净胜7 分钟前
MySQL 8.0 超详细保姆级官方版下载安装完整教程步骤(含环境配置+安装包下载)
数据库·mysql·adb
小途软件8 分钟前
ssm607家政公司服务平台的设计与实现+vue
java·人工智能·pytorch·python·深度学习·语言模型
星火开发设计13 分钟前
二叉树详解及C++实现
java·数据结构·c++·学习·二叉树·知识·期末考试
laplace012317 分钟前
Part3 RAG文档切分
笔记·python·中间件·langchain·rag
被遗忘的旋律.20 分钟前
Linux驱动开发笔记(二十三)—— regmap
linux·驱动开发·笔记
xiaoxiaoxiaolll23 分钟前
《Light: Science & Applications》超表面偏振态与偏振度完全独立控制新范式
学习
闲人编程25 分钟前
商品管理与库存系统
服务器·网络·数据库·python·api·数据模型·codecapsule
Ahtacca29 分钟前
解决服务间通信难题:Spring Boot 中 HttpClient 的标准使用姿势
java·spring boot·后端
宋情写32 分钟前
JavaAI05-Chain、MCP
java·人工智能