“瀑布流“ 滚动网页采集工具

前两天采集时,遇到一个网站没有翻页按钮,也没有 "下一页" 的链接,页面上的内容只能滑到底部才会自动加载新的,就似刷微博、小红书的瀑布流网页。

普通的网页采集工具是按页码翻页来采集的,一页一页往下抓,遇到这种滚动加载的页面,直接就无效了。

简数采集器有个Ajax动态加载功能可以专门处理这种情况,它能模拟人滚动页面的操作,触发新的内容加载,然后把这些内容全部采集下来。

操作非常简单,按照以下步骤操作即可:

第一步:创建采集任务

点左上角的 "创建采集任务" ,输入一个任务名,再把要采集的列表页网址填进去。

第二步:列表页采集配置

列表提取器的作用是把要采集的那些详情页链接提取出来。

系统默认会用智能算法自动识别,如果你想自己调整,在可视化界面上用鼠标点就行:点选两个不同的目标链接,系统会自动识别出其他相似的链接。

第三步:滚动加载配置(关键)

在列表提取器里,点 "动态" ,勾上 "启用Ajax动态加载" ,选择 "滚动页面" 。

"滚动到的位置" 是指模拟滚动的距离,默认是1000像素。如果你要采集的页面比较长,可以把这个数值调大。

滚动次数的设置,建议不要超过5次,一般来说3到5次就能把近期更新的数据都抓到了。

Ajax动态加载有三种模式可供使用,顺便都简要说一下:

第一种是 "仅等待" :适用于列表提取器预览窗口里看不到数据的情况,比如说页面一直显示加载中,或者一片空白,但是在浏览器里打开是正常的。这时候开一下这个功能就行。

第二种是 "点击加载更多":适用于那些通过点击 "加载更多" 按钮来加载新内容的网页,没有数字分页也没有下一页链接。

第三种就是 "滚动页面" :适用于瀑布流页面。

第四步:详情页采集配置

继续下一步,系统会自动智能提取详情页里面的内容,如标题、作者、日期、正文、标签这些东西。你也可以在可视化界面上自行调整,如加一些字段或者删掉不需要的。

第五步:启动运行采集

采集完的数据,在任务里的「结果数据&导出发送」里可以查看和导出发布。

简数支持的CMS还挺全的:WordPress、织梦DEDE、Discuz、Zblog、Typecho、帝国ECMS、迅睿CMS等这些都有。

这个功能解决了一个很实际的问题。那些瀑布流页面和无限滚动的列表,以前确实不好处理,现在使用Ajax动态加载就能轻松搞定了。

相关推荐
聪明的笨猪猪11 小时前
企业知识库AI架构选型:落地导向的架构决策与组件清单
经验分享·面试·架构·embedding·数据库架构
Go Work13 小时前
两个等值条件摆着,MySQL 偏要全表扫
经验分享·笔记
鲁邦通物联网14 小时前
包装设备换型后,边缘计算网关如何设计数据映射与配置版本?
边缘计算·数据采集·工业数据采集·工业网关·边缘计算网关·5g数采·厂内数采
深圳智根网络程序开发17 小时前
WordPress固定链接怎么设?改不对谷歌收录直接崩
经验分享
德思特18 小时前
如何提升 5G 移动性切换验证效率?德思特 Amarisoft Callbox 新增 NR SA LTM 测试功能详解
经验分享·无线通信·车载通信
虹科数字化与AR20 小时前
农业机械AR质检ROI怎么算?从搬运、测量、返工和交付成本入手
经验分享·ar·质检·农业机械
聪明的笨猪猪1 天前
Java 工程案例:AI 生成 @Async 异步线程池踩坑
java·经验分享·面试·ai编程
仓库日记2 天前
Excel进销存何时该换?用3项检查判断是否需要软件
经验分享·excel·进销存·开单软件
鲁邦通物联网2 天前
边缘计算网关接入工业装备,数据接口如何设计与验证?
边缘计算·数据采集·工业数据采集·边缘计算网关·5g数采·plc数采·厂内数采
AI工具挖掘机2 天前
开源!2个Skill复刻带货视频、图文和Live,做百号矩阵
经验分享