爬虫中怎么判断一个网页是否包含ajax请求

1、前言

在用爬虫抓取数据的时候,如果一个网页包含ajax请求,由于数据时动态加载的,直接根据网址是不能获取到想要的数据。因此,在爬虫需要首先判断一个网页是否包含ajax请求数据。

2、ajax请求

2.1 什么是ajax请求

AJAX =A synchronous J avaScript A nd XML.(翻译过来就是异步Javascript 和XML)

AJAX 并非编程语言。

AJAX 仅仅组合了:

  • 浏览器内建的 XMLHttpRequest 对象(从 web 服务器请求数据)
  • JavaScript 和 HTML DOM(显示或使用数据)

Ajax 是一个令人误导的名称。Ajax 应用程序可能使用 XML 来传输数据,但将数据作为纯文本或 JSON 文本传输也同样常见。

Ajax 允许通过与场景后面的 Web 服务器交换数据来异步更新网页。这意味着可以更新网页的部分,而不需要重新加载整个页面。

ajax网页具有如下特点:

  • 不刷新页面更新网页
  • 在页面加载后从服务器请求数据
  • 在页面加载后从服务器接收数据
  • 在后台向服务器发送数据

2.1 ajax实现原理

ajax实现原理如下图所示:

  1. 网页中发生一个事件(页面加载、按钮点击)
  2. 由 JavaScript 创建 XMLHttpRequest 对象
  3. XMLHttpRequest 对象向 web 服务器发送请求
  4. 服务器处理该请求
  5. 服务器将响应发送回网页(一般返回内容为XML或json数据)
  6. 由 JavaScript 读取响应(ajax引擎先将返回的数据转为javascript)
  7. 由 JavaScript 执行正确的动作(比如更新页面)

3、怎么判断一个网页中是否包含ajax请求

3.1 网页源码和开发者工具中Elements看到的网页内容不一样

这是最基本,也是最本质的区别。以网址:M Terminal为例:

通过鼠标右键查看网页源码,显示如下:

通过开发者工具查看网页动态加载数据:

稍微对比就可以发现,动态请求网页中的数据好多不少。

3.2 ajax网页一般翻页时,网址不会发生变化

还是以网站M Terminal为例,发现点击下方页面按钮时,虽然网页显示的数据发生了变化,但是网址却没有变化,说明点击页面按钮时,通过ajax进行了动态请求。

相关推荐
比老马还六32 分钟前
Blockly元组积木开发
前端
笨笨狗吞噬者35 分钟前
【uniapp】小程序体积优化,JSON文件压缩
前端·微信小程序·uni-app
西洼工作室1 小时前
浏览器事件循环与内存管理可视化
前端·javascript·css·css3
xier1234561 小时前
高性能和高灵活度的react表格组件
前端
你打不到我呢1 小时前
nestjs入门:上手数据库与prisma
前端
多啦C梦a1 小时前
React 实战:从 setInterval 到 useInterval,一次搞懂定时器 Hook(还能暂停!)
前端·javascript·react.js
Fairy_sevenseven1 小时前
[1]python爬虫入门,爬取豆瓣电影top250实践
开发语言·爬虫·python
闲不住的李先森1 小时前
乐观更新
前端·react.js·设计模式
笔尖的记忆1 小时前
【前端架构和框架】react组件化&数据流
前端·面试
zhangzelin8881 小时前
TypeScript入门指南:JavaScript的类型化超集
前端·javascript·其他·typescript