爬虫中怎么判断一个网页是否包含ajax请求

1、前言

在用爬虫抓取数据的时候,如果一个网页包含ajax请求,由于数据时动态加载的,直接根据网址是不能获取到想要的数据。因此,在爬虫需要首先判断一个网页是否包含ajax请求数据。

2、ajax请求

2.1 什么是ajax请求

AJAX =A synchronous J avaScript A nd XML.(翻译过来就是异步Javascript 和XML)

AJAX 并非编程语言。

AJAX 仅仅组合了:

  • 浏览器内建的 XMLHttpRequest 对象(从 web 服务器请求数据)
  • JavaScript 和 HTML DOM(显示或使用数据)

Ajax 是一个令人误导的名称。Ajax 应用程序可能使用 XML 来传输数据,但将数据作为纯文本或 JSON 文本传输也同样常见。

Ajax 允许通过与场景后面的 Web 服务器交换数据来异步更新网页。这意味着可以更新网页的部分,而不需要重新加载整个页面。

ajax网页具有如下特点:

  • 不刷新页面更新网页
  • 在页面加载后从服务器请求数据
  • 在页面加载后从服务器接收数据
  • 在后台向服务器发送数据

2.1 ajax实现原理

ajax实现原理如下图所示:

  1. 网页中发生一个事件(页面加载、按钮点击)
  2. 由 JavaScript 创建 XMLHttpRequest 对象
  3. XMLHttpRequest 对象向 web 服务器发送请求
  4. 服务器处理该请求
  5. 服务器将响应发送回网页(一般返回内容为XML或json数据)
  6. 由 JavaScript 读取响应(ajax引擎先将返回的数据转为javascript)
  7. 由 JavaScript 执行正确的动作(比如更新页面)

3、怎么判断一个网页中是否包含ajax请求

3.1 网页源码和开发者工具中Elements看到的网页内容不一样

这是最基本,也是最本质的区别。以网址:M Terminal为例:

通过鼠标右键查看网页源码,显示如下:

通过开发者工具查看网页动态加载数据:

稍微对比就可以发现,动态请求网页中的数据好多不少。

3.2 ajax网页一般翻页时,网址不会发生变化

还是以网站M Terminal为例,发现点击下方页面按钮时,虽然网页显示的数据发生了变化,但是网址却没有变化,说明点击页面按钮时,通过ajax进行了动态请求。

相关推荐
前端小万1 分钟前
一次紧急的现场性能问题排查
前端·性能优化
excel17 分钟前
为什么相同卷积代码在不同层学到的特征完全不同——基于 tfjs-node 猫图像识别示例的逐层解析
前端
知识分享小能手17 分钟前
React学习教程,从入门到精通,React 使用属性(Props)创建组件语法知识点与案例详解(15)
前端·javascript·vue.js·学习·react.js·前端框架·vue
用户214118326360219 分钟前
dify案例分享-免费玩转即梦 4.0 多图生成!Dify 工作流从搭建到使用全攻略,附案例效果
前端
CodeSheep20 分钟前
稚晖君又开始摇人了,有点猛啊!
前端·后端·程序员
JarvanMo22 分钟前
Flutter Web vs Mobile:主要区别以及如何调整你的UI
前端
IT_陈寒42 分钟前
Java性能优化:从这8个关键指标开始,让你的应用提速50%
前端·人工智能·后端
天生我材必有用_吴用44 分钟前
Vue3+Node.js 实现大文件上传:断点续传、秒传、分片上传完整教程(含源码)
前端
摸鱼的春哥1 小时前
前端程序员最讨厌的10件事
前端·javascript·后端
牧羊狼的狼5 小时前
React 中的 HOC 和 Hooks
前端·javascript·react.js·hooks·高阶组件·hoc