python爬虫01-爬虫介绍

目录

1、爬虫是什么

2、爬虫有什么用

3、爬虫的步骤

4、网页的渲染方式


1、爬虫是什么

爬虫就是写一段代码运行去模仿人访问网站。可以代替人们自动的在互联网进行数据采集和整理。

2、爬虫有什么用

  • 数据采集:爬虫可以自动访问网页并抓取其中的数据,可以高效地从大量网页中提取所需的信息;

  • 数据处理和分析:爬虫可以将采集到的数据进行处理和分析,可以对数据进行清洗、整理和结构化,为后续的数据分析和挖掘提供基础。

  • 自动化操作:爬虫可以模拟人的操作,自动进行一些重复性的任务,比如自动填写表单、自动提交数据等。

  • ... ...

总的来说,爬虫可以帮助人们从互联网获取和处理大量的数据,提高工作效率,为数据分析、信息监测和自动化操作等提供支持。

3、爬虫的步骤

  1. 访问网页 -----> 2.解析----> 3.存储

4、网页的渲染方式

  • 客户端渲染: 理解 :前后端分离实现
    • 1.浏览器加载基本结构;
    • 2.浏览器访问数据地址获取对应的数据;
    • 3.浏览器渲染数据进行显示;
    • ++爬取思路:直接访问++++数据地址++++获取数据;++
  • 服务器端渲染:
    • 服务端直接将结构和数据渲染完毕后返回给客户端;
    • ++抓取思路:直接访问数据地址获取到html源代码即可!++
相关推荐
Swift社区13 分钟前
在 Swift 中实现字符串分割问题:以字典中的单词构造句子
开发语言·ios·swift
没头脑的ht15 分钟前
Swift内存访问冲突
开发语言·ios·swift
没头脑的ht18 分钟前
Swift闭包的本质
开发语言·ios·swift
wjs202420 分钟前
Swift 数组
开发语言
stm 学习ing1 小时前
FPGA 第十讲 避免latch的产生
c语言·开发语言·单片机·嵌入式硬件·fpga开发·fpga
湫ccc2 小时前
《Python基础》之字符串格式化输出
开发语言·python
mqiqe3 小时前
Python MySQL通过Binlog 获取变更记录 恢复数据
开发语言·python·mysql
AttackingLin3 小时前
2024强网杯--babyheap house of apple2解法
linux·开发语言·python