python爬虫01-爬虫介绍

目录

1、爬虫是什么

2、爬虫有什么用

3、爬虫的步骤

4、网页的渲染方式


1、爬虫是什么

爬虫就是写一段代码运行去模仿人访问网站。可以代替人们自动的在互联网进行数据采集和整理。

2、爬虫有什么用

  • 数据采集:爬虫可以自动访问网页并抓取其中的数据,可以高效地从大量网页中提取所需的信息;

  • 数据处理和分析:爬虫可以将采集到的数据进行处理和分析,可以对数据进行清洗、整理和结构化,为后续的数据分析和挖掘提供基础。

  • 自动化操作:爬虫可以模拟人的操作,自动进行一些重复性的任务,比如自动填写表单、自动提交数据等。

  • ... ...

总的来说,爬虫可以帮助人们从互联网获取和处理大量的数据,提高工作效率,为数据分析、信息监测和自动化操作等提供支持。

3、爬虫的步骤

  1. 访问网页 -----> 2.解析----> 3.存储

4、网页的渲染方式

  • 客户端渲染: 理解 :前后端分离实现
    • 1.浏览器加载基本结构;
    • 2.浏览器访问数据地址获取对应的数据;
    • 3.浏览器渲染数据进行显示;
    • ++爬取思路:直接访问++++数据地址++++获取数据;++
  • 服务器端渲染:
    • 服务端直接将结构和数据渲染完毕后返回给客户端;
    • ++抓取思路:直接访问数据地址获取到html源代码即可!++
相关推荐
skd899914 分钟前
小蜗牛拨号助手用户使用手册
python
「QT(C++)开发工程师」19 分钟前
STM32 | FreeRTOS 递归信号量
python·stm32·嵌入式硬件
海绵宝宝贾克斯儿25 分钟前
C++中如何实现一个单例模式?
开发语言·c++·单例模式
史迪仔011226 分钟前
[python] Python单例模式:__new__与线程安全解析
开发语言·python·单例模式
胡耀超41 分钟前
18.自动化生成知识图谱的多维度质量评估方法论
人工智能·python·自动化·知识图谱·数据科学·逻辑学·质量评估
isyangli_blog1 小时前
(1-4)Java Object类、Final、注解、设计模式、抽象类、接口、内部类
java·开发语言
三块钱07941 小时前
【原创】基于视觉大模型gemma-3-4b实现短视频自动识别内容并生成解说文案
开发语言·python·音视频
易只轻松熊1 小时前
C++(20): 文件输入输出库 —— <fstream>
开发语言·c++·算法
芯眼1 小时前
ALIENTEK精英STM32F103开发板 实验0测试程序详解
开发语言·c++·stm32·单片机·嵌入式硬件·社交电子
神码小Z1 小时前
Ubuntu快速安装Python3.11及多版本管理
python