python爬虫01-爬虫介绍

目录

1、爬虫是什么

2、爬虫有什么用

3、爬虫的步骤

4、网页的渲染方式


1、爬虫是什么

爬虫就是写一段代码运行去模仿人访问网站。可以代替人们自动的在互联网进行数据采集和整理。

2、爬虫有什么用

  • 数据采集:爬虫可以自动访问网页并抓取其中的数据,可以高效地从大量网页中提取所需的信息;

  • 数据处理和分析:爬虫可以将采集到的数据进行处理和分析,可以对数据进行清洗、整理和结构化,为后续的数据分析和挖掘提供基础。

  • 自动化操作:爬虫可以模拟人的操作,自动进行一些重复性的任务,比如自动填写表单、自动提交数据等。

  • ... ...

总的来说,爬虫可以帮助人们从互联网获取和处理大量的数据,提高工作效率,为数据分析、信息监测和自动化操作等提供支持。

3、爬虫的步骤

  1. 访问网页 -----> 2.解析----> 3.存储

4、网页的渲染方式

  • 客户端渲染: 理解 :前后端分离实现
    • 1.浏览器加载基本结构;
    • 2.浏览器访问数据地址获取对应的数据;
    • 3.浏览器渲染数据进行显示;
    • ++爬取思路:直接访问++++数据地址++++获取数据;++
  • 服务器端渲染:
    • 服务端直接将结构和数据渲染完毕后返回给客户端;
    • ++抓取思路:直接访问数据地址获取到html源代码即可!++
相关推荐
薄荷撞~可乐几秒前
C#高并发与并行理解处理
开发语言·c#
E___V___E4 分钟前
设计模式--装饰器模式
python·设计模式·装饰器模式
孤廖5 分钟前
【算法磨剑:用 C++ 思考的艺术・Dijkstra 实战】弱化版 vs 标准版模板,洛谷 P3371/P4779 双题精讲
java·开发语言·c++·程序人生·算法·贪心算法·启发式算法
sali-tec10 分钟前
C# 基于halcon的视觉工作流-章33-矩状测量
开发语言·人工智能·算法·计算机视觉·c#
Dan.Qiao28 分钟前
pycharm如何处理python项目间引用
ide·python·pycharm
万粉变现经纪人1 小时前
如何解决pip安装报错ModuleNotFoundError: No module named ‘sympy’问题
python·beautifulsoup·pandas·scikit-learn·pyqt·pip·scipy
酷炫码神1 小时前
第 2 篇:Java 入门实战(JDK8 版)—— 编写第一个 Java 程序,理解基础运行逻辑
java·开发语言·策略模式
像风一样自由20201 小时前
Go语言详细指南:特点、应用场景与开发工具
开发语言·后端·golang
半夏知半秋1 小时前
基于跳跃表的zset实现解析(lua版)
服务器·开发语言·redis·学习·lua
Wyc724091 小时前
Lua语言基础笔记
开发语言·笔记·lua