Python爬虫

目录

1.网络爬虫

2.爬虫的分类

①通用爬虫

②聚焦爬虫

③增量式爬虫

3.反爬机制&反反爬策略

4.HTML网页(详细复习前面web知识)

5.网络请求

6.请求头常见参数

①User-Agent

②Referer

③Cookie

7.常见响应状态码

[8.URL(host、port、path ...)](#8.URL(host、port、path ...))

9.网页分类

①表层网页

②深层网页


1.网络爬虫

网络爬虫是一种按照一定的规则,自动抓取万维网信息的程序或者脚本。

网页一般由html语言进行编写,抓取其中的数据就相当于在html中找到相应的内容进行抓取。

将网页中的数据和信息保存到本地就是网络爬虫。

2.爬虫的分类

①通用爬虫

抓取系统重要组成部分。(抓取的是一整网页的数据)

②聚焦爬虫

是建立在通用爬虫的基础之上。(抓取的是页面中特定的局部内容)

③增量式爬虫

是检测网站中数据更新的情况。(只会抓取网站中最新更新的数据)

3.反爬机制&反反爬策略

反爬机制:门户网站,可以通过制定相应的策略或者技术手段,防止爬虫程序进行网站数据的爬取。

反反爬策略:爬虫程序可以通过制定相关的策略或者技术手段,破解门户网站中具有的反爬机制,从而获取门户网站。

4.HTML网页(详细复习前面web知识)

HTML网页主要由标签构成。

标签分为闭合标签和自闭和标签。

标签还包含有标签属性。

5.网络请求

已知ip想服务器发送了ip,即访问请求,服务器返回html的过程称为网络请求。

常见协议:(GET和POST最为常用)

GET:发送请求来获得服务器上的资源。

POST:向服务器提交资源让服务器处理。

HEAD:主要用来检查资源或者超链接的有效性或者是否可以打开,检查网页是否被篡改或者更新。

PUT:向指定资源位置上上传最新内容

DELETE、CONNECT、OPTIONS、TRACE...

6.请求头常见参数

①User-Agent

浏览器的名称。

②Referer

表明网页是从哪个网站转跳而来。

③Cookie

HTTP协议是无状态的。当多次请求同时发送时,使用Cookie作为区分。

7.常见响应状态码

状态码 含义

200 请求成功

301 永久重定向,资源(网页等)被永久转移到其他URL

404 请求的资源(网页)不存在

500 内部服务器错误

8.URL(host、port、path ...)

URL表示统一资源定位符,俗称网址。

每一个信息资源在网上都有唯一的一个网址,这就是URL。

URL遵守以下法则:scheme-定义因特网服务类型,即访问因特网的协议。常见协议有:https、http、ftp、file。

  • http:明文传输,不安全,容易被截取到相关信息。

  • https:加密传输,相对安全。

  • ftp:qq传输文件时,就会遵循ftp协议。

  • file:本地文件访问时遵循的协议。

host:主机名、域名

port:定义主机上的端口号(http默认端口号是80;https默认端口号443)

path:定义服务器上的路径

9.网页分类

网页按存在方式可以分为两类:

①表层网页

传统引擎可以索引的页面,主要以超链接就可以达到的静态网页构成的网页。

②深层网页

深层网页是指大部分内容无法通过静态链接获取,只能通过用户提交的一些 关键词才能获取。

相关推荐
阿里云大数据AI技术5 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
特创数字科技5 小时前
纯本地离线运行的文档脱敏工具(技术分享)
前端·驱动开发·python
衡石科技5 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
布莱克6056 小时前
Swift 循环与控制转移详解:从 for-in 到标签跳转
开发语言·ssh·swift·循环
东莞市云毅网络有限公司6 小时前
用 Playwright 搭一套问答平台引用监测的最小骨架
python·数据清洗·rag·企业知识库·文档解析
Thanks_ks6 小时前
【第 010 讲】全面掌握 Python 变量与常量:变量的定义与赋值 | 标识符与命名规范 | 变量的底层机制 | 常量与魔术数字
python·内存·变量·标识符·常量·赋值·命名规范
敲上瘾6 小时前
Qt核心机制:信号与槽详解
开发语言·c++·qt·ui·qt6.3
联犀7 小时前
ai时代复杂项目的golang项目如何更好的与ai共舞:monorepo+gozero
开发语言·人工智能·golang
飞Link7 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人
用户0332126663678 小时前
使用 Python 快速查找并高亮 PDF 中的文本
python