【Python爬虫基础-1】爬虫开发基础
- 1、爬虫
-
- [2.1 什么是爬虫](#2.1 什么是爬虫)
- [2.2 怎么爬取数据](#2.2 怎么爬取数据)
- [2.3 爬虫数据能随便爬取吗？](#2.3 爬虫数据能随便爬取吗？)
- [2.4 爬虫的分类](#2.4 爬虫的分类)
- [2.5 爬虫的原理](#2.5 爬虫的原理)
- 2、HTTP与HTTPS
-
- [2.1 常见的请求方式](#2.1 常见的请求方式)
- [2.2 常见的请求头参数](#2.2 常见的请求头参数)
- [2.3 HTTP请求的交互过程](#2.3 HTTP请求的交互过程)
- 3、Chrome分析网站
- 4、Session与Cookie
- 5、JSON
1、爬虫
2.1 什么是爬虫
- 使用编程语言所写的一个用于爬取Web或app数据的应用程序
2.2 怎么爬取数据
- 找到要爬取的目标网站、发起请求
- 分析URL是如何变化的和提取有用的URL
- 提取有用的数据
2.3 爬虫数据能随便爬取吗？
- 遵守robots.txt 协议
2.4 爬虫的分类
- 通用网络爬虫：百度，Google等搜索引擎，从一些初识的URL扩展到整个网站，主要为门户站点搜索引擎和大型网站服务采集数据。
- 聚焦网络爬虫：又称主题网络爬虫，选择性地爬行根据需求的主题相关页面的网络爬虫。
- 增量式网络爬虫：对已经下载网页采取增量式更新知识和只爬行新产生或已经发生变化的网页爬虫。
- 深层网络爬虫：大部分内容不能通过静态的URL获取、隐藏在搜索表单后的、只有用户提交一些关键词才能获得的网络页面。
2.5 爬虫的原理
- 通用网络爬虫的原理
- 聚焦网络爬虫的原理
2、HTTP与HTTPS
- HTTP协议：全称是HyperText Transfer protocal，中文意思是超文本传输协议，是一种发布＆接收HTML（HyerText Markuup Language）页面的方法。服务器端口号为80端口。
- HTTPS协议：（全称：Hyper Text Transfer protocol over SecureSocket Layer）,是HTTP协议的加密版本，在HTTP下加入了SSL层，服务器端口号是443
2.1 常见的请求方式
-
http协议规定了浏览器与服务器进行数据交互的过程中必须要选择的一种交互的方式
-
在HTTP协议中，定义了八种请求方式。常见的有get请求与post请求
-
get请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求。
-
post请求：向服务器发送数据（登录）、上传文件等，会对服务器资源产生影响的时候会使用Post请求。
请求参数在form data中
-
-
以上是网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。
-
但是有的网站何服务器为了做反爬虫机制，也经常会不按常理出牌。有可能一个应该使用get方法的请求就一定要改成post请求，这个要视情况而定。
2.2 常见的请求头参数
-
http协议中，向服务器发送一个请求，数据分为三部分
- 第一个是把数据放在url中
- 第二个是把数据放在body中（post请求时）
- 第三个就是把数据放在head中
-
常见的请求头参数
- user-agent：浏览器名称
- referer：表明当前这个请求是从哪个url过来的
- cookie：http协议是无状态的。也就是同一个人发送了两次请求。服务器没有能力知道这两个请求是否来自同一个人。
-
常见的响应状态码
- 200：请求正常，服务器正常的返回数据
- 301：永久重定向。比如访问http://www.360buy.com的时候会重定向到www.jd.com
- 404：请求的url在服务器上找不到，换句话说就是请求的url错误。
- 418：发送请求遇到服务器端反爬虫 ，服务器拒绝响应数据
- 500：服务器内部错误，可能是服务器出现了bug
2.3 HTTP请求的交互过程
- 客户端浏览器向网站所在的服务器发送一个请求
- 网站服务器接收到这个请求后进行解析、处理，然后返回响应对应的数据给浏览器。
- 浏览器中包含网页的源代码等内容（存在浏览器的缓存中），浏览器再对其进行解析，最终将结果呈现给用户
3、Chrome分析网站
- 试分析豆瓣电影
- Elements：可以帮助我们分析网页结构，获取我们想要的数据
- Console控制台：打印输出网站的一些信息，比如说网站的招聘信息
- Sources：相当于一个文件夹一样，加载这个网页所需要的所有源文件，除了Elements的源代码之外，还有一些CSS文件、JS文件等。
- Network：查看整个网页发送的所有网络请求。一般我们想要去查看某个请求的信息，都可以到这里面去看。
4、Session与Cookie
-
Session
- Session代表服务器与浏览器的一次会话过程。
- Session是一种服务器端的机制，Session对象用来存储特定用户会话所需的信息。
- Session由服务器端生成，保存在服务器的内存、缓存、硬盘或数据库中。
-
Session的基本原理
-
Cookie
- Cookie是由服务端生成后发送给客户端（通常是浏览），Cookie总是保存在客户端。
-
Cookie的基本原理
- 创建Cookie
- 设置存储Cookie
- 发送Cookie
- 读取Cookie
5、JSON
- JavaScript ObjectNotation，JS对象标记，是一种轻量级的数据交互格式，采用完全独立于编程语言的文本格式来存储和表示数据。
- 简洁和清晰的层次结构使得JSON成为理想的数据交换语言，易于阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。
- JSON的数据格式
- 对象表示为键值对
- 数据由逗号分隔
- 花括号保存对象
- 方括号保存数组
在数据结构上，JSON与Python里的字典非常相似