初始爬虫12(反爬与反反爬)

学到这里,已经可以开始实战项目了,多去爬虫,了解熟悉反爬,然后自己总结出一套方法怎么做。

1.服务器反爬的原因

服务器反爬的原因 总结:

1.爬虫占总PV较高,浪费资源

2.资源被批量抓走,丧失竞争力

3.法律的灰色地带

2.服务器常反什么样的爬虫

服务器常反什么样的爬虫 总结:

1.十分低级的应届毕业生

2.十分低级的创业小公司

3.失控小爬虫

4.竞争对手

5.搜索引擎

3.反爬的三个方向

关键在于批量。

3.1基于身份识别的反爬

基于身份识别的反爬 总结:

1.headers

user-agent

referer

cookies

2.请求参数

1.从html文件中提取

2.发送请求获取数据

3.通过js生成

4.通过验证码

3.2基于爬虫行为的反爬

常见基于爬虫行为进行反爬 总结:

1.基于请求频率或总请求数量

通过请求ip/账号单位时间内总请求数量进行反爬

通过同一ip/账号请求之间的间隔进行反爬

通过对请求ip/账号每天请求次数设置阈值进行反爬

2.根据爬取行为进行反爬,通常在爬取步骤上做分析

通过js实现跳转来反爬

通过蜜罐(陷阱)获取爬虫ip(或者代理ip),进行反爬

通过假数据反爬

阻塞任务队列

阻塞网络IO

运维平台审计

3.3基于数据加密的反爬

基于数据加密进行反爬 总结:

1.对响应中含有的数据进行特殊化处理

自定义字体

CSS

js生成

图片

编码格式

4.验证码

4.1验证码的知识

图片验证码 总结:

1.全自动区分计算机和人类的图灵测试

2.防止恶意破解密码、刷票、论坛灌水、刷页。

3.图片验证码在爬虫中的使用场景

注册

登录

频繁发送请求时,服务器弹出验证码进行验证

4.图片验证码的处理方案

手动处理

图像识别引擎解析

打码平台

4.2图像识别引擎

需要引擎安装和python模块安装 。
tesseract下载地址:Index of /tesseract

安装完成之后,简单使用:

python 复制代码
from PIL import Image
import pytesseract

text = pytesseract.image_to_string(Image.open(r'E:\pythonProject\test.png'))
print(text)

tesseract简单使用与训练(非必要操作):

Tesseract-OCR的简单使用与训练 - 小LiAn - 博客园 (cnblogs.com)

4.3打码平台

练习打码平台的使用。

相关推荐
小白学大数据3 小时前
Python爬虫开发中的分析与方案制定
开发语言·c++·爬虫·python
数据小小爬虫4 小时前
如何用Java爬虫“偷窥”淘宝商品类目API的返回值
java·爬虫·php
B站计算机毕业设计超人9 小时前
计算机毕业设计Python+大模型农产品价格预测 ARIMA自回归模型 农产品可视化 农产品爬虫 机器学习 深度学习 大数据毕业设计 Django Flask
大数据·爬虫·python·深度学习·机器学习·课程设计·数据可视化
single_ffish10 小时前
XPath:网络爬虫中的数据提取利器
爬虫·python
abments12 小时前
JavaScript逆向爬虫教程-------基础篇之JavaScript密码学以及CryptoJS各种常用算法的实现
javascript·爬虫·密码学
小爬虫程序猿14 小时前
python爬虫获得淘宝商品类目 API 返回值说明
开发语言·爬虫·python
week_泽14 小时前
python爬虫(二)爬取国家博物馆的信息
开发语言·爬虫·python
B站计算机毕业设计超人16 小时前
计算机毕业设计Python+Neo4j知识图谱医疗问答系统 大模型 机器学习 深度学习 人工智能 大数据毕业设计 Python爬虫 Python毕业设计
爬虫·python·深度学习·机器学习·知识图谱·课程设计·neo4j
殷丿grd_志鹏18 小时前
Python爬虫知识体系-----正则表达式-----持续更新
爬虫·python·正则表达式
Amo Xiang1 天前
2024最新版JavaScript逆向爬虫教程-------基础篇之Chrome开发者工具学习
javascript·chrome·爬虫·js逆向