Python爬虫--伪装成浏览器

把爬虫伪装成浏览器

1. 技术原理

我们不讲很官方的属于,

简单的讲就是,一些论坛啊,博客啊

为防止别人爬他们的文章,

通常会判断是不是浏览器访问,如果不是那就屏蔽。


2. 实战

由于 urlopen() 对于一些HTTP的高级功能不支持,

所以,我们如果要修改报头,也就是添加 header

可以使用 urllib.request.build_opener() 进行,

当然,也可以使用 urllib.request.Request() 下的 add_header() 实现浏览器的模拟。

build_opener 的作用:

要爬取的各种各样的网页,它们有一部填写需要验证码,有的需要 cookie,还有更多许多高级的功能,

它们会阻碍你爬,而我对于openurl单纯地理解就是打开网页,

它可以是一个字符串或者是一个 request 对象。而 build_opener 就是多了 handler ,处理问题更专业,更个性化。

代码:

复制代码
import urllib.request

url = "http://blog.csdn.net"

headers = (

	"User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"

	)

opener = urllib.request.build_opener()

opener.addheaders = [headers]  # 添加 headers 头

data = opener.open(url).read()

print(data)

urllib 有些方面还是没 request 好。

相关推荐
用户019027581611 小时前
AlphaFeed 查不到代码返回空?非法/缺后缀 symbol 的行为与处理
python
isfox1 小时前
Python 单元测试:别再用 print 调试了,写个测试一劳永逸
python
用户298698530142 小时前
在 Python 中把 Word 文档转换为 JSON 的三种实现方式
python·json·api
用户0332126663672 小时前
使用 Python 删除 Excel 中的空白行或空白列
python·excel
databook2 小时前
时间序列特征,哪些当时就能算出来
python·数据分析
kevin_org2 小时前
LangChain入门学习(四)
python·学习·langchain·fastapi
H H.2 小时前
Java企业级开发:从框架到工程化实战
java·开发语言·经验分享·其他·课程设计
特立独行的猫A11 小时前
别再用 nohup 了:让应用在后台常驻的正确姿势与 systemd 服务详解
java·后端·python
吃我一窝jio14 小时前
Python与Go线程模型深度对比
java·开发语言·python
eggwyw14 小时前
C++ union 的一种妙用法
开发语言·c++