Python爬虫--伪装成浏览器

余十步2024-05-05 16:14

把爬虫伪装成浏览器

1. 技术原理

我们不讲很官方的属于，

简单的讲就是，一些论坛啊，博客啊

为防止别人爬他们的文章，

通常会判断是不是浏览器访问，如果不是那就屏蔽。

2. 实战

由于 urlopen() 对于一些HTTP的高级功能不支持，

所以，我们如果要修改报头，也就是添加 header

可以使用 urllib.request.build_opener() 进行，

当然，也可以使用 urllib.request.Request() 下的 add_header() 实现浏览器的模拟。

build_opener 的作用：

要爬取的各种各样的网页，它们有一部填写需要验证码，有的需要 cookie，还有更多许多高级的功能，

它们会阻碍你爬，而我对于openurl单纯地理解就是打开网页，

它可以是一个字符串或者是一个 request 对象。而 build_opener 就是多了 handler ，处理问题更专业,更个性化。

代码：

复制代码

import urllib.request

url = "http://blog.csdn.net"

headers = (

	"User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"

	)

opener = urllib.request.build_opener()

opener.addheaders = [headers]  # 添加 headers 头

data = opener.open(url).read()

print(data)

urllib 有些方面还是没 request 好。