【Python网络爬虫 常见问题汇总】

目录

• [1. 爬取图片出现403](#1. 爬取图片出现403)
• • 解决办法：设置请求头中的Referer字段
• 2.关于干坏事的问题
• [后续不定期更新 欢迎共同探讨学习进步](#后续不定期更新 欢迎共同探讨学习进步)

1. 爬取图片出现403

问题出自案例9，已解决。

【Python网络爬虫笔记】9- 抓取优美图库高清壁纸

当在爬取图库图片时遇到 403 错误（通常表示禁止访问，可能是由于图片防盗链机制）

已获取到图片链接，但是无法打开和下载图片，显示如下：

解决办法：

解决办法：设置请求头中的Referer字段

许多网站的防盗链机制会检查Referer字段，确保请求来自于其自身页面。你可以尝试在请求图片时设置正确的Referer值，例如将其设置为图片所在页面的 URL。在download_images函数中，在请求图片之前添加以下代码：

headers['Referer'] = link

注意，在下载图片的代码中补充get参数

原代码：

修改后的代码增加了headers

2.关于干坏事的问题

博主是个菜鸡，一点也干不了。

后续不定期更新 欢迎共同探讨学习进步