【Python网络爬虫 常见问题汇总】

目录

1. 爬取图片出现403

问题出自案例9,已解决。

【Python网络爬虫笔记】9- 抓取优美图库高清壁纸

当在爬取图库图片时遇到 403 错误(通常表示禁止访问,可能是由于图片防盗链机制)

已获取到图片链接,但是无法打开和下载图片,显示如下:

解决办法:

解决办法:设置请求头中的Referer字段

许多网站的防盗链机制会检查Referer字段,确保请求来自于其自身页面。你可以尝试在请求图片时设置正确的Referer值,例如将其设置为图片所在页面的 URL。在download_images函数中,在请求图片之前添加以下代码:

python 复制代码
headers['Referer'] = link

注意,在下载图片的代码中补充get参数

原代码:

修改后的代码增加了headers

2.关于干坏事的问题

博主是个菜鸡,一点也干不了。

后续不定期更新 欢迎共同探讨学习进步

相关推荐
攻城狮7号12 分钟前
Python爬虫第2节-网页基础和爬虫基本原理
爬虫·python爬虫
独好紫罗兰14 分钟前
洛谷题单2-P5713 【深基3.例5】洛谷团队系统-python-流程图重构
开发语言·python·算法
π2701 小时前
爬虫:网络请求(通信)步骤,http和https协议
网络·爬虫
闪电麦坤951 小时前
C#:base 关键字
开发语言·c#
Mason Lin1 小时前
2025年3月29日(matlab -ss -lti)
开发语言·matlab
DREAM.ZL2 小时前
基于python的电影数据分析及可视化系统
开发语言·python·数据分析
難釋懷2 小时前
JavaScript基础-移动端常见特效
开发语言·前端·javascript
海姐软件测试2 小时前
Postman参数化设置如何设置?
开发语言·jmeter
松树戈2 小时前
Java常用异步方式总结
java·开发语言
weisian1512 小时前
Java常用工具算法-3--加密算法2--非对称加密算法(RSA常用,ECC,DSA)
java·开发语言·算法