【Python网络爬虫 常见问题汇总】

目录

1. 爬取图片出现403

问题出自案例9,已解决。

【Python网络爬虫笔记】9- 抓取优美图库高清壁纸

当在爬取图库图片时遇到 403 错误(通常表示禁止访问,可能是由于图片防盗链机制)

已获取到图片链接,但是无法打开和下载图片,显示如下:

解决办法:

解决办法:设置请求头中的Referer字段

许多网站的防盗链机制会检查Referer字段,确保请求来自于其自身页面。你可以尝试在请求图片时设置正确的Referer值,例如将其设置为图片所在页面的 URL。在download_images函数中,在请求图片之前添加以下代码:

python 复制代码
headers['Referer'] = link

注意,在下载图片的代码中补充get参数

原代码:

修改后的代码增加了headers

2.关于干坏事的问题

博主是个菜鸡,一点也干不了。

后续不定期更新 欢迎共同探讨学习进步

相关推荐
梁萌2 分钟前
自动化测试框架playwright使用
自动化测试·python·ui自动化·playwright
SccTsAxR6 分钟前
[初学C语言]关于scanf和printf函数
c语言·开发语言·经验分享·笔记·其他
Python×CATIA工业智造15 分钟前
Python回调函数中携带额外状态的完整指南:从基础到高级实践
python·pycharm
害恶细君17 分钟前
【超详细】使用conda配置python的开发环境
开发语言·python·jupyter·pycharm·conda·ipython
java1234_小锋21 分钟前
TensorFlow2 Python深度学习 - TensorFlow2框架入门 - 变量(Variable)的定义与操作
python·深度学习·tensorflow·tensorflow2
我星期八休息1 小时前
C++异常处理全面解析:从基础到应用
java·开发语言·c++·人工智能·python·架构
2401_841495642 小时前
【数据结构】汉诺塔问题
java·数据结构·c++·python·算法·递归·
枫叶丹42 小时前
【Qt开发】输入类控件(五)-> QDateTimeEdit
开发语言·qt
xxxxxxllllllshi2 小时前
Java 集合框架全解析:从数据结构到源码实战
java·开发语言·数据结构·面试
爱编程的鱼2 小时前
Python 与 C++、C 语言的区别及选择指南
c语言·开发语言·c++