【Python网络爬虫 常见问题汇总】

目录

1. 爬取图片出现403

问题出自案例9,已解决。

【Python网络爬虫笔记】9- 抓取优美图库高清壁纸

当在爬取图库图片时遇到 403 错误(通常表示禁止访问,可能是由于图片防盗链机制)

已获取到图片链接,但是无法打开和下载图片,显示如下:

解决办法:

解决办法:设置请求头中的Referer字段

许多网站的防盗链机制会检查Referer字段,确保请求来自于其自身页面。你可以尝试在请求图片时设置正确的Referer值,例如将其设置为图片所在页面的 URL。在download_images函数中,在请求图片之前添加以下代码:

python 复制代码
headers['Referer'] = link

注意,在下载图片的代码中补充get参数

原代码:

修改后的代码增加了headers

2.关于干坏事的问题

博主是个菜鸡,一点也干不了。

后续不定期更新 欢迎共同探讨学习进步

相关推荐
DevilSeagull17 小时前
JavaScript WebAPI 指南
java·开发语言·javascript·html·ecmascript·html5
2zcode17 小时前
基于Matlab不同作战类型下兵力动力学模型的构建与稳定性分析
开发语言·matlab
☼←安于亥时→❦18 小时前
PyTorch 梯度与微积分
人工智能·pytorch·python
程序员三藏18 小时前
2025最新的软件测试面试八股文(800+道题)
自动化测试·软件测试·python·功能测试·测试工具·面试·职场和发展
Pocker_Spades_A19 小时前
Python快速入门专业版(二十三):for循环基础:遍历字符串、列表与range()函数(计数案例)
python
闲人编程19 小时前
图像去雾算法:从物理模型到深度学习实现
图像处理·人工智能·python·深度学习·算法·计算机视觉·去雾
葵野寺19 小时前
【RelayMQ】基于 Java 实现轻量级消息队列(七)
java·开发语言·网络·rabbitmq·java-rabbitmq
zyx没烦恼20 小时前
Qt 基础编程核心知识点全解析:含 Hello World 实现、对象树、坐标系及开发工具使用
开发语言·qt
木心爱编程20 小时前
C++链表实战:STL与手动实现详解
开发语言·c++·链表
mkhase20 小时前
9.11-QT-QT的基本使用
开发语言·qt