【Python网络爬虫 常见问题汇总】

目录

1. 爬取图片出现403

问题出自案例9,已解决。

【Python网络爬虫笔记】9- 抓取优美图库高清壁纸

当在爬取图库图片时遇到 403 错误(通常表示禁止访问,可能是由于图片防盗链机制)

已获取到图片链接,但是无法打开和下载图片,显示如下:

解决办法:

解决办法:设置请求头中的Referer字段

许多网站的防盗链机制会检查Referer字段,确保请求来自于其自身页面。你可以尝试在请求图片时设置正确的Referer值,例如将其设置为图片所在页面的 URL。在download_images函数中,在请求图片之前添加以下代码:

python 复制代码
headers['Referer'] = link

注意,在下载图片的代码中补充get参数

原代码:

修改后的代码增加了headers

2.关于干坏事的问题

博主是个菜鸡,一点也干不了。

后续不定期更新 欢迎共同探讨学习进步

相关推荐
老赵的博客11 分钟前
c++ 杂记
开发语言·c++
jimmy.hua14 分钟前
[C++刷怪笼]:set/map--优质且易操作的容器
开发语言·c++
XiaoMu_00124 分钟前
基于Python+Streamlit的旅游数据分析与预测系统:从数据可视化到机器学习预测的完整实现
python·信息可视化·旅游
THMAIL27 分钟前
深度学习从入门到精通 - 生成对抗网络(GAN)实战:创造逼真图像的魔法艺术
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·cnn
w2sfot1 小时前
Passing Arguments as an Object in JavaScript
开发语言·javascript·ecmascript
郝学胜-神的一滴2 小时前
避免使用非const全局变量:C++中的最佳实践 (C++ Core Guidelines)
开发语言·c++·程序人生
我没想到原来他们都是一堆坏人2 小时前
(未完待续...)如何编写一个用于构建python web项目镜像的dockerfile文件
java·前端·python
搞一搞汽车电子2 小时前
S32K3平台eMIOS 应用说明
开发语言·驱动开发·笔记·单片机·嵌入式硬件·汽车
总有刁民想爱朕ha2 小时前
车牌模拟生成器:Python3.8+Opencv代码实现与商业应用前景(C#、python 开发包SDK)
开发语言·python·数据挖掘
小菜全3 小时前
uniapp新增页面及跳转配置方法
开发语言·前端·javascript·vue.js·前端框架