【Python网络爬虫 常见问题汇总】

目录

1. 爬取图片出现403

问题出自案例9,已解决。

【Python网络爬虫笔记】9- 抓取优美图库高清壁纸

当在爬取图库图片时遇到 403 错误(通常表示禁止访问,可能是由于图片防盗链机制)

已获取到图片链接,但是无法打开和下载图片,显示如下:

解决办法:

解决办法:设置请求头中的Referer字段

许多网站的防盗链机制会检查Referer字段,确保请求来自于其自身页面。你可以尝试在请求图片时设置正确的Referer值,例如将其设置为图片所在页面的 URL。在download_images函数中,在请求图片之前添加以下代码:

python 复制代码
headers['Referer'] = link

注意,在下载图片的代码中补充get参数

原代码:

修改后的代码增加了headers

2.关于干坏事的问题

博主是个菜鸡,一点也干不了。

后续不定期更新 欢迎共同探讨学习进步

相关推荐
feixing_fx11 小时前
第一个 JS 程序:在浏览器控制台和 Node 中分别运行
开发语言·前端·javascript·前端框架·ecmascript
Evand J12 小时前
【MATLAB例程】二维IMM-UKF定位,基于四个基站的AOA与测距辅助
开发语言·matlab
feixing_fx12 小时前
变量与声明:let、const、var 的选择边界
开发语言·前端·javascript·前端框架
岁月宁静13 小时前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
个 人 练 习 生13 小时前
C++:从零基础到深入了解vector的使用
开发语言·c++·经验分享·学习·程序人生·stl
梯度下降者13 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
H.莓飛14 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
hudd66814 小时前
JavaEE 初阶 - 文件操作和IO
java·开发语言·java-ee
starzy199015 小时前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
wuyk55516 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎