【Python网络爬虫 常见问题汇总】

目录

1. 爬取图片出现403

问题出自案例9,已解决。

【Python网络爬虫笔记】9- 抓取优美图库高清壁纸

当在爬取图库图片时遇到 403 错误(通常表示禁止访问,可能是由于图片防盗链机制)

已获取到图片链接,但是无法打开和下载图片,显示如下:

解决办法:

解决办法:设置请求头中的Referer字段

许多网站的防盗链机制会检查Referer字段,确保请求来自于其自身页面。你可以尝试在请求图片时设置正确的Referer值,例如将其设置为图片所在页面的 URL。在download_images函数中,在请求图片之前添加以下代码:

python 复制代码
headers['Referer'] = link

注意,在下载图片的代码中补充get参数

原代码:

修改后的代码增加了headers

2.关于干坏事的问题

博主是个菜鸡,一点也干不了。

后续不定期更新 欢迎共同探讨学习进步

相关推荐
就改了18 分钟前
JUC小册——公平锁和非公平锁
java·开发语言
晓131332 分钟前
OpenCV篇——项目(二)OCR文档扫描
人工智能·python·opencv·pycharm·ocr
是小王同学啊~33 分钟前
(LangChain)RAG系统链路向量检索器之Retrievers(五)
python·算法·langchain
AIGC包拥它35 分钟前
提示技术系列——链式提示
人工智能·python·langchain·prompt
孟陬36 分钟前
Python matplotlib 如何**同时**展示正文和 emoji
python
何双新41 分钟前
第 1 课:Flask 简介与环境配置(Markdown 教案)
后端·python·flask
一粒沙白猫1 小时前
Java综合练习04
java·开发语言·算法
哎呦你好1 小时前
【CSS】Grid 布局基础知识及实例展示
开发语言·前端·css·css3
一入JAVA毁终身1 小时前
处理Lombok的一个小BUG
java·开发语言·bug
费弗里1 小时前
Python全栈应用开发利器Dash 3.x新版本介绍(2)
python·dash