【Python网络爬虫 常见问题汇总】

目录

1. 爬取图片出现403

问题出自案例9,已解决。

【Python网络爬虫笔记】9- 抓取优美图库高清壁纸

当在爬取图库图片时遇到 403 错误(通常表示禁止访问,可能是由于图片防盗链机制)

已获取到图片链接,但是无法打开和下载图片,显示如下:

解决办法:

解决办法:设置请求头中的Referer字段

许多网站的防盗链机制会检查Referer字段,确保请求来自于其自身页面。你可以尝试在请求图片时设置正确的Referer值,例如将其设置为图片所在页面的 URL。在download_images函数中,在请求图片之前添加以下代码:

python 复制代码
headers['Referer'] = link

注意,在下载图片的代码中补充get参数

原代码:

修改后的代码增加了headers

2.关于干坏事的问题

博主是个菜鸡,一点也干不了。

后续不定期更新 欢迎共同探讨学习进步

相关推荐
SomeOtherTime10 分钟前
番外篇(第 12 讲):走向工业界深水区——从物理定律看 Rust 在真实工程中的“降维打击”与“阿喀琉斯之踵”
开发语言·rust
用户0190275816114 分钟前
Telegram Bot 股票到价提醒:AlphaFeed 轮询 + sendMessage
python
黑客笔记1 小时前
Python 进程池和线程池:用等待任务理解并发
开发语言·python
卷无止境1 小时前
Python 开发中的资源管理:统一生命周期,保留资源差异
后端·python
新*2 小时前
520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录
python·mysql·elasticsearch·数据迁移
吴名氏.2 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
黑客笔记12 小时前
python小工具win7翻车事故现场
python
pps-key13 小时前
网络攻防入门:从“黑客梦”到合法实操(生存篇)
开发语言·web安全·php
汤姆宝库14 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静14 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent