爬虫中遇到的问题

网页假请求导致的阻塞

可以在requests请求当中添加timeout参数，来让网站重新请求

在爬虫请求中，timeout参数的主要作用是控制请求的最大等待时间，避免因服务器响应缓慢或网络问题导致程序长时间阻塞，从而提升爬虫的效率和稳定性。

状态码为403的原因

一、请求头（Headers）问题

1. User-Agent缺失或异常

   • 爬虫默认的User-Agent（如Apache-HttpClient）可能被识别为机器人。服务器会拒绝非浏览器请求

2. 缺少关键请求头字段

   • 如Referer、Accept-Language等字段缺失可能导致403错误

二、IP限制

1. IP被封禁

   • 高频请求或异常行为（如爬虫特征）会导致IP被加入黑名单

2. 地理位置或网络环境限制

   • 某些网站限制特定地区或数据中心的IP访问

三、TLS/JA3指纹验证

1. 客户端指纹被识别
   • 浏览器和工具（如Postman）有原生TLS指纹，而requests库可能被识别为爬虫

四、Cookie/Session问题

1. 未携带合法身份验证
   • 部分网站需登录后才能访问，或验证Session/Cookie

五、目标网站的反爬策略

1. 动态反爬机制
   • Cloudflare等安全服务会检测异常流量，返回403
2. Robots.txt限制
   • 网站可能通过robots.txt禁止爬虫访问

六、其他原因

1. 资源权限不足
   • 文件/目录权限错误或需HTTPS访问（如HTTP访问SSL链接）
2. 服务器配置错误
   • 如.htaccess规则误拦截请求

状态码为405的原因

当爬虫请求返回 405 Method Not Allowed 状态码时，表示 服务器明确拒绝了当前使用的HTTP方法（如GET、POST等），通常是因为目标URL不支持该请求方式。