爬虫案例二

想拿到电影天堂

其中一个下载地址如何实现呢

第一步电影天堂_免费在线观看_迅雷电影下载_电影天堂网 (dytt28.com)电影天堂_电影下载_高清首发 (dytt89.com)电影天堂_免费在线观看_迅雷电影下载_电影天堂网 (dytt28.com)

第一步

我直接打开

requests.exceptions.SSLError: HTTPSConnectionPool(host='www.dytt28.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, 'SSL: CERTIFICATE_VERIFY_FAILED certificate verify failed: unable to get local issuer certificate (_ssl.c:1000)')))

报错,这个一看就是证书的问题,所以我们需要让SSL证书失效

我们加了verify=False 意思是失效的意思。

然后这时候还出现问题,这个问题是字符集的问题

为什么我使用gbk,因为print自身不支持gb2312,但是他支持gbk,因为gbk是gb2312的扩展,兼容gb2312

至此拿到了页码源代码了

第二步

拿到2024必看热片,所以需要re正则

提取一下数据

用re正则提取了出来。

同时导入了certifi

certifi模块是Python中一个非常有用的工具,用于安全验证。在进行网络请求时,我们常常需要进行SSL证书验证,以确保请求的安全性。而certifi模块提供了一个集合了HTTP访问所需要的根证书的集合,以帮助我们完成SSL证书验证。

第三步

这是我们需要提取其中链接地址

爬到了其中的链接,为了观察方便定义了一个集合,然后把链接放到集合里面

第四步

查看网页代码,可以看到电影名和下载地址,这时候可以用re提取出来

然后拿到了html源码数据,加一个break是中断循环

这样就拿到了下载地址

至于案例结束

相关推荐
ragnwang1 小时前
Notes: Python pybind11 import C++ module
开发语言·c++·python
王中阳Go2 小时前
后端转 Agent 岗面试怎么答:8 个高频问题与应答口径
人工智能·后端·python·大语言模型
海宇AI2 小时前
零信任架构实战:基于海宇个人风险报告构建自动化分期商城信用额度初审网关
运维·人工智能·架构·自动化
IMPYLH2 小时前
Linux 的时间为什么会被拨回去
linux·运维·服务器
weixin_307779132 小时前
RAG 面试陷阱——混合检索并非无条件优越:一个条件反转实验
人工智能·python·面试·职场和发展
2601_963282773 小时前
寒地窄带通信工程实践:黑龙江哈尔滨对讲机选型、组网与合规运维总结
运维·服务器·网络
云和数据.ChenGuang3 小时前
深入解析 Python 的 dir():从用法到 CPython 源码实现
开发语言·人工智能·python·langchain
叼烟扛炮3 小时前
[Git 实战] 学习笔记:从生成 SSH 密钥到解决 TortoiseGit 推送报错全指南
linux·运维·笔记·git·学习
xbzb4 小时前
OpenStack 网络管理(理论):Linux 网络虚拟化是 Neutron 的地基
linux·服务器·网络·openstack·network·neutron
我要见SA姐15 小时前
GitHub Actions 自动化:5 个真实运维提效案例
运维·数据库·机器学习·oracle·回归