可狱可囚的爬虫系列课程 14:10 秒钟编写一个 requests 爬虫

一、前言

当重复性的工作频繁发生时,各种奇奇怪怪提高效率的想法就开始萌芽了。当重复代码的模块化封装已经不能满足要求的时候,更高效的方式就被揭开了神秘的面纱。本文基于这样的想法,来和大家探讨如何 10 秒钟编写一个 requests 爬虫程序。

二、curl 概念介绍

curl(Client URL)是一个开源的命令行工具和库,用于在计算机之间传输数据。它支持多种网络协议(如HTTP、HTTPS、FTP、SFTP等),广泛用于测试API、下载文件、调试网络请求等场景。curl 几乎每天都被全球的每个上网人士使用。

三、curl 与 requests 的关联

  1. curl 和 requests 均基于 HTTP 标准协议(如 GET/POST 方法、Header 设置、Cookie传递等),只是实现方式不同。
  2. curl 的命令行参数(如 -H、-d、-X)与 requests 库提供的参数几乎一一对应。
  3. requests 库将 curl 的复杂命令封装成更易读的 Python 对象和方法(例如requests.get()、requests.json())。

四、curl 转 requests

有这样一个网站,可以把 curl 转为 requests,当然,这个代码也可以自己来写。暂时我们使用网站进行转换:

https://curlconverter.com

如下图所示,这个网站可以将 curl 命令转成很多语言的版本。

五、10 秒写一个爬虫程序

我们用可狱可囚的爬虫系列课程 08:新闻数据爬取实战中爬过的中国新闻网来举例:需要先复制此网站的 curl 命令,参考下图:

curl 命令复制完成以后,放入到 curl 转换网站中,复制结果即可,如图:

就这样,一个快速的针对特定网站的 requests 请求就编写完成了!

相关推荐
岁月宁静6 小时前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
梯度下降者6 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
starzy19908 小时前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
wuyk5559 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
kyle~15 小时前
FastAPI --- 将业务能力以 API 的形式提供给外部系统
python·fastapi·前后端
aiotto资源分享16 小时前
Python 写 JSON 文件,程序中途退出会留下什么?
java·python·json·jsondecodeerror
梯度下降者17 小时前
Python信号量,条件变量,事件学习
python·条件变量·事件·信号量·线程通信
MSTcheng.17 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
the局外人18 小时前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
__underline__18 小时前
冷门Python知识点006篇:Python 类体里的名字,能被"凭空造出来"
后端·python