技术栈
requests
夏天测
5 天前
python
·
socket
·
httpx
·
requests
·
tcp udp
·
python网络编程
·
爬虫基础
Python 网络编程入门:从 Socket 底层到 HTTP 并发实战
网络编程是 Python 后端、爬虫、即时通讯开发的核心基础。很多初学者直接上手 requests、httpx,却不懂底层 Socket 通信原理,遇到粘包、连接超时、并发阻塞等问题无从排查。本文由浅入深,从 Socket 套接字、TCP/UDP 协议差异讲起,搭配可直接运行 TCP 回声服务、UDP 消息收发、多线程聊天室、同步 / 异步 HTTP 客户端完整源码,最后配套阶梯式实战练习,零基础也能跟着敲代码落地,适合 Python 新手、爬虫入门、后端开发阅读。 关键词:Python 网络编程、Soc
亿牛云爬虫专家
16 天前
redis
·
爬虫
·
故障转移
·
任务队列
·
代理ip
·
requests
·
隧道代理
如何设计一套高可用的爬虫任务队列,保证断点续爬与故障转移?
先说结论,再说为什么。这篇文章解决的问题是:你的爬虫跑到一半机器挂了,或者代理 IP 突然大面积失效,怎么保证任务不丢、不重、能从上次断的地方接着爬。
IPdodo_
18 天前
python
·
requests
Codex 总是 Reconnecting?从 401 到响应流中断的排查方法
Codex CLI、VS Code 扩展或桌面端反复出现 Reconnecting... 时,很多人会把问题归结为“网络不好”。这个判断并不完整:登录会话过期、客户端版本不一致、代理协议配置错误、TLS 连接被中途关闭,以及服务端短时异常,都可能出现类似界面。
亿牛云爬虫专家
1 个月前
爬虫
·
架构
·
爬虫代理
·
requests
·
隧道代理
·
声明式爬虫
·
转发模式
2026架构前沿:将Declarative Crawler(声明式爬虫)引入你的技术栈
大家好,今天我们在 Mac mini 的终端前,来聊聊 2026 年数据工程领域的一个重要架构演进。作为一个经常与高并发采集任务和代理 IP 死磕的程序员,我深知维护一个长周期爬虫项目的痛苦。很多项目跑了三年后,选择器通常会和调度、重试、代理切换等执行细节死死焊在一起。比如,某个节点改版导致数据静默丢失,或者并发参数稍作调整就被目标机房整体封禁,甚至登录态的 Cookie 散落在各个中间件里无人能理清。
曲幽
1 个月前
python
·
fastapi
·
web
·
async
·
httpx
·
client
·
await
·
requests
·
aiohttp
从卡顿到丝滑:FastAPI 调用外部 API 的正确姿势(httpx 实战)
前段时间借助FastAPI搭建了一个本地词典API,用来翻译专业词汇和单词详细释意,但词典未收录的单词就没招了,于是又借助LibreTranslate实现了离线翻译,这下内容是都能出结果了,但两套API不在一个接口里,把它集成到Pot和Koodo Reader等使用时,还是不方便。
弹简特
2 个月前
自动化
·
requests
【接口自动化】04-requests模块详解及接口关联
我们前面已经介绍过了pytest,有了这个基础之后,本期开始我们就进入接口自动化轻量封装的学习,我们本期会介绍requests模块的封装,以及一些接口关联的知识。
曲幽
2 个月前
python
·
http
·
https
·
proxy
·
socks
·
requests
·
socks5
·
proxies
写爬虫时用了代理还被封?Python 代理的那些隐藏坑,我替你踩明白了
摘要: 写爬虫或调用API时,IP被封是家常便饭。很多人以为加上代理就万事大吉,结果反而更慢、报错更多。 这篇文章从实战出发,一次性讲透http、https、socks代理的区别和用法,教你如何高效遍历代理列表,并扒开那些官方文档不会告诉你的常见坑。 读完你会知道,代理用不好,比不用还危险。
小熊Coding
2 个月前
开发语言
·
爬虫
·
python
·
beautifulsoup
·
requests
·
二手图书
Python爬取当当网二手图书项目实战!
本项目是一个基于 Python 的当当网二手图书爬虫,专门用于抓取当当网分类页面中的二手图书信息。使用 @dataclass 装饰器,提供了自动生成的 __init__、__repr__、__eq__ 等方法,代码更简洁。
李松桃
3 个月前
python
·
爬虫实战
·
requests
·
re
实战:手刃豆瓣电影TOP250
https://movie.douban.com/top250需要去获取250个所有勾出来的数据 ,利用之前所了解的requests模块、re模块和正则表达式
PyHaVolask
4 个月前
python爬虫
·
cookie
·
session
·
requests
·
反爬机制
·
登录态
Python 爬虫进阶:反爬识别机制与登录态维持
深入讲解服务器如何检测爬虫、如何通过 Session 维持登录状态、以及三种携带 Cookie 访问受保护页面的实战方法。
看海的四叔
4 个月前
python
·
阿里云
·
api
·
odps
·
requests
·
openclaw
【Python】阿里云 DataWorks + ODPS + 钉钉联动实战:配合[特殊字符]全搞定
今天聊一个很实用的场景:当电脑不在身边,如何用🦞小龙虾配合完成本地+云端的数据任务流。 背景说明: 今天和朋友A聚餐,他临时收到领导信息,急要根据最新的一份市场信息出最新报告(报告有固定模板),但是电脑不在身边,领导要的急,要么放弃聚餐回公司 – 太远太累,要么…
独断万古他化
5 个月前
pytest
·
接口自动化
·
测试
·
allure
·
requests
Python+Pytest 搭建博客系统接口自动化测试框架(全用例执行+完整代码)
1. 需求分析2. 挑选自动化接口3. 设计自动化测试用例4. 搭建自动化测试环境5. 设计自动化执行框架 设计一个框架来执行测试用例,包括报告生成、参数化处理和用例执行逻辑。
独断万古他化
5 个月前
python
·
pytest
·
接口测试
·
requests
Python 接口测试之 requests 库核心用法
通过pip工具在命令行进行安装,建议使用指定版本避免使用差异,安装命令:安装后可通过pip list命令检查当前项目下requests包的版本是否安装成功。
xcLeigh
6 个月前
开发语言
·
python
·
学习
·
模块
·
python3
·
requests
Python入门:Python3 requests模块全面学习教程
Python入门:Python requests模块全面学习教程,本文是围绕该模块的使用展开,其作为第三方 HTTP 请求库,因 API 简洁、功能完善,比标准库 urllib 更易用,是爬虫、接口测试等场景的首选工具。教程先介绍基础准备,包括通过 pip 安装模块及 import 导入;再详解核心操作,如发送 GET 请求获取网页或 JSON 数据(可带查询参数、请求头)、用 POST 提交表单或 JSON 数据,同时说明 response 对象的关键属性(状态码、编码、text/content/jso
喵手
6 个月前
爬虫
·
python
·
爬虫实战
·
requests
·
lxml
·
零基础python爬虫教学
·
招聘会数据采集
Python爬虫实战:构建招聘会数据采集系统 - requests+lxml 实战企业名单爬取与智能分析!
㊗️本期内容已收录至专栏《Python爬虫实战》,持续完善知识体系与项目实战,建议先订阅收藏,后续查阅更方便~ ㊙️本期爬虫难度指数:⭐⭐⭐ 🉐福利: 一次订阅后,专栏内的所有文章可永久免费看,持续更新中,保底1000+(篇)硬核实战内容。
SunnyRivers
6 个月前
httpx
·
requests
·
aiohttp
HTTPX vs Requests vs AIOHTTP特征和性能对比指南
在本文中,我们将深入剖析这三款 Python HTTP 库的核心差异,帮助你根据实际需求做出明智选择。读完后,你将清楚地知道:面对手头的任务,究竟该用 HTTPX、Requests 还是 AIOHTTP。 话不多说,我们直接进入正题!
SunnyRivers
6 个月前
python
·
httpx
·
requests
·
aiohttp
·
区别
Python 中的 HTTP 客户端:Requests、HTTPX 与 AIOHTTP 对比
任何使用 Python 超过几分钟的人都一定接触过 Requests 库。它如此普及,以至于有些人甚至误以为它是 Python 标准库的一部分。Requests 的设计极其直观,以至于 r = requests.get(…) 这样的写法几乎成了肌肉记忆。相比之下,如果用 Python 内置的 urllib 编写脚本,往往第一步就是打开官方文档查阅用法。 但 Python 在不断演进,如今再一味默认使用 Requests 已经不再是最优选择。虽然对于简短的同步脚本,Requests 依然是可靠之选,但在现代
FITA阿泽要努力
7 个月前
json
·
api
·
agent
·
requests
·
查询天气
·
pprint
·
f-string
动手体验:5min实现第一个智能体——1
在本案例中,我们的目标是构建一个能处理分步任务的智能旅行助手。需要解决的用户任务定义为:"你好,请帮我查询一下今天北京的天气,然后根据天气推荐一个合适的旅游景点。"要完成这个任务,智能体必须展现出清晰的逻辑规划能力。它需要先调用天气查询工具,并将获得的观察结果作为下一步的依据。在下一轮循环中,它再调用景点推荐工具,从而得出最终建议。
百锦再
7 个月前
开发语言
·
python
·
pandas
·
pip
·
requests
·
tools
·
mircro
python之路并不一马平川:带你踩坑Pandas
这是我的亲身经历。作为一名全能型的混子,Pandas是我吃饭的家伙之一,但光是把它请到我的电脑上,就差点让我“饭碗不保”。这是一段长达数周,充满挫折、困惑和最终解脱的曲折历程。我将带你完整回顾我踩过的每一个坑,以及那最后的“救命稻草”。我将以第一视角,带你完整回顾我踩过的那些坑,以及我是如何一步步爬出来的。
Lxinccode
7 个月前
python
·
bug
·
requests
·
response.text
·
response.text慢
BUG(20) : response.text耗时很久, linux耗时十几秒, Windows耗时零点几秒
python调用接口response.text耗时久response.text 耗时久的核心原因是: