Python:爬虫概念与分类

网络请求:

https://www.baidu.com url------统一资源定位符

请求过程:

客户端,指web浏览器向服务器发送请求

请求:请求网址(request url);请求方法(request methods);请求头(request header);请求体(request body)

爬虫:
作用:

爬虫分类:爬取网站数量:通用爬虫与聚焦爬虫*

获取数据的目的:功能性爬虫,数据增量爬虫

相关推荐
AI_Claude_code27 分钟前
网络基础回顾:DNS、IP封锁与HTTP/S协议关键点
网络·爬虫·python·tcp/ip·http·爬山算法·安全架构
AI_Claude_code13 小时前
ZLibrary访问困境方案四:利用Cloudflare Workers等边缘计算实现访问
javascript·人工智能·爬虫·python·网络爬虫·边缘计算·爬山算法
AI_Claude_code14 小时前
ZLibrary访问困境方案三:Web代理与轻量级转发服务的搭建与优化
爬虫·python·web安全·搜索引擎·网络安全·web3·httpx
深蓝电商API19 小时前
代理 IP 池在跨境电商爬虫的使用
爬虫·跨境电商
ZC跨境爬虫21 小时前
批量爬取小说章节并优化排版(附完整可运行脚本)
前端·爬虫·python·自动化
AI_Claude_code1 天前
ZLibrary访问困境方案二:DNS-over-HTTPS/TLS配置与隐私保护实践
爬虫·python·网络协议·http·网络安全·https·网络爬虫
小白学大数据1 天前
告别复杂 XPath:DeepSeek+Python 爬虫快速实践
开发语言·爬虫·python·selenium
AI_Claude_code1 天前
ZLibrary访问困境方案六:自建RSS/Calibre内容同步服务器的完整指南
运维·服务器·网络·爬虫·python·tcp/ip·http
AI_Claude_code1 天前
安全与合规核心:匿名化、日志策略与法律风险规避
网络·爬虫·python·tcp/ip·安全·http·网络爬虫
专注API从业者1 天前
淘宝商品详情 API 与爬虫技术的边界:合法接入与反爬策略的技术博弈
大数据·数据结构·数据库·爬虫