Python爬虫02_Requests实战网页采集器

一、Request请求伪装解析

#UA:User-Agent(请求载体身份标识)

#UA检测:门户网站的服务器会检测对应请求的载体身份标识,如果检测到请求的载体身份呢标识为某一款浏览器,说明该请求是一个正常的请求,

#但是如果检测到请求的载体身份标识不是基于某一款浏览器的,则表示为不正常的请求(爬虫),则服务器端就很有可能拒绝该请求。

#UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器

python 复制代码
import requests
#执行UA伪装,写入UA信息,封装到字典中
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:122.0) Gecko/20100101 Firefox/122.0'
}
url = 'https://www.sogou.com/web'
#处理url携带的参数:封装到字典中
kw = input('enter a word:')
param = {
    'query':kw
}
#对指定的url发起的请求对应的url添加携带的参数信息,并且于请求过程中处理了参数,
response = requests.get(url=url,params=param,headers=headers)
page_text = response.text
fileName = kw+'.html'
with open(fileName,'w',encoding='utf-8') as fp:
    fp.write(page_text)
print(fileName,'保存成功!!!')

二、HTTP请求报文解析

HTTP 请求报文(Request Message)是客户端发给服务器的数据包,通常由 起始行(Start Line)、请求头(Headers) 和 可选的消息体(Body) 三部分组成。
1. 起始行(Start Line)

分为三部分,用空格分隔:

GET /index.html HTTP/1.1

方法(Method):如 GET、POST、PUT、DELETE 等,表示操作类型。

路径(Path):请求的资源路径(如 /index.html),可包含查询参数(如 /api?key=123)。

协议版本(HTTP Version):如 HTTP/1.1 或 HTTP/2。
2. 请求头(Headers)

键值对形式(Key: Value),每行一个,常见字段:

字段名 示例值 作用说明
Host www.example.com 目标主机域名(HTTP/1.1 必须字段)
User-Agent Mozilla/5.0 (Windows NT 10.0) 客户端软件标识
Accept text/html,application/xhtml+xml 客户端能处理的媒体类型
Accept-Encoding gzip, deflate 支持的压缩算法
Content-Type application/json Body 的数据类型(POST/PUT 必填)
Content-Length 348 Body 的字节长度
Authorization Bearer token123 身份验证凭证
Cookie sessionid=abc123 携带的 Cookie 数据
Cache-Control no-cache 缓存控制策略

3. 消息体(Body)

可选部分,通常用于 POST/PUT 请求,携带实际数据。例如:

表单提交(Content-Type: application/x-www-form-urlencoded):

username=tom&password=123456

JSON 数据(Content-Type: application/json):

python 复制代码
{"username": "tom", "password": "123456"}

完整示例:

python 复制代码
POST /api/login HTTP/1.1
Host: example.com
User-Agent: curl/7.68.0
Accept: application/json
Content-Type: application/json
Content-Length: 43

{"username": "alice", "password": "secret123"}
相关推荐
沐风清扬8 分钟前
Win10下python环境变量呼出微软应用商店
开发语言·python
java1234_小锋14 分钟前
【NLP舆情分析】基于python微博舆情分析可视化系统(flask+pandas+echarts) 视频教程 - 微博评论数据可视化分析-点赞区间折线图实现
python·自然语言处理·flask
Python智慧行囊1 小时前
Selenium 自动化测试与爬虫实战:从环境搭建到高级应用
爬虫·selenium·测试工具
MobiCetus1 小时前
确保conda环境内的Py不会污染系统
chrome·python·conda
屁股割了还要学1 小时前
【数据结构入门】时间、空间复杂度的计算
c语言·开发语言·数据结构·c++·算法
倒悬于世1 小时前
ThreadLocal详解
java·开发语言·jvm
树獭叔叔2 小时前
Python 多进程与多线程:深入理解与实践指南
后端·python
啃火龙果的兔子3 小时前
快速搭建Java服务指南
java·开发语言
未来之窗软件服务3 小时前
智慧收银系统开发进销存库存统计,便利店、水果店、建材与家居行业的库存汇总管理—仙盟创梦IDE
java·开发语言·ide·进销存·仙盟创梦ide·东方仙盟·收银台
pusue_the_sun3 小时前
从零开始搞定类和对象(上)
开发语言·c++