python 爬虫编码(encoding和apparent_encoding)区别

一、代码案例(encoding)

1.相关代码:
python 复制代码
import requests
# 发送GET请求到清华大学官网
url = 'https://www.tsinghua.edu.cn/'
response = requests.get(url)
encoding = response.encoding
# 获取并打印网页编码方式
print(f"网页编码方式:{encoding}")
2.打印结果:

二、代码案例(apparent_encoding)

1.相关代码:
python 复制代码
import requests
# 发送GET请求到清华大学官网
url = 'https://www.tsinghua.edu.cn/'
response= requests.get(url)
encoding = response.apparent_encoding
# 获取并打印网页编码方式
print(f"网页编码方式:{encoding}")
2.打印结果

三、查看网页是什么编码方式

四、encoding和apparent_encoding两者表示的是什么以及区别

1.encoding和apparent_encoding的使用场景

requests.get() 函数在获取网页内容时,默认会尝试从HTTP响应头部的Content-Type字段中提取编码信息来设置response.encoding属性。然而,有时候服务器提供的编码信息可能不准确或者未提供,这时requests库会使用chardet库(如果已安装)来推测网页的实际编码,这推测出来的编码就是response.apparent_encoding

2.encoding的使用

response.encoding 是根据HTTP响应头中的编码指示或者是通过chardet自动检测后赋给requests对象的编码属性。如果服务器报告的编码是ISO-8859-1,则response.encoding会被设置为ISO-8859-1

3.apparent_encoding的使用

response.apparent_encoding 则是基于requests内部的字符集探测机制得出的编码,即使服务器没有明确指定或指定得不准确,它也会尽量给出一个最佳猜测的编码,这里推测出的是UTF-8-SIGUTF-8-SIG是一种特殊的UTF-8编码,它前面带有一个BOM(Byte Order Mark),主要用于标记文本文件的开始,表明其采用UTF-8编码且字节顺序是标准的(对于UTF-8来说字节顺序无关紧要,因为它是字节序无关的编码,但BOM仍然可能被用于标识文件类型)。

4.两者之间的区别
  • response.encoding 更倾向于直接使用服务器声明的编码,如果没有则可能依赖于自动检测的结果。
  • response.apparent_encodingrequests库对实际内容做的更为直观的编码判断,通常用于解决服务器提供的编码信息不可靠的情况。

五、总结

如果两个属性返回不同的编码,通常建议优先考虑response.apparent_encoding,因为它可能是网页内容实际使用的编码。当然,在解析网页内容时,最好的做法是先检查和确认编码是否正确,必要时手动调整后再进行解析。

相关推荐
巴里巴气27 分钟前
selenium基础知识 和 模拟登录selenium版本
爬虫·python·selenium·爬虫模拟登录
198931 分钟前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
JavaEdge在掘金37 分钟前
Redis 数据倾斜?别慌!从成因到解决方案,一文帮你搞定
python
ansurfen41 分钟前
我的第一个AI项目:从零搭建RAG知识库的踩坑之旅
python·llm
前端付豪1 小时前
20、用 Python + API 打造终端天气预报工具(支持城市查询、天气图标、美化输出🧊
后端·python
前端付豪1 小时前
19、用 Python + OpenAI 构建一个命令行 AI 问答助手
后端·python
amazinging1 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十三天
python·学习
wgyang20162 小时前
我的第一个LangFlow工作流——复读机
python
Zhen (Evan) Wang2 小时前
(豆包)xgb.XGBRegressor 如何进行参数调优
开发语言·python
我爱一条柴ya2 小时前
【AI大模型】线性回归:经典算法的深度解析与实战指南
人工智能·python·算法·ai·ai编程