Python爬网页,不确定网页的编码,不需要用第三方库

Python爬网页,不确定网页的编码,不需要用第三方库,自己写个判断,乱拳打死老师傅

detect试了,不好用

apparent_encoding试了,不好用

encoding试了,不好用

headers里get试了,不好用

最后用下面这个方法,反而是最好用的,也不是100%准确,但是在我用的过程中,这个是最好用的,反正也没有100%的,还不如用自己写的函数呢

python 复制代码
def detect_encoding(byte_text):  
    encodings_to_try = ['utf-8', 'gbk', 'gb2312', 'gb18030', 'ascii', 'latin1']  
    for encoding in encodings_to_try:  
        try:  
            return encoding  
        except UnicodeDecodeError:  
            continue  
    return None
相关推荐
JaydenAI15 小时前
[LangChain智能体本质论]中间件装饰器是如何将函数转换成AgentMiddleware的?
python·langchain·ai编程
2401_8916558115 小时前
ZLibrary反爬机制概述
数据库·python
王璐WL15 小时前
【C++】string类基础知识
开发语言·c++
PyAIGCMaster15 小时前
开发了一个全自动接入wordpress的saas发文章的网站,记录一下如何实现,有需要的朋友联系。
java·开发语言·数据库
2201_7610801915 小时前
Python上下文管理器(with语句)的原理与实践
jvm·数据库·python
研究点啥好呢15 小时前
3月21日GitHub热门项目推荐|攻守兼备,方得圆满
java·c++·python·开源·github
m0_5281744515 小时前
ZLibrary反爬机制概述
开发语言·c++·算法
xiangpanf15 小时前
PHP vs Python:30字看透两大语言差异
开发语言·php
江沉晚呤时15 小时前
.NET 9 快速上手 RabbitMQ 直连交换机:高效消息传递实战指南
开发语言·分布式·后端·rabbitmq·.net·ruby
yunyun3212315 小时前
嵌入式C++驱动开发
开发语言·c++·算法