Python爬网页,不确定网页的编码,不需要用第三方库

Python爬网页,不确定网页的编码,不需要用第三方库,自己写个判断,乱拳打死老师傅

detect试了,不好用

apparent_encoding试了,不好用

encoding试了,不好用

headers里get试了,不好用

最后用下面这个方法,反而是最好用的,也不是100%准确,但是在我用的过程中,这个是最好用的,反正也没有100%的,还不如用自己写的函数呢

python 复制代码
def detect_encoding(byte_text):  
    encodings_to_try = ['utf-8', 'gbk', 'gb2312', 'gb18030', 'ascii', 'latin1']  
    for encoding in encodings_to_try:  
        try:  
            return encoding  
        except UnicodeDecodeError:  
            continue  
    return None
相关推荐
无妄无望1 分钟前
ragflow代码学习切片方式(1)docling_parser.py
人工智能·python·学习
普通网友5 分钟前
高性能TCP服务器设计
开发语言·c++·算法
醒过来摸鱼6 分钟前
9.12 sinc插值
python·线性代数·算法·numpy
普通网友11 分钟前
C++与硬件交互编程
开发语言·c++·算法
小兔崽子去哪了28 分钟前
Numpy、Panads
python·numpy·pandas
dagouaofei41 分钟前
开题报告自动做PPT
python·powerpoint
Elias不吃糖1 小时前
整合了c++里面常用的STL及其常用API
开发语言·c++·学习·stl
E***q5391 小时前
后端服务限流实现,Spring Cloud Alibaba Sentinel
java·开发语言·sentinel
橘子海全栈攻城狮1 小时前
【源码+文档+调试讲解】实验室耗材管理系统springboot 094
java·开发语言·spring boot·后端·spring