Python爬网页,不确定网页的编码,不需要用第三方库

Python爬网页,不确定网页的编码,不需要用第三方库,自己写个判断,乱拳打死老师傅

detect试了,不好用

apparent_encoding试了,不好用

encoding试了,不好用

headers里get试了,不好用

最后用下面这个方法,反而是最好用的,也不是100%准确,但是在我用的过程中,这个是最好用的,反正也没有100%的,还不如用自己写的函数呢

python 复制代码
def detect_encoding(byte_text):  
    encodings_to_try = ['utf-8', 'gbk', 'gb2312', 'gb18030', 'ascii', 'latin1']  
    for encoding in encodings_to_try:  
        try:  
            return encoding  
        except UnicodeDecodeError:  
            continue  
    return None
相关推荐
xiaoshuaishuai86 分钟前
C# AI实现PR处理、单元测试
开发语言·c#·log4j
C++、Java和Python的菜鸟7 分钟前
第7章 Java高级技术
java·开发语言
LONGZHIQIN9 分钟前
C#基础复习笔记
开发语言·笔记·c#
可靠的仙人掌23 分钟前
SAC(Soft Actor-Critic)算法底座
开发语言·算法·php
量化吞吐机37 分钟前
近期量化工具怎么选,先看规则流程能否承接
人工智能·python
学逆向的1 小时前
汇编——数据存储模式
开发语言·汇编·网络安全
一世繁华行1 小时前
Python帧对象
python
geovindu1 小时前
CSharp: Prototype Pattern
开发语言·后端·设计模式·.net·原型模式·创建型模式
三川6982 小时前
Tkinter库的学习记录08- 容器控件
python
c_lb72882 小时前
近期AI量化工具选择,学习开发执行要分开
人工智能·python