Python爬网页,不确定网页的编码,不需要用第三方库

Python爬网页,不确定网页的编码,不需要用第三方库,自己写个判断,乱拳打死老师傅

detect试了,不好用

apparent_encoding试了,不好用

encoding试了,不好用

headers里get试了,不好用

最后用下面这个方法,反而是最好用的,也不是100%准确,但是在我用的过程中,这个是最好用的,反正也没有100%的,还不如用自己写的函数呢

python 复制代码
def detect_encoding(byte_text):  
    encodings_to_try = ['utf-8', 'gbk', 'gb2312', 'gb18030', 'ascii', 'latin1']  
    for encoding in encodings_to_try:  
        try:  
            return encoding  
        except UnicodeDecodeError:  
            continue  
    return None
相关推荐
十五学长3 分钟前
程序设计C语言
c语言·开发语言·笔记·学习·考研
永远有缘1 小时前
Java、Python、C# 和 C++ 在函数定义语法上的主要区别
java·c++·python·c#
纵有疾風起6 小时前
C++—string(1):string类的学习与使用
开发语言·c++·经验分享·学习·开源·1024程序员节
Molesidy7 小时前
【随笔】【QT】QT5.15.2版本的最新下载方式!!!
开发语言·qt
二进制person8 小时前
Java EE初阶 --多线程2
java·开发语言
yue0088 小时前
C#理论学习-WinForm实践开发教程总结
开发语言·学习·c#
007php0078 小时前
某游戏大厂 Java 面试题深度解析(四)
java·开发语言·python·面试·职场和发展·golang·php
Mr.Jessy8 小时前
Web APIs学习第一天:获取 DOM 对象
开发语言·前端·javascript·学习·html
午安~婉8 小时前
javaScript八股问题
开发语言·javascript·原型模式
想不明白的过度思考者9 小时前
Rust——异步递归深度指南:从问题到解决方案
开发语言·后端·rust