Python爬网页,不确定网页的编码,不需要用第三方库

Python爬网页,不确定网页的编码,不需要用第三方库,自己写个判断,乱拳打死老师傅

detect试了,不好用

apparent_encoding试了,不好用

encoding试了,不好用

headers里get试了,不好用

最后用下面这个方法,反而是最好用的,也不是100%准确,但是在我用的过程中,这个是最好用的,反正也没有100%的,还不如用自己写的函数呢

python 复制代码
def detect_encoding(byte_text):  
    encodings_to_try = ['utf-8', 'gbk', 'gb2312', 'gb18030', 'ascii', 'latin1']  
    for encoding in encodings_to_try:  
        try:  
            return encoding  
        except UnicodeDecodeError:  
            continue  
    return None
相关推荐
ThinkerQAQ_1 分钟前
并发编程(七):volatile——从语言规则到 CPU
java·python·go
DanCheng-studio5 分钟前
毕业设计项目 基于深度学习的图像修复算法 DCGAN
python·毕业设计·毕设
1024奇点9 分钟前
【仓颉语言入门 · 第24课】
开发语言·ide·开源
栈溢出了13 分钟前
VS Code Python 自动导包失效排查笔记
开发语言·笔记·python
DanCheng-studio14 分钟前
毕业设计项目 基于深度学习的抽烟行为检测算法实现(源码分享)
python·毕业设计·毕设
朝朝辞暮i19 分钟前
C++ 第 28 课:Lambda 表达式
开发语言·c++·算法
Frank_refuel25 分钟前
深入理解RpcRouter(远端调用模块)
开发语言·qt
Wx-bishekaifayuan27 分钟前
springboot陨石鉴收系统96265-计算机课程设计、毕业设计
java·vue.js·spring boot·后端·python·spring·课程设计
黑科技iOS上架36 分钟前
双引擎解决oc/swift开发引用加固难题
开发语言·ios·swift·审核·ios混淆·执行程序差异化
yujunl37 分钟前
U9客开中UI插件开发过程中碰到有一个坑
开发语言