Python爬网页,不确定网页的编码,不需要用第三方库

Python爬网页,不确定网页的编码,不需要用第三方库,自己写个判断,乱拳打死老师傅

detect试了,不好用

apparent_encoding试了,不好用

encoding试了,不好用

headers里get试了,不好用

最后用下面这个方法,反而是最好用的,也不是100%准确,但是在我用的过程中,这个是最好用的,反正也没有100%的,还不如用自己写的函数呢

python 复制代码
def detect_encoding(byte_text):  
    encodings_to_try = ['utf-8', 'gbk', 'gb2312', 'gb18030', 'ascii', 'latin1']  
    for encoding in encodings_to_try:  
        try:  
            return encoding  
        except UnicodeDecodeError:  
            continue  
    return None
相关推荐
A先生的AI之旅5 分钟前
2026-1-30 LingBot-VA解读
人工智能·pytorch·python·深度学习·神经网络
丝瓜蛋汤5 分钟前
微调生成特定写作风格助手
人工智能·python
-To be number.wan9 分钟前
Python数据分析:Matplotlib 绘图练习
python·数据分析·matplotlib
naruto_lnq11 分钟前
Python生成器(Generator)与Yield关键字:惰性求值之美
jvm·数据库·python
雨季66613 分钟前
Flutter 三端应用实战:OpenHarmony “极简手势轨迹球”——指尖与屏幕的诗意对话
开发语言·javascript·flutter
m0_7369191017 分钟前
编译器命令选项优化
开发语言·c++·算法
Stream_Silver18 分钟前
【Agent学习笔记1:Python调用Function Calling,阿里云API函数调用与DeepSeek API对比分析】
开发语言·python·阿里云
froginwe1119 分钟前
CSS3 多媒体查询实例
开发语言
naruto_lnq24 分钟前
C++中的工厂方法模式
开发语言·c++·算法
独自破碎E24 分钟前
LCR_019_验证回文串II
java·开发语言