Python爬网页,不确定网页的编码,不需要用第三方库

Python爬网页,不确定网页的编码,不需要用第三方库,自己写个判断,乱拳打死老师傅

detect试了,不好用

apparent_encoding试了,不好用

encoding试了,不好用

headers里get试了,不好用

最后用下面这个方法,反而是最好用的,也不是100%准确,但是在我用的过程中,这个是最好用的,反正也没有100%的,还不如用自己写的函数呢

python 复制代码
def detect_encoding(byte_text):  
    encodings_to_try = ['utf-8', 'gbk', 'gb2312', 'gb18030', 'ascii', 'latin1']  
    for encoding in encodings_to_try:  
        try:  
            return encoding  
        except UnicodeDecodeError:  
            continue  
    return None
相关推荐
冰暮流星2 分钟前
javascript之dom访问css
开发语言·javascript·css
北风toto2 分钟前
java进制转换方法
java·开发语言·python
KANGBboy4 分钟前
anaconda 相关
python·conda
财经资讯数据_灵砚智能6 分钟前
基于全球经济类多源新闻的NLP情感分析与数据可视化(日间)2026年4月11日
大数据·人工智能·python·信息可视化·自然语言处理·ai编程
XiaoQiao6669997 分钟前
pytnon中正则表达式小题详解
python·正则表达式
楼田莉子9 分钟前
设计模式:创建型设计模式简介
服务器·开发语言·c++·设计模式
好家伙VCC12 分钟前
**基于Colab的高效Python深度学习开发流程:从环境配置到模型部署全流程实战**在当前人工智
java·开发语言·python·深度学习
Lucas_coding15 分钟前
【python_并发】requests vs aiohttp vs httpx:HTTP客户端深度对比与实战
python
gCode Teacher 格码致知16 分钟前
Python基础教学:正则表达式中的忽略大小写以及符号“-“的问题-由Deepseek产生
python·正则表达式
啦啦啦!18 分钟前
c++AI大模型接入SDK项目
开发语言·数据结构·c++·人工智能·算法