Python爬网页,不确定网页的编码,不需要用第三方库

Python爬网页,不确定网页的编码,不需要用第三方库,自己写个判断,乱拳打死老师傅

detect试了,不好用

apparent_encoding试了,不好用

encoding试了,不好用

headers里get试了,不好用

最后用下面这个方法,反而是最好用的,也不是100%准确,但是在我用的过程中,这个是最好用的,反正也没有100%的,还不如用自己写的函数呢

python 复制代码
def detect_encoding(byte_text):  
    encodings_to_try = ['utf-8', 'gbk', 'gb2312', 'gb18030', 'ascii', 'latin1']  
    for encoding in encodings_to_try:  
        try:  
            return encoding  
        except UnicodeDecodeError:  
            continue  
    return None
相关推荐
show43317 小时前
多格式导出怎么做?2026免费小程序TXT/SRT实践
开发语言·小程序·c#
circuitsosk17 小时前
长文本与高并发下的Token“瘦身”策略:Prompt压缩与上下文窗口优化
java·前端·python·prompt·上下文窗口·token优化
岁岁养乐多17 小时前
LangChain4j 工厂模式
java·开发语言
小小龙学IT17 小时前
Day 28 项目调试与优化 —— 给聊天室做一次“全面体检“
c语言·开发语言
鹿鹿学长17 小时前
国赛备赛第一课:高数、线代、概率统计在历年赛题中的真实出镜率盘点
python·自动化
hy.z_77717 小时前
【C++】9. Vector
开发语言·c++
整个江湖17 小时前
Python 工程实践:时间区间解析、时区归一化与边界测试
python
2501_9095091017 小时前
DAY 43
python
weixin_4713830317 小时前
07 LangGraph 集成 RAG
python·langchain·agent·langgraph
维度攻城狮17 小时前
PyCharm 使用 DevContainer 开发:打造一致、隔离、高效的开发环境
ide·python·pycharm·devcontainer