Python爬网页,不确定网页的编码,不需要用第三方库

Python爬网页,不确定网页的编码,不需要用第三方库,自己写个判断,乱拳打死老师傅

detect试了,不好用

apparent_encoding试了,不好用

encoding试了,不好用

headers里get试了,不好用

最后用下面这个方法,反而是最好用的,也不是100%准确,但是在我用的过程中,这个是最好用的,反正也没有100%的,还不如用自己写的函数呢

python 复制代码
def detect_encoding(byte_text):  
    encodings_to_try = ['utf-8', 'gbk', 'gb2312', 'gb18030', 'ascii', 'latin1']  
    for encoding in encodings_to_try:  
        try:  
            return encoding  
        except UnicodeDecodeError:  
            continue  
    return None
相关推荐
学掌门几秒前
从数据库到可视化性能,5个大数据分析工具测评,python只排倒数
数据库·python·数据分析
2501_944521591 分钟前
Flutter for OpenHarmony 微动漫App实战:列表项组件实现
android·开发语言·javascript·flutter·ecmascript
小二·2 分钟前
Python Web 开发进阶实战:联邦学习平台 —— 在 Flask + Vue 中构建隐私保护的分布式 AI 训练系统
前端·python·flask
kuiini2 分钟前
scikit-learn 常用算法与评估方法【Plan 7】
python·算法·scikit-learn
【赫兹威客】浩哥3 分钟前
【赫兹威客】Redis安装与验证教程
开发语言·php
froginwe113 分钟前
SVG 简介
开发语言
宵时待雨5 分钟前
数据结构(初阶)笔记归纳7:链表OJ
c语言·开发语言·数据结构·笔记·算法·链表
SunnyRivers5 分钟前
Python 包和项目管理工具uv核心亮点详解
python·uv·亮点
充值修改昵称5 分钟前
数据结构基础:堆高效数据结构全面解析
数据结构·python·算法
无心水8 分钟前
8、吃透Go语言container包:链表(List)与环(Ring)的核心原理+避坑指南
java·开发语言·链表·微服务·架构·golang·list