python爬虫防乱码方案

python爬虫防乱码方案

一、chardet库

​ 自动检测编码 :使用 Python 库 chardet 可以自动检测文本的编码,然后使用检测到的编码来解码文本。你可以尝试使用 chardet 库来检测编码,然后解码网页内容。

  • 案例

    import requests
    import chardet
    from bs4 import BeautifulSoup

    定义目标网页的URL

    url = "https://pic.netbian.com/4kmeinv/index.html"

    发送HTTP GET请求

    response = requests.get(url)

    使用chardet检测编码

    encoding = chardet.detect(response.content)['encoding']

    解码响应内容

    response.encoding = encoding

相关推荐
MSTcheng.20 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
乌暮20 小时前
少写重复 CRUD:用大白话搞懂 MyBatis-Plus
java·开发语言·spring boot·面试·mybatis
不绝19120 小时前
Lua基础语法入门:注释、变量类型与字符串操作
开发语言·lua
the局外人20 小时前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
__underline__20 小时前
冷门Python知识点006篇:Python 类体里的名字,能被"凭空造出来"
后端·python
Hhy_110721 小时前
《C++深度解构07》手撕 vector —— 从底层三指针架构到迭代器失效彻底吃透
c语言·开发语言·c++·学习·visual studio
风落青芜21 小时前
链式二叉树的实现与基本操作
c语言·开发语言·数据结构·算法
艾莉丝努力练剑21 小时前
【QT】系统相关:TCP的API介绍
开发语言·前端·c++·人工智能·qt·学习·tcp/ip
用户03321266636721 小时前
使用 Python 轻松移除 Excel 文档中的重复行
python·excel
LiaoWL12321 小时前
从零搭一个 RAG 知识库(二):换上语义 Embedding——BGE 实测与阈值重校准
python·大模型·numpy·embedding·向量检索·rag