python爬虫防乱码方案
一、chardet库
自动检测编码 :使用 Python 库 chardet
可以自动检测文本的编码,然后使用检测到的编码来解码文本。你可以尝试使用 chardet
库来检测编码,然后解码网页内容。
-
案例
import requests
import chardet
from bs4 import BeautifulSoup定义目标网页的URL
url = "https://pic.netbian.com/4kmeinv/index.html"
发送HTTP GET请求
response = requests.get(url)
使用chardet检测编码
encoding = chardet.detect(response.content)['encoding']
解码响应内容
response.encoding = encoding