python之爬虫遇到返回内容乱码

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


前言

提示:这里可以添加本文要记录的大概内容:

问题复现:

pyhon 复制代码
import requests

headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
    "Accept-Encoding": "gzip, deflate, br, zstd",
    "Accept-Language": "en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7,en-GB;q=0.6",
    "cache-control": "max-age=0",
    "upgrade-insecure-requests": "1",
}

url = "xxxxxxxxxxxx"

res = requests.get(url=url, headers=headers, timeout=60)

print(res.text)

返回的结果:

python 复制代码
��or����_�;��������蔶��p<�_0�+��?=�0 ��
�c�M�zU�nT�%��Z7EU��UaT`XT��C��C�QT�C�QH��\3Q(d�U��+m�E1�]c^�b��R%�\y��w�DwՊW��Q�z��^S�*C!rUc*M��B��-rrb�Z�J��5�C�(Hm�E�<H`����"W
���\5*��fV0�W��A������b�\ըj���x��(=�%�T�P�����2j_�%��=Zĉ��}��e�"t8>�v��Wb6��i�~'�T��w�@CE�](�I_ƄLȄ���"�aƞ�lJ�"�!��+��`��뿪9�џB�{��&��Dz��Qb���(��������_lFMz�J�F�K��u�η�σ��nMKl��%��q;5���W�ू8�	�a��w�	��������K�o?v�f l�"l��o�e��[�~�>p����ҏ������Y��ޱ{E�1�}��h�t�'�$�S��KpL��:�+�|F���7 ~�/莀N�8�0 �ׄ��p���4�Í$7��\L����Nahz���.m�Y�l{m�gA�����gl�
c�߷��Ϥ��x���AgA\4�R�Z*r1<3N�;�S�b�`��9��O�����}�_�!�q�@ �/���˔cWT��N����K�E��5-��7�����9�پo��g,Xe��߷�����-�lSe��}@~|��3!�oJkh���P��o����}���g,}�~����ok�S|��6����S�r3$,����n��C'sBຼ�{Cs%�l��������!1�OM�&ɟ�����GEk,�:2U1�6��]��ʐu;��z��=ѫ��'�z�"���F�r����=v����y>5�2����Zu�lv�����rd��rȳ��B���t��U� �V�<�v>�aA`�2� &�:�.��4|l�x�!�������*b�D�^RQ������
��|�ۙϚ�P�a�A�:�z\�GZoM�⋃��s#L��kf}.@�z�J�6�j� I{7���[��W�
��i�HShY�y�Œ<�l:��vN�n���EF�2��N��#��^��0�v{�=�I
�т<�m�&�\��j����

解决思路

"Accept-Encoding'是浏览器发给服务器,声明浏览器支持的编码类,一般有gzip,deflate,br 等等。很多网站都是以gzip的格式来输出页面,此时输出response.content和response.text时会自动解压,但是当以br格式压缩时,却不会自动解压

Brotli是一种由 Google开发的全新压缩算法,可以有效减小传输内容大小,加速分发效果。当客户端的请求携带请求头 Accept-Encoding: br 时,表示客户端希望获取对应资源时进行 Brotli 压缩。当服务端响应携带响应头 Content-Encoding: br 时,表示服务端响应的内容是 Brotli 压缩的资源。需要注意的是,只有在 HTTPS 的情况下,浏览器才会发送 br 这个 Accept-Encoding

解决办法:
直接从请求头的Accept-Encoding中去除编码类型br

Accept-Encoding = "gzip, deflate"

相关推荐
海天一色y2 分钟前
Pycharm(十六)面向对象进阶
ide·python·pycharm
??? Meggie3 分钟前
【Python】保持Selenium稳定爬取的方法(防检测策略)
开发语言·python·selenium
XIE3921 小时前
Browser-use使用教程
python
酷爱码2 小时前
如何通过python连接hive,并对里面的表进行增删改查操作
开发语言·hive·python
画个大饼2 小时前
Go语言实战:快速搭建完整的用户认证系统
开发语言·后端·golang
蹦蹦跳跳真可爱5892 小时前
Python----深度学习(基于深度学习Pytroch簇分类,圆环分类,月牙分类)
人工智能·pytorch·python·深度学习·分类
喵先生!3 小时前
C++中的vector和list的区别与适用场景
开发语言·c++
Thomas_YXQ4 小时前
Unity3D Lua集成技术指南
java·开发语言·驱动开发·junit·全文检索·lua·unity3d
xMathematics4 小时前
计算机图形学实践:结合Qt和OpenGL实现绘制彩色三角形
开发语言·c++·qt·计算机图形学·cmake·opengl
MinggeQingchun5 小时前
Python - 爬虫-网页解析数据-库lxml(支持XPath)
爬虫·python·xpath·lxml