【已解决】关于错误 UnicodeEncodeError: ‘gbk‘ codec can‘t encode character

某次爬取一个网站的时候UnicodeEncodeError: 'gbk' codec can't encode character '\xa9' in position 19417: illegal multibyte sequence

尝试了很多个办法,

c 复制代码
    def get_page(self):
        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36"
        }
        print(self.base_url)
        response = requests.get(self.base_url, headers=headers)
        # response.encoding = "gbk"
        response.encoding = "utf-8"
        print(response.text)

都是显示UnicodeEncodeError: 'gbk' codec can't encode character '\xa9' in position 19417: illegal multibyte sequence

更改response.encoding时没有任何效果,结果看了一下是pycharm的配置问题,

更改pycharm的设置,修改为utf-8即可

相关推荐
yongche_shi4 分钟前
ragas官方文档中文版(十六)
python·ai·智能体·ragas·使用工具
三块可乐两块冰8 分钟前
rag学习5
linux·前端·python
DXM052112 分钟前
第11期| 遥感图像分类模型:ResNet_DenseNet原理+实战训练
人工智能·python·深度学习·机器学习·分类·数据挖掘·ageo
SilentSamsara15 分钟前
模型部署实战:FastAPI + ONNX + Docker 的推理服务化
人工智能·pytorch·python·深度学习·机器学习·fastapi
聆风吟º19 分钟前
Python基础数据类型(一):数字类型
开发语言·python·float·int·bool·数字类型
Tisfy20 分钟前
LeetCode 3838.带权单词映射:求和、取模、拼接(附python一行版)
python·算法·leetcode·字符串·题解·模拟·取模
铁皮饭盒22 分钟前
Bun + SQLite 10个实用技巧
前端·javascript·后端
NaclarbCSDN26 分钟前
我写了一个命令行书签管理器,然后抛弃了浏览器书签栏
linux·git·python·github
沪漂阿龙1 小时前
LangChain 系列之Tools:让大模型真正连接业务系统
人工智能·python·langchain
程序猿编码1 小时前
子域猎手:一款高性能DNS枚举工具的设计与实现
linux·c++·python·c·dns