【已解决】关于错误 UnicodeEncodeError: ‘gbk‘ codec can‘t encode character

某次爬取一个网站的时候UnicodeEncodeError: 'gbk' codec can't encode character '\xa9' in position 19417: illegal multibyte sequence

尝试了很多个办法,

c 复制代码
    def get_page(self):
        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36"
        }
        print(self.base_url)
        response = requests.get(self.base_url, headers=headers)
        # response.encoding = "gbk"
        response.encoding = "utf-8"
        print(response.text)

都是显示UnicodeEncodeError: 'gbk' codec can't encode character '\xa9' in position 19417: illegal multibyte sequence

更改response.encoding时没有任何效果,结果看了一下是pycharm的配置问题,

更改pycharm的设置,修改为utf-8即可

相关推荐
卷心菜的学习路19 分钟前
基于多模态向量检索的数学相似题推荐系统:完整设计、算法与实验
java·python·算法·大模型·推荐算法·数学相似题
winfredzhang41 分钟前
用 wxPython 打造「Claude Code 任务启动器」:一个把 AI CLI 变成一键工作流的桌面工具
python·wxpython·powershell·剪贴板·claudecodecli
Logintern091 小时前
DeepAgents 的子 Agent 如何实现上下文隔离
python
金銀銅鐵1 小时前
[Python] 借助 Turtle 来展示汉诺塔
python·数学
暴躁的小鸟1 小时前
附近口碑好的斜视配镜训练的眼视光中心
人工智能·python·深度学习
Data_Journal1 小时前
如何使用 Java 和 Jsoup 解析 HTML
大数据·开发语言·数据库·python·scrapy
如何原谅奋力过但无声2 小时前
现代化Python工具:uv、Ruff、Pyright、Rich(只讲重点版)
vscode·python·uv
Logintern092 小时前
DeepAgents 主-子 Agent 的底层实现逻辑完全基于 LangGraph 的图机制
python
代码不加糖2 小时前
common.js和es6中模块引l入的区别?
前端·javascript·es6
云浪2 小时前
从 0 到实战:掌握向量数据库 Milvus,构建 AI 应用的核心能力
javascript·数据库·人工智能