解决pandas写入excel时的ValueError: All strings must be XML compatible报错

报错内容:

ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters

报错背景

用pands批量写入excel文件,发生编码报错。检索了很多方案,都不能解决。

导致报错的原因是存在违法字符,不符合 XML 的解析规则。pandas写入应该是调用了xml的解析方法,所以这里也要符合xml的字符规则。

很多方法都是针对自己任务中遇到的特定违法字符进行的替换操作,不具备一般性。所以这里列出了一个最终解法------逐个字符的判断是否符合xml编译规则,只保留符合规则的编码。

最终代码

python 复制代码
def valid_xml_char_ordinal(c):
    codepoint = ord(c)
    # conditions ordered by presumed frequency
    return (
        0x20 <= codepoint <= 0xD7FF or
        codepoint in (0x9, 0xA, 0xD) or
        0xE000 <= codepoint <= 0xFFFD or
        0x10000 <= codepoint <= 0x10FFFF
        )


def wash_data(text):
    cleaned_string = ''.join(c for c in text if valid_xml_char_ordinal(c))
    return cleaned_string

text = "xxx"
text = wash_data(text)  # 完成清洗

参考

1\] [在python中过滤掉某些字节_python_Mangs-Python](https://devpress.csdn.net/python/6300a38e7e66823466196ace.html "在python中过滤掉某些字节_python_Mangs-Python")

相关推荐
Thanks_ks3 小时前
Python 自动化办公:Excel 数据处理的“秘密武器”
pandas·定时任务·openpyxl·批量处理·销售数据分析·excel 数据处理·python 办公自动化
过期的秋刀鱼!5 小时前
数据分析之技术干货业务价值 powerquery 分组排序后取TOP
数据挖掘·数据分析·excel·数据清洗·分组排序·powerquery·电商货品分析
凯子坚持 c11 小时前
Trae 宝藏功能实测:从 Mcp 搭建天气系统,到 AI 重塑 Excel 数据处理
java·人工智能·excel
七七知享14 小时前
深入探索Python Pandas:解锁数据分析的无限可能
python·程序人生·程序员·数据挖掘·数据分析·pandas·个人开发
wkj00114 小时前
springboot + mybatis 需要写 .xml吗
xml·spring boot·mybatis
llkk星期五17 小时前
Mujoco xml < sensor>
xml·机器人
weixin_456588151 天前
【Maven】特殊pom.xml配置文件 - BOM
xml·java·maven
百锦再1 天前
Kotlin学习基础知识大全(上)
android·xml·学习·微信·kotlin·studio·mobile
xiaohanbao091 天前
day6 python数据可视化
python·学习·信息可视化·pandas
二狗哈1 天前
制作一款打飞机游戏23:编辑器ui
ui·编辑器·excel