解决pandas写入excel时的ValueError: All strings must be XML compatible报错

天才小呵呵2024-02-03 12:47

报错内容：

ValueError: All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters

报错背景

用pands批量写入excel文件，发生编码报错。检索了很多方案，都不能解决。

导致报错的原因是存在违法字符，不符合 XML 的解析规则。pandas写入应该是调用了xml的解析方法，所以这里也要符合xml的字符规则。

很多方法都是针对自己任务中遇到的特定违法字符进行的替换操作，不具备一般性。所以这里列出了一个最终解法------逐个字符的判断是否符合xml编译规则，只保留符合规则的编码。

最终代码

python 复制代码

def valid_xml_char_ordinal(c):
    codepoint = ord(c)
    # conditions ordered by presumed frequency
    return (
        0x20 <= codepoint <= 0xD7FF or
        codepoint in (0x9, 0xA, 0xD) or
        0xE000 <= codepoint <= 0xFFFD or
        0x10000 <= codepoint <= 0x10FFFF
        )


def wash_data(text):
    cleaned_string = ''.join(c for c in text if valid_xml_char_ordinal(c))
    return cleaned_string

text = "xxx"
text = wash_data(text)  # 完成清洗

参考

[1] 在python中过滤掉某些字节_python_Mangs-Python