Python Pandera 用于数据验证和清洗:是一个强大的工具用起来

今天为大家分享一个非常好用的 Python 库 - pandera。

Github地址:https://github.com/unionai-oss/pandera


在数据科学和数据分析中,数据的质量至关重要。不良的数据质量可能导致不准确的分析和决策。为了确保数据的质量,Python Pandera 库应运而生。本文将深入介绍 Python Pandera,这是一个用于数据验证和清洗的库,并提供丰富的示例代码,帮助大家充分利用它来提高数据质量。

什么是 Python Pandera?

Python Pandera 是一个用于数据验证和清洗的库,它的目标是帮助数据科学家和分析师确保数据的质量,并使数据准备过程更加可维护和可重复。Pandera 提供了一种声明性的方式来定义数据的验证规则,可以轻松地将这些规则应用于数据集,以识别和纠正不良数据。

Pandera 的设计理念是将数据验证和清洗与数据分析代码分离,从而降低了错误的风险,并提高了代码的可读性和可维护性。

安装 Python Pandera

要开始使用 Python Pandera,需要在 Python 环境中安装它。可以使用 pip 包管理器来安装 Pandera。

在终端或命令提示符中运行以下命令:

复制代码
pip install pandera

安装完成后,可以在 Python 代码中导入 Pandera 并开始使用它。

复制代码
import pandera as pa

基本用法示例

通过一个简单的示例来了解 Python Pandera 的基本用法。

假设有一个包含学生信息的数据集,希望验证数据是否满足以下规则:

  • 学生年龄必须介于 18 到 30 岁之间。

  • 学生成绩必须是 0 到 100 之间的整数。

定义数据验证规则

首先,需要定义数据验证规则。在 Pandera 中,可以使用 Schema 对象来定义规则。

以下是如何定义上述规则的代码:

复制代码
# 导入 Pandera 库
import pandera as pa

# 定义数据验证规则
schema = pa.DataFrameSchema({
    "age": pa.Column(pa.Int, checks=[
        pa.Check(lambda age: 18 <= age <= 30, element_wise=True)
    ]),
    "score": pa.Column(pa.Int, checks=[
        pa.Check(lambda score: 0 <= score <= 100, element_wise=True)
    ])
})

在上述代码中,使用 pa.Column 来定义每列的数据类型,并使用 pa.Check 来定义数据验证规则。这些规则是通过 lambda 函数来定义的,用于检查每个元素是否符合规则。

应用数据验证规则

一旦定义了数据验证规则,可以将其应用于数据集以验证数据的质量。

复制代码
# 创建包含学生信息的数据集
data = {
    "age": [25, 19, 32, 28, 22],
    "score": [90, 75, 110, 88, 95]
}
df = pa.DataFrame(data)

# 应用数据验证规则
schema.validate(df)

在上述代码中,首先创建了包含学生信息的 DataFrame,然后使用 schema.validate 方法来验证数据是否符合规则。如果数据不符合规则,Pandera 将引发异常并指出哪些数据不合格。

进阶用法示例

除了基本用法外,Python Pandera 还提供了一些进阶功能,以满足更复杂的数据验证和清洗需求。

1. 数据类型转换

有时候,可能需要将数据从一种类型转换为另一种类型,以满足验证规则。Pandera 可以定义数据类型转换函数并将其应用于数据。

复制代码
# 定义数据类型转换函数
def convert_age_to_float(age):
    return float(age)

# 定义数据验证规则
schema = pa.DataFrameSchema({
    "age": pa.Column(pa.Float, checks=[
        pa.Check(lambda age: 18.0 <= age <= 30.0, element_wise=True)
    ]),
    "score": pa.Column(pa.Int, checks=[
        pa.Check(lambda score: 0 <= score <= 100, element_wise=True)
    ])
})

# 创建包含学生信息的数据集
data = {
    "age": ["25", "19", "32", "28", "22"],
    "score": [90, 75, 110, 88, 95]
}
df = pa.DataFrame(data)

# 应用数据验证规则
schema.validate(df, convert_dtype=True)

在上述代码中,首先定义了一个数据类型转换函数 convert_age_to_float,然后在验证规则中将年龄列的数据类型设置为浮点型。通过设置 convert_dtype=True,告诉 Pandera 在验证之前将数据类型转换为指定的类型。

2. 自定义错误消息

还可以自定义错误消息,以便更清晰地指出哪些数据不符合规则。

复制代码
# 定义自定义错误消息函数
def custom_error_message(check, series):
    return f"Validation failed for column '{series.name}': {check.get_error_description(series)}"

# 定义数据验证规则
schema = pa.DataFrameSchema({
    "age": pa.Column(pa.Float, checks=[
        pa.Check(lambda age: 18.0 <= age <= 30.0, element_wise=True, error=custom_error_message)
    ]),
    "score": pa.Column(pa.Int, checks=[
        pa.Check(lambda score: 0 <= score <= 100, element_wise=True, error=custom_error_message)
    ])
})

# 创建包含学生信息的数据集
data = {
    "age": ["25", "19", "32", "28", "22"],
    "score": [90, 75, 110, 88, 95]
}
df = pa.DataFrame(data)

# 应用数据验证规则
try:
    schema.validate(df, convert_dtype=True)
except pa.errors.SchemaErrors as e:
    for error in e.schema_errors:
        print(error)

在上述代码中,定义了一个自定义错误消息函数 custom_error_message,然后将其应用于数据验证规则中的错误消息。当数据不符合规则时,Pandera 将显示自定义错误消息。

总结

Python Pandera 是一个强大的工具,用于数据验证和清洗。它提供了一种声明性的方式来定义数据验证规则,使数据质量的管理变得更加轻松。通过本文提供的示例代码,可以开始使用 Pandera 来提高数据质量,确保数据分析的准确性。希望本文对大家有所帮助,可以更好地利用 Pandera 进行数据验证和清洗工作。

相关推荐
带娃的IT创业者10 分钟前
Function Call实战效果:准确率提升86%背后的数据与思考,兼谈MCP的未来
人工智能·python·function call·性能分析·技术趋势·mcp·roi
可触的未来,发芽的智生35 分钟前
触摸未来2025.10.05:悟神经网络符号之伤,拥抱声音的宇宙
人工智能·python·神经网络·算法·架构
_bong1 小时前
python评估算法性能
数据结构·python·算法
儒雅芝士1 小时前
BIT*算法
python
蒋星熠1 小时前
用 CodeBuddy CLI + Prompt,从零到可运行:前后端混合管理系统的高效实战
人工智能·python·机器学习·prompt·codebuddy code·无界生成力·ai cli
Nina_7171 小时前
第一章——了解prompt以及一些基础技巧方法
人工智能·python
JJJJ_iii1 小时前
【深度学习04】PyTorch:损失函数、优化器、模型微调、保存与加载
人工智能·pytorch·笔记·python·深度学习·机器学习
小熊出擊2 小时前
【pytest】使用 marker 向 fixture 传递数据
python·pytest
Dest1ny-安全2 小时前
Java代码审计-Servlet基础(1)
java·python·servlet
好开心啊没烦恼2 小时前
Python数据分析:使用爬虫从网页、社交媒体平台、论坛等公开资源提取中文和英文人名。
开发语言·爬虫·python·数据挖掘·数据分析