Spark流水线数据质量检查组件

1.组件说明

该组件提供了一个可视化、交互式的数据质量规则设计器,支持多种校验类型和参数配置,便于灵活定义和管理数据校验逻辑。

适用于需要灵活配置数据质量校验规则的场景,在数据从数据源抽取、转换并加载到数据仓库的ETL过程中,添加数据质量检查组件,对每一步的数据进行质量检查。例如,在数据抽取后检查数据的完整性,在转换过程中检查数据的一致性和准确性,确保只有符合质量要求的数据才能进入数据仓库,避免错误数据对后续数据分析和决策的影响。

2.组件主要功能

  1. 规则级别与描述设置

    • 支持选择校验级别(错误/Error 或 警告/Warning)。
    • 支持输入规则描述。
  2. 约束条件管理

    • 支持添加、删除多个约束条件。
    • 每个约束可选择不同的校验类型(如:数据集大小、列完整性、唯一性、主键检查、非负值、最小/最大/平均值、模式匹配、自定义条件等)。
    • 根据不同类型动态渲染所需的参数输入项(如列名、操作符、期望值、区间、允许的值、自定义表达式等)。
    • 支持操作符选择(如等于、不等于、大于、小于、区间等),部分类型支持区间输入。
    校验类型 val 说明 适用场景与含义
    hasSize 数据集大小 校验数据集的总行数是否满足指定条件(如等于/大于/小于某个值或在某个区间内)。
    isComplete 列完整性 校验指定列是否不存在空值(即该列所有行都必须有值)。
    isUnique 列唯一性 校验指定列的值是否唯一(即该列不能有重复值)。
    isPrimaryKey 主键检查 校验指定列是否为主键(通常要求唯一且非空)。
    isContainedIn 值在集合中 校验指定列的值是否都包含在给定的值集合内。
    isNonNegative 非负值 校验指定列的所有值是否都大于等于 0。
    hasPattern 模式匹配 校验指定列的值是否都符合某种正则表达式模式(如手机号、邮箱等格式校验)。
    satisfies 自定义条件 支持自定义表达式校验,如"column1 > column2"等复杂逻辑。
    hasMin 最小值 校验指定列的最小值是否满足条件(如大于/小于/等于某个值或在区间内)。
    hasMax 最大值 校验指定列的最大值是否满足条件(如大于/小于/等于某个值或在区间内)。
    hasMean 平均值 校验指定列的平均值是否满足条件(如大于/小于/等于某个值或在区间内)。

    说明:

    • 部分类型(如 hasSize、hasMin、hasMax、hasMean)支持操作符选择(等于、不等于、大于、小于、区间等)。
    • isContainedIn 需要填写允许的值集合。
    • satisfies 需要填写自定义表达式和条件名称。
    • 其他类型通常需要指定列名。

3. 组件演示

3.1 创建任务

  • 入口 :通过顶部菜单栏选择 任务开发 ,或通过快捷入口 快速创建任务

  • 任务类型 :选择 SparkPipeline

3.2 配置任务

点击任务名称,进入任务详情页。任务节点如下

使用MockData节点生成100条测试数据

  • id列类型为STRING,不为空

  • age列类型为INT,可为空

使用DataProfiling探索数据

使用Deequ进行数据质量检查

规则定义如下:

  • 数据集大小在10到100之间

  • id列不能为空

  • age列值唯一

  • age列值最小值在10 - 20之间

  • age列最大值小于等于100

  • age列非负数

  • id列为主键列


最后通过TableShow对各节点结果可视化展示

3.3 结果查看

模拟数据结果:

可自定义图表对结果进行可视化

数据探查结果:

数据质量检测结果:

从探查结果可见:

age列最小值为3,最大值为97,规则age列值最小值在10 - 20不通过,规则age列最大值小于等于100通过。

🔗 平台体验地址:DataStudiohttp://1.94.182.15:8090

Spark流水线数据质量检查

相关推荐
群联云防护小杜2 小时前
构建分布式高防架构实现业务零中断
前端·网络·分布式·tcp/ip·安全·游戏·架构
爱吃面的猫2 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
Fireworkitte3 小时前
安装 Elasticsearch IK 分词器
大数据·elasticsearch
ywyy67984 小时前
短剧系统开发定制全流程解析:从需求分析到上线的专业指南
大数据·需求分析·短剧·推客系统·推客小程序·短剧系统开发·海外短剧系统开发
上上迁4 小时前
分布式生成 ID 策略的演进和最佳实践,含springBoot 实现(Java版本)
java·spring boot·分布式
长路 ㅤ   4 小时前
Java后端技术博客汇总文档
分布式·算法·技术分享·编程学习·java后端
白鲸开源6 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据
海豚调度6 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源
白鲸开源6 小时前
DolphinScheduler+Sqoop 入门避坑:一文搞定数据同步常见异常
大数据