【大数据测试ETL：从0-1实战详细教程】

Dreams°1232024-11-21 15:43

从0-1实战详细教程

一、ETL 测试概述

在这个场景中，我们的目标是从不同数据源（例如销售数据库、库存数据库等）提取商品销量数据，经过转换处理后加载到数据仓库或 BI 工具中，以生成商品销量 BI 报表。同时，可能还需要进行数据的反向验证，确保 BI 报表中的数据与数据库中的数据一致。

二、测试阶段

1. 数据源验证

  • 目的：确保源数据的可用性、完整性和准确性。
  • 方法 ：
    • 检查数据源的连接性，确保可以成功连接到销售数据库和库存数据库等数据源。
    • 验证数据的完整性，例如检查数据行数、列数是否符合预期。对于商品销量数据，可以检查销售记录的数量是否合理，库存数据的商品种类是否完整等。
    • 对数据进行抽样检查，验证数据的准确性。例如，随机抽取一些销售记录，检查销售金额、销售数量等字段的值是否合理。
  • 代码示例（使用 Python 和 pandas 库检查销售数据库数据源）：
python 复制代码 
import pandas as pd
import psycopg2

# 连接到销售数据库
conn_sales = psycopg2.connect(database='sales_database', user='your_user', password='your_password', host='your_host', port='your_port')

# 执行 SQL 查询提取销售数据
sql_query_sales = "SELECT * FROM sales_table"
sales_data = pd.read_sql(sql_query_sales, conn_sales)

# 检查行数和列数
assert len(sales_data) > 0
assert len(sales_data.columns) == expected_column_count_sales

# 抽样检查数据准确性
sample_sales_data = sales_data.sample(n=10)
for index, row in sample_sales_data.iterrows():
    # 根据具体业务逻辑进行数据准确性验证
    assert row['sales_amount'] > 0

# 关闭数据库连接
conn_sales.close()

2. 提取过程测试

  • 目的：验证数据提取的正确性。
  • 方法 ：
    • 检查提取的数据是否与源数据一致。可以通过比较提取前后的数据行数、列数和关键字段的值来验证。
    • 验证提取的数据是否完整，没有丢失数据。例如，对于商品销量数据，确保所有的销售记录都被提取出来。
    • 测试提取过程的性能，确保在合理的时间内完成提取。可以使用时间测量工具来记录提取过程的时间，并与性能要求进行比较。
  • 代码示例（假设从销售数据库和库存数据库提取数据到 DataFrame）：
python 复制代码 
import pandas as pd
import psycopg2

# 连接到销售数据库和库存数据库
conn_sales = psycopg2.connect(database='sales_database', user='your_user', password='your_password', host='your_host', port='your_port')
conn_inventory = psycopg2.connect(database='inventory_database', user='your_user', password='your_password', host='your_host', port='your_port')

# 执行 SQL 查询提取销售数据和库存数据
sql_query_sales = "SELECT * FROM sales_table"
sql_query_inventory = "SELECT * FROM inventory_table"
extracted_sales_data = pd.read_sql(sql_query_sales, conn_sales)
extracted_inventory_data = pd.read_sql(sql_query_inventory, conn_inventory)

# 验证提取的数据行数与预期一致
assert len(extracted_sales_data) == expected_row_count_sales
assert len(extracted_inventory_data) == expected_row_count_inventory

# 关闭数据库连接
conn_sales.close()
conn_inventory.close()

3. 转换过程测试

  • 目的：确保数据转换的正确性和有效性。
  • 方法 ：
    • 编写单元测试来验证转换函数的正确性。例如，对于商品销量数据，可能需要将销售金额转换为特定的货币格式，或者计算商品的销售增长率等。
    • 对比转换前后的数据，验证转换逻辑是否正确。可以通过检查关键字段的值、数据类型等方面来进行验证。
    • 测试转换过程的性能，确保不会过度消耗资源。可以使用性能测试工具来测量转换过程的时间和资源使用情况。
  • 代码示例（假设转换函数将销售金额转换为特定货币格式）：
python 复制代码 
def convert_sales_amount(amount):
    # 将销售金额转换为特定货币格式
    return f'${amount:.2f}'

# 单元测试
def test_convert_sales_amount():
    assert convert_sales_amount(100.5) == '$100.50'
    assert convert_sales_amount(50.75) == '$50.75'

4. 加载过程测试

  • 目的：验证数据加载到目标存储的正确性。
  • 方法 ：
    • 检查加载后的数据是否与转换后的数据一致。可以通过比较加载前后的数据行数、列数和关键字段的值来验证。
    • 验证目标存储中的数据完整性和准确性。例如，对于商品销量数据加载到数据仓库中，可以检查数据仓库中的表结构是否正确，数据是否完整地加载到相应的表中。
    • 测试加载过程的性能，确保在合理的时间内完成加载。可以使用时间测量工具来记录加载过程的时间，并与性能要求进行比较。
  • 代码示例（假设将转换后的数据加载到数据仓库中的表）：
python 复制代码 
import pandas as pd
import psycopg2

# 转换后的数据
transformed_data = pd.DataFrame({'product_id': [1, 2, 3], 'sales_amount': ['$100.50', '$50.75', '$75.25']})

# 连接到数据仓库
conn_datawarehouse = psycopg2.connect(database='datawarehouse_database', user='your_user', password='your_password', host='your_host', port='your_port')

# 将数据加载到数据仓库中的表
cursor = conn_datawarehouse.cursor()
for index, row in transformed_data.iterrows():
    sql_insert = "INSERT INTO sales_table_in_datawarehouse (product_id, sales_amount) VALUES (%s, %s)"
    cursor.execute(sql_insert, (row['product_id'], row['sales_amount']))

conn_datawarehouse.commit()
cursor.close()
conn_datawarehouse.close()

# 验证加载后的数据
conn_verify = psycopg2.connect(database='datawarehouse_database', user='your_user', password='your_password', host='your_host', port='your_port')
sql_verify = "SELECT * FROM sales_table_in_datawarehouse"
loaded_data = pd.read_sql(sql_verify, conn_verify)

assert len(loaded_data) == len(transformed_data)

for index, row in loaded_data.iterrows():
    assert row['product_id'] == transformed_data.iloc[index]['product_id']
    assert row['sales_amount'] == transformed_data.iloc[index]['sales_amount']

conn_verify.close()

5. 端到端测试

  • 目的：验证整个 ETL 流程的正确性。
  • 方法 ：
    • 运行完整的 ETL 流程，从数据源提取数据，经过转换，最后加载到目标存储。
    • 对比源数据和加载到目标存储的数据，验证数据的准确性和完整性。对于商品销量数据，可以比较销售数据库中的原始销售记录和数据仓库中的销售数据，确保数据在整个 ETL 过程中没有丢失或被错误地转换。
  • 代码示例（假设使用一个脚本运行整个 ETL 流程，并进行端到端的数据验证）：
python 复制代码 
import etl_script

# 运行 ETL 流程
etl_script.run_etl()

# 验证端到端的数据一致性
source_sales_data = pd.read_sql("SELECT * FROM sales_table", conn_sales)
target_sales_data = pd.read_sql("SELECT * FROM sales_table_in_datawarehouse", conn_datawarehouse)

assert len(target_sales_data) == len(source_sales_data)

for index, row in source_sales_data.iterrows():
    # 根据具体业务逻辑验证数据一致性
    target_row = target_sales_data[target_sales_data['product_id'] == row['product_id']]
    assert target_row['sales_amount'].values[0] == convert_sales_amount(row['sales_amount'])

# 关闭数据库连接
conn_sales.close()
conn_datawarehouse.close()

三、性能测试

  1. 目的：确保 ETL 流程在合理的时间内完成，不会对系统性能造成过大的影响。
  2. 方法 ：
    • 使用性能测试工具或编写脚本来模拟大量数据的 ETL 过程，测量提取、转换和加载各个阶段的时间。例如，可以使用 Python 的 time 模块来测量每个阶段的执行时间。
    • 监控系统资源使用情况，如 CPU、内存、磁盘 I/O 等，确保不会出现资源瓶颈。可以使用系统监控工具来实时监测资源使用情况。
  3. 代码示例（使用 Python 的 time 模块测量 ETL 过程的时间，并监控资源使用情况）：
python 复制代码 
import time
import psutil
import etl_script

# 记录开始时间
start_time = time.time()

# 运行 ETL 流程
etl_script.run_etl()

# 记录结束时间
end_time = time.time()

elapsed_time = end_time - start_time
print(f"ETL process took {elapsed_time} seconds.")

# 监控系统资源使用情况
cpu_usage = psutil.cpu_percent()
memory_usage = psutil.virtual_memory().percent
disk_io = psutil.disk_io_counters()

print(f"CPU usage: {cpu_usage}%")
print(f"Memory usage: {memory_usage}%")
print(f"Disk I/O: {disk_io}")

四、数据质量测试

  1. 目的：确保数据满足质量要求，如准确性、完整性、一致性等。
  2. 方法 ：
    • 定义数据质量规则，例如数据值的范围、数据格式、必填字段等。对于商品销量数据，可以定义销售金额必须大于零，销售数量必须是整数，商品 ID 不能为空等规则。
    • 使用数据质量工具或编写脚本来检查数据是否符合质量规则。可以使用 Python 的数据验证库或自定义的验证函数来检查数据质量。
    • 对不符合质量规则的数据进行记录和报告，以便进行进一步的调查和修复。可以将不符合质量规则的数据写入日志文件或发送电子邮件通知相关人员。
  3. 代码示例（假设检查商品销量数据的质量）：
python 复制代码 
import pandas as pd

data = pd.read_sql("SELECT * FROM sales_table_in_datawarehouse", conn_datawarehouse)

for index, row in data.iterrows():
    # 检查销售金额是否大于零
    if row['sales_amount'] <= 0:
        print(f"Data quality issue: Sales amount is not greater than zero in row {index}.")
    # 检查销售数量是否是整数
    if not isinstance(row['quantity'], int):
        print(f"Data quality issue: Quantity is not an integer in row {index}.")
    # 检查商品 ID 是否为空
    if pd.isna(row['product_id']):
        print(f"Data quality issue: Product ID is null in row {index}.")

# 关闭数据库连接
conn_datawarehouse.close()

五、错误处理测试

  1. 目的：验证 ETL 流程在出现错误时能够正确处理并记录错误。
  2. 方法 ：
    • 模拟各种错误情况，如数据源不可用、数据格式错误、转换失败等。可以通过人为地制造错误条件，例如断开数据库连接、修改数据格式等方式来模拟错误情况。
    • 检查 ETL 流程是否能够捕获错误，并采取适当的措施，如记录错误日志、停止流程或进行重试。可以查看日志文件或使用调试工具来检查错误处理机制是否正常工作。
  3. 代码示例（假设模拟数据源不可用的情况）：
python 复制代码 
import etl_script

try:
    # 模拟数据源不可用
    raise ConnectionError("Data source unavailable.")
    etl_script.run_etl()
except Exception as e:
    print(f"Error in ETL process: {e}")
    # 检查是否正确记录了错误日志
    assert error_logged(e)

推荐阅读 ： 《大数据 ETL + Flume 数据清洗》

相关推荐
人类群星闪耀时5 分钟前
使用Python实现量子密钥分发：构建安全通信的未来
python·安全·量子计算
jjw_zyfx6 分钟前
flask before_request 请求拦截器返回无值则放行，有值则拦截
后端·python·flask
KevinRay_7 分钟前
【Python入门】类和对象
服务器·前端·python·类和对象
瞻邈10 分钟前
lpips使用笔记
人工智能·python·深度学习
瞻邈14 分钟前
Diffusers使用笔记
人工智能·python·深度学习
Eric.Lee202138 分钟前
数据集-目标检测系列 车牌检测&识别 数据集 CCPD2019
人工智能·python·目标检测·计算机视觉·车牌识别·车牌检测·yolo检测
不爱学习的YY酱38 分钟前
【操作系统不挂科】＜内存管理-文件系统实现（18）＞选择题（带答案与解析）
java·大数据·数据库
kris000940 分钟前
Python知识分享第二十九天-PyMySQL
开发语言·数据库·python
guanpinkeji1 小时前
陪诊小程序搭建，打造一站式陪诊服务
大数据·小程序·小程序开发·陪诊·陪诊小程序
盼兮*1 小时前
Python调用星火认知大模型API(流式传输)
开发语言·python·flask·request
热门推荐
01基于大语言模型（LLM）的合成数据生成、策展和评估的综述02HCIA-datacom数通题库和录播视频资料03玄机平台应急响应—webshell查杀04VSCode插件 —— Cody AI （免费AI助手！）05YOLOv8训练好模型后，追加轮数继续训练、或者提前终止训练，缩减训练轮数06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07SQL 主从数据库实时备份08校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站09Docker 夺命连环 15 问10【华东南AWDP】第十七届全国大学生信息安全竞赛 CISCN 2024 创新实践能力赛区域赛 部分题解WP