【大数据测试ETL：从0-1实战详细教程】

Dreams°1232024-11-21 15:43

从0-1实战详细教程

一、ETL 测试概述

在这个场景中，我们的目标是从不同数据源（例如销售数据库、库存数据库等）提取商品销量数据，经过转换处理后加载到数据仓库或 BI 工具中，以生成商品销量 BI 报表。同时，可能还需要进行数据的反向验证，确保 BI 报表中的数据与数据库中的数据一致。

二、测试阶段

1. 数据源验证

  • 目的：确保源数据的可用性、完整性和准确性。
  • 方法 ：
    • 检查数据源的连接性，确保可以成功连接到销售数据库和库存数据库等数据源。
    • 验证数据的完整性，例如检查数据行数、列数是否符合预期。对于商品销量数据，可以检查销售记录的数量是否合理，库存数据的商品种类是否完整等。
    • 对数据进行抽样检查，验证数据的准确性。例如，随机抽取一些销售记录，检查销售金额、销售数量等字段的值是否合理。
  • 代码示例（使用 Python 和 pandas 库检查销售数据库数据源）：
python 复制代码 
import pandas as pd
import psycopg2

# 连接到销售数据库
conn_sales = psycopg2.connect(database='sales_database', user='your_user', password='your_password', host='your_host', port='your_port')

# 执行 SQL 查询提取销售数据
sql_query_sales = "SELECT * FROM sales_table"
sales_data = pd.read_sql(sql_query_sales, conn_sales)

# 检查行数和列数
assert len(sales_data) > 0
assert len(sales_data.columns) == expected_column_count_sales

# 抽样检查数据准确性
sample_sales_data = sales_data.sample(n=10)
for index, row in sample_sales_data.iterrows():
    # 根据具体业务逻辑进行数据准确性验证
    assert row['sales_amount'] > 0

# 关闭数据库连接
conn_sales.close()

2. 提取过程测试

  • 目的：验证数据提取的正确性。
  • 方法 ：
    • 检查提取的数据是否与源数据一致。可以通过比较提取前后的数据行数、列数和关键字段的值来验证。
    • 验证提取的数据是否完整，没有丢失数据。例如，对于商品销量数据，确保所有的销售记录都被提取出来。
    • 测试提取过程的性能，确保在合理的时间内完成提取。可以使用时间测量工具来记录提取过程的时间，并与性能要求进行比较。
  • 代码示例（假设从销售数据库和库存数据库提取数据到 DataFrame）：
python 复制代码 
import pandas as pd
import psycopg2

# 连接到销售数据库和库存数据库
conn_sales = psycopg2.connect(database='sales_database', user='your_user', password='your_password', host='your_host', port='your_port')
conn_inventory = psycopg2.connect(database='inventory_database', user='your_user', password='your_password', host='your_host', port='your_port')

# 执行 SQL 查询提取销售数据和库存数据
sql_query_sales = "SELECT * FROM sales_table"
sql_query_inventory = "SELECT * FROM inventory_table"
extracted_sales_data = pd.read_sql(sql_query_sales, conn_sales)
extracted_inventory_data = pd.read_sql(sql_query_inventory, conn_inventory)

# 验证提取的数据行数与预期一致
assert len(extracted_sales_data) == expected_row_count_sales
assert len(extracted_inventory_data) == expected_row_count_inventory

# 关闭数据库连接
conn_sales.close()
conn_inventory.close()

3. 转换过程测试

  • 目的：确保数据转换的正确性和有效性。
  • 方法 ：
    • 编写单元测试来验证转换函数的正确性。例如，对于商品销量数据，可能需要将销售金额转换为特定的货币格式，或者计算商品的销售增长率等。
    • 对比转换前后的数据，验证转换逻辑是否正确。可以通过检查关键字段的值、数据类型等方面来进行验证。
    • 测试转换过程的性能，确保不会过度消耗资源。可以使用性能测试工具来测量转换过程的时间和资源使用情况。
  • 代码示例（假设转换函数将销售金额转换为特定货币格式）：
python 复制代码 
def convert_sales_amount(amount):
    # 将销售金额转换为特定货币格式
    return f'${amount:.2f}'

# 单元测试
def test_convert_sales_amount():
    assert convert_sales_amount(100.5) == '$100.50'
    assert convert_sales_amount(50.75) == '$50.75'

4. 加载过程测试

  • 目的：验证数据加载到目标存储的正确性。
  • 方法 ：
    • 检查加载后的数据是否与转换后的数据一致。可以通过比较加载前后的数据行数、列数和关键字段的值来验证。
    • 验证目标存储中的数据完整性和准确性。例如，对于商品销量数据加载到数据仓库中，可以检查数据仓库中的表结构是否正确，数据是否完整地加载到相应的表中。
    • 测试加载过程的性能，确保在合理的时间内完成加载。可以使用时间测量工具来记录加载过程的时间，并与性能要求进行比较。
  • 代码示例（假设将转换后的数据加载到数据仓库中的表）：
python 复制代码 
import pandas as pd
import psycopg2

# 转换后的数据
transformed_data = pd.DataFrame({'product_id': [1, 2, 3], 'sales_amount': ['$100.50', '$50.75', '$75.25']})

# 连接到数据仓库
conn_datawarehouse = psycopg2.connect(database='datawarehouse_database', user='your_user', password='your_password', host='your_host', port='your_port')

# 将数据加载到数据仓库中的表
cursor = conn_datawarehouse.cursor()
for index, row in transformed_data.iterrows():
    sql_insert = "INSERT INTO sales_table_in_datawarehouse (product_id, sales_amount) VALUES (%s, %s)"
    cursor.execute(sql_insert, (row['product_id'], row['sales_amount']))

conn_datawarehouse.commit()
cursor.close()
conn_datawarehouse.close()

# 验证加载后的数据
conn_verify = psycopg2.connect(database='datawarehouse_database', user='your_user', password='your_password', host='your_host', port='your_port')
sql_verify = "SELECT * FROM sales_table_in_datawarehouse"
loaded_data = pd.read_sql(sql_verify, conn_verify)

assert len(loaded_data) == len(transformed_data)

for index, row in loaded_data.iterrows():
    assert row['product_id'] == transformed_data.iloc[index]['product_id']
    assert row['sales_amount'] == transformed_data.iloc[index]['sales_amount']

conn_verify.close()

5. 端到端测试

  • 目的：验证整个 ETL 流程的正确性。
  • 方法 ：
    • 运行完整的 ETL 流程，从数据源提取数据，经过转换，最后加载到目标存储。
    • 对比源数据和加载到目标存储的数据，验证数据的准确性和完整性。对于商品销量数据，可以比较销售数据库中的原始销售记录和数据仓库中的销售数据，确保数据在整个 ETL 过程中没有丢失或被错误地转换。
  • 代码示例（假设使用一个脚本运行整个 ETL 流程，并进行端到端的数据验证）：
python 复制代码 
import etl_script

# 运行 ETL 流程
etl_script.run_etl()

# 验证端到端的数据一致性
source_sales_data = pd.read_sql("SELECT * FROM sales_table", conn_sales)
target_sales_data = pd.read_sql("SELECT * FROM sales_table_in_datawarehouse", conn_datawarehouse)

assert len(target_sales_data) == len(source_sales_data)

for index, row in source_sales_data.iterrows():
    # 根据具体业务逻辑验证数据一致性
    target_row = target_sales_data[target_sales_data['product_id'] == row['product_id']]
    assert target_row['sales_amount'].values[0] == convert_sales_amount(row['sales_amount'])

# 关闭数据库连接
conn_sales.close()
conn_datawarehouse.close()

三、性能测试

  1. 目的：确保 ETL 流程在合理的时间内完成，不会对系统性能造成过大的影响。
  2. 方法 ：
    • 使用性能测试工具或编写脚本来模拟大量数据的 ETL 过程，测量提取、转换和加载各个阶段的时间。例如，可以使用 Python 的 time 模块来测量每个阶段的执行时间。
    • 监控系统资源使用情况，如 CPU、内存、磁盘 I/O 等，确保不会出现资源瓶颈。可以使用系统监控工具来实时监测资源使用情况。
  3. 代码示例（使用 Python 的 time 模块测量 ETL 过程的时间，并监控资源使用情况）：
python 复制代码 
import time
import psutil
import etl_script

# 记录开始时间
start_time = time.time()

# 运行 ETL 流程
etl_script.run_etl()

# 记录结束时间
end_time = time.time()

elapsed_time = end_time - start_time
print(f"ETL process took {elapsed_time} seconds.")

# 监控系统资源使用情况
cpu_usage = psutil.cpu_percent()
memory_usage = psutil.virtual_memory().percent
disk_io = psutil.disk_io_counters()

print(f"CPU usage: {cpu_usage}%")
print(f"Memory usage: {memory_usage}%")
print(f"Disk I/O: {disk_io}")

四、数据质量测试

  1. 目的：确保数据满足质量要求，如准确性、完整性、一致性等。
  2. 方法 ：
    • 定义数据质量规则，例如数据值的范围、数据格式、必填字段等。对于商品销量数据，可以定义销售金额必须大于零，销售数量必须是整数，商品 ID 不能为空等规则。
    • 使用数据质量工具或编写脚本来检查数据是否符合质量规则。可以使用 Python 的数据验证库或自定义的验证函数来检查数据质量。
    • 对不符合质量规则的数据进行记录和报告，以便进行进一步的调查和修复。可以将不符合质量规则的数据写入日志文件或发送电子邮件通知相关人员。
  3. 代码示例（假设检查商品销量数据的质量）：
python 复制代码 
import pandas as pd

data = pd.read_sql("SELECT * FROM sales_table_in_datawarehouse", conn_datawarehouse)

for index, row in data.iterrows():
    # 检查销售金额是否大于零
    if row['sales_amount'] <= 0:
        print(f"Data quality issue: Sales amount is not greater than zero in row {index}.")
    # 检查销售数量是否是整数
    if not isinstance(row['quantity'], int):
        print(f"Data quality issue: Quantity is not an integer in row {index}.")
    # 检查商品 ID 是否为空
    if pd.isna(row['product_id']):
        print(f"Data quality issue: Product ID is null in row {index}.")

# 关闭数据库连接
conn_datawarehouse.close()

五、错误处理测试

  1. 目的：验证 ETL 流程在出现错误时能够正确处理并记录错误。
  2. 方法 ：
    • 模拟各种错误情况，如数据源不可用、数据格式错误、转换失败等。可以通过人为地制造错误条件，例如断开数据库连接、修改数据格式等方式来模拟错误情况。
    • 检查 ETL 流程是否能够捕获错误，并采取适当的措施，如记录错误日志、停止流程或进行重试。可以查看日志文件或使用调试工具来检查错误处理机制是否正常工作。
  3. 代码示例（假设模拟数据源不可用的情况）：
python 复制代码 
import etl_script

try:
    # 模拟数据源不可用
    raise ConnectionError("Data source unavailable.")
    etl_script.run_etl()
except Exception as e:
    print(f"Error in ETL process: {e}")
    # 检查是否正确记录了错误日志
    assert error_logged(e)

推荐阅读 ： 《大数据 ETL + Flume 数据清洗》

相关推荐
Leuanghing几秒前
使用Python生成卡方分布表并导出为Excel文件
python·excel·pandas·scipy·卡方分布表
兆。19 分钟前
python实战案例----使用 PyQt5 构建简单的 HTTP 接口测试工具
爬虫·python·qt
闲人编程21 分钟前
Hadoop 使用过程中 15 个常见问题的详细描述、解决方案
大数据·hadoop·eclipse·解决方案·yarn·配置文件
澜世30 分钟前
python基础之学生成绩管理系统
网络·笔记·python
唯余木叶下弦声31 分钟前
PySpark3：pyspark.sql.functions常见的60个函数
python·spark·pyspark
新知图书33 分钟前
Spark SQL大数据分析快速上手-完全分布模式安装
大数据·服务器·spark
和风33039 分钟前
Python+7z：将文件和目录压缩为ZIP文件
python
橘子海全栈攻城狮1 小时前
【源码+文档+调试讲解】基于Hadoop实现的豆瓣电子图书推荐系统的设计与实现
大数据·数据库·hadoop·spring boot·分布式·后端
NiNg_1_2341 小时前
Python中Tushare（金融数据库）入门详解
数据库·python·金融
叮当喵是mao2 小时前
python基础知识（七）——写入excel
android·python·excel
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04机器人持续学习基准LIBERO系列10——文件结构05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07小米路由器简单救砖08玄机平台应急响应—webshell查杀09RAG 实践- Ollama+RagFlow 部署本地知识库10华为AI战略的CANN