【大数据测试ETL：从0-1实战详细教程】

Dreams°1232024-11-21 15:43

从0-1实战详细教程

一、ETL 测试概述

在这个场景中，我们的目标是从不同数据源（例如销售数据库、库存数据库等）提取商品销量数据，经过转换处理后加载到数据仓库或 BI 工具中，以生成商品销量 BI 报表。同时，可能还需要进行数据的反向验证，确保 BI 报表中的数据与数据库中的数据一致。

二、测试阶段

1. 数据源验证

  • 目的：确保源数据的可用性、完整性和准确性。
  • 方法 ：
    • 检查数据源的连接性，确保可以成功连接到销售数据库和库存数据库等数据源。
    • 验证数据的完整性，例如检查数据行数、列数是否符合预期。对于商品销量数据，可以检查销售记录的数量是否合理，库存数据的商品种类是否完整等。
    • 对数据进行抽样检查，验证数据的准确性。例如，随机抽取一些销售记录，检查销售金额、销售数量等字段的值是否合理。
  • 代码示例（使用 Python 和 pandas 库检查销售数据库数据源）：
python 复制代码 
import pandas as pd
import psycopg2

# 连接到销售数据库
conn_sales = psycopg2.connect(database='sales_database', user='your_user', password='your_password', host='your_host', port='your_port')

# 执行 SQL 查询提取销售数据
sql_query_sales = "SELECT * FROM sales_table"
sales_data = pd.read_sql(sql_query_sales, conn_sales)

# 检查行数和列数
assert len(sales_data) > 0
assert len(sales_data.columns) == expected_column_count_sales

# 抽样检查数据准确性
sample_sales_data = sales_data.sample(n=10)
for index, row in sample_sales_data.iterrows():
    # 根据具体业务逻辑进行数据准确性验证
    assert row['sales_amount'] > 0

# 关闭数据库连接
conn_sales.close()

2. 提取过程测试

  • 目的：验证数据提取的正确性。
  • 方法 ：
    • 检查提取的数据是否与源数据一致。可以通过比较提取前后的数据行数、列数和关键字段的值来验证。
    • 验证提取的数据是否完整，没有丢失数据。例如，对于商品销量数据，确保所有的销售记录都被提取出来。
    • 测试提取过程的性能，确保在合理的时间内完成提取。可以使用时间测量工具来记录提取过程的时间，并与性能要求进行比较。
  • 代码示例（假设从销售数据库和库存数据库提取数据到 DataFrame）：
python 复制代码 
import pandas as pd
import psycopg2

# 连接到销售数据库和库存数据库
conn_sales = psycopg2.connect(database='sales_database', user='your_user', password='your_password', host='your_host', port='your_port')
conn_inventory = psycopg2.connect(database='inventory_database', user='your_user', password='your_password', host='your_host', port='your_port')

# 执行 SQL 查询提取销售数据和库存数据
sql_query_sales = "SELECT * FROM sales_table"
sql_query_inventory = "SELECT * FROM inventory_table"
extracted_sales_data = pd.read_sql(sql_query_sales, conn_sales)
extracted_inventory_data = pd.read_sql(sql_query_inventory, conn_inventory)

# 验证提取的数据行数与预期一致
assert len(extracted_sales_data) == expected_row_count_sales
assert len(extracted_inventory_data) == expected_row_count_inventory

# 关闭数据库连接
conn_sales.close()
conn_inventory.close()

3. 转换过程测试

  • 目的：确保数据转换的正确性和有效性。
  • 方法 ：
    • 编写单元测试来验证转换函数的正确性。例如，对于商品销量数据，可能需要将销售金额转换为特定的货币格式，或者计算商品的销售增长率等。
    • 对比转换前后的数据，验证转换逻辑是否正确。可以通过检查关键字段的值、数据类型等方面来进行验证。
    • 测试转换过程的性能，确保不会过度消耗资源。可以使用性能测试工具来测量转换过程的时间和资源使用情况。
  • 代码示例（假设转换函数将销售金额转换为特定货币格式）：
python 复制代码 
def convert_sales_amount(amount):
    # 将销售金额转换为特定货币格式
    return f'${amount:.2f}'

# 单元测试
def test_convert_sales_amount():
    assert convert_sales_amount(100.5) == '$100.50'
    assert convert_sales_amount(50.75) == '$50.75'

4. 加载过程测试

  • 目的：验证数据加载到目标存储的正确性。
  • 方法 ：
    • 检查加载后的数据是否与转换后的数据一致。可以通过比较加载前后的数据行数、列数和关键字段的值来验证。
    • 验证目标存储中的数据完整性和准确性。例如，对于商品销量数据加载到数据仓库中，可以检查数据仓库中的表结构是否正确，数据是否完整地加载到相应的表中。
    • 测试加载过程的性能，确保在合理的时间内完成加载。可以使用时间测量工具来记录加载过程的时间，并与性能要求进行比较。
  • 代码示例（假设将转换后的数据加载到数据仓库中的表）：
python 复制代码 
import pandas as pd
import psycopg2

# 转换后的数据
transformed_data = pd.DataFrame({'product_id': [1, 2, 3], 'sales_amount': ['$100.50', '$50.75', '$75.25']})

# 连接到数据仓库
conn_datawarehouse = psycopg2.connect(database='datawarehouse_database', user='your_user', password='your_password', host='your_host', port='your_port')

# 将数据加载到数据仓库中的表
cursor = conn_datawarehouse.cursor()
for index, row in transformed_data.iterrows():
    sql_insert = "INSERT INTO sales_table_in_datawarehouse (product_id, sales_amount) VALUES (%s, %s)"
    cursor.execute(sql_insert, (row['product_id'], row['sales_amount']))

conn_datawarehouse.commit()
cursor.close()
conn_datawarehouse.close()

# 验证加载后的数据
conn_verify = psycopg2.connect(database='datawarehouse_database', user='your_user', password='your_password', host='your_host', port='your_port')
sql_verify = "SELECT * FROM sales_table_in_datawarehouse"
loaded_data = pd.read_sql(sql_verify, conn_verify)

assert len(loaded_data) == len(transformed_data)

for index, row in loaded_data.iterrows():
    assert row['product_id'] == transformed_data.iloc[index]['product_id']
    assert row['sales_amount'] == transformed_data.iloc[index]['sales_amount']

conn_verify.close()

5. 端到端测试

  • 目的：验证整个 ETL 流程的正确性。
  • 方法 ：
    • 运行完整的 ETL 流程，从数据源提取数据，经过转换，最后加载到目标存储。
    • 对比源数据和加载到目标存储的数据，验证数据的准确性和完整性。对于商品销量数据，可以比较销售数据库中的原始销售记录和数据仓库中的销售数据，确保数据在整个 ETL 过程中没有丢失或被错误地转换。
  • 代码示例（假设使用一个脚本运行整个 ETL 流程，并进行端到端的数据验证）：
python 复制代码 
import etl_script

# 运行 ETL 流程
etl_script.run_etl()

# 验证端到端的数据一致性
source_sales_data = pd.read_sql("SELECT * FROM sales_table", conn_sales)
target_sales_data = pd.read_sql("SELECT * FROM sales_table_in_datawarehouse", conn_datawarehouse)

assert len(target_sales_data) == len(source_sales_data)

for index, row in source_sales_data.iterrows():
    # 根据具体业务逻辑验证数据一致性
    target_row = target_sales_data[target_sales_data['product_id'] == row['product_id']]
    assert target_row['sales_amount'].values[0] == convert_sales_amount(row['sales_amount'])

# 关闭数据库连接
conn_sales.close()
conn_datawarehouse.close()

三、性能测试

  1. 目的：确保 ETL 流程在合理的时间内完成，不会对系统性能造成过大的影响。
  2. 方法 ：
    • 使用性能测试工具或编写脚本来模拟大量数据的 ETL 过程，测量提取、转换和加载各个阶段的时间。例如，可以使用 Python 的 time 模块来测量每个阶段的执行时间。
    • 监控系统资源使用情况，如 CPU、内存、磁盘 I/O 等，确保不会出现资源瓶颈。可以使用系统监控工具来实时监测资源使用情况。
  3. 代码示例（使用 Python 的 time 模块测量 ETL 过程的时间，并监控资源使用情况）：
python 复制代码 
import time
import psutil
import etl_script

# 记录开始时间
start_time = time.time()

# 运行 ETL 流程
etl_script.run_etl()

# 记录结束时间
end_time = time.time()

elapsed_time = end_time - start_time
print(f"ETL process took {elapsed_time} seconds.")

# 监控系统资源使用情况
cpu_usage = psutil.cpu_percent()
memory_usage = psutil.virtual_memory().percent
disk_io = psutil.disk_io_counters()

print(f"CPU usage: {cpu_usage}%")
print(f"Memory usage: {memory_usage}%")
print(f"Disk I/O: {disk_io}")

四、数据质量测试

  1. 目的：确保数据满足质量要求，如准确性、完整性、一致性等。
  2. 方法 ：
    • 定义数据质量规则，例如数据值的范围、数据格式、必填字段等。对于商品销量数据，可以定义销售金额必须大于零，销售数量必须是整数，商品 ID 不能为空等规则。
    • 使用数据质量工具或编写脚本来检查数据是否符合质量规则。可以使用 Python 的数据验证库或自定义的验证函数来检查数据质量。
    • 对不符合质量规则的数据进行记录和报告，以便进行进一步的调查和修复。可以将不符合质量规则的数据写入日志文件或发送电子邮件通知相关人员。
  3. 代码示例（假设检查商品销量数据的质量）：
python 复制代码 
import pandas as pd

data = pd.read_sql("SELECT * FROM sales_table_in_datawarehouse", conn_datawarehouse)

for index, row in data.iterrows():
    # 检查销售金额是否大于零
    if row['sales_amount'] <= 0:
        print(f"Data quality issue: Sales amount is not greater than zero in row {index}.")
    # 检查销售数量是否是整数
    if not isinstance(row['quantity'], int):
        print(f"Data quality issue: Quantity is not an integer in row {index}.")
    # 检查商品 ID 是否为空
    if pd.isna(row['product_id']):
        print(f"Data quality issue: Product ID is null in row {index}.")

# 关闭数据库连接
conn_datawarehouse.close()

五、错误处理测试

  1. 目的：验证 ETL 流程在出现错误时能够正确处理并记录错误。
  2. 方法 ：
    • 模拟各种错误情况，如数据源不可用、数据格式错误、转换失败等。可以通过人为地制造错误条件，例如断开数据库连接、修改数据格式等方式来模拟错误情况。
    • 检查 ETL 流程是否能够捕获错误，并采取适当的措施，如记录错误日志、停止流程或进行重试。可以查看日志文件或使用调试工具来检查错误处理机制是否正常工作。
  3. 代码示例（假设模拟数据源不可用的情况）：
python 复制代码 
import etl_script

try:
    # 模拟数据源不可用
    raise ConnectionError("Data source unavailable.")
    etl_script.run_etl()
except Exception as e:
    print(f"Error in ETL process: {e}")
    # 检查是否正确记录了错误日志
    assert error_logged(e)

推荐阅读 ： 《大数据 ETL + Flume 数据清洗》

相关推荐
nbsaas-boot2 小时前
Java 正则表达式白皮书：语法详解、工程实践与常用表达式库
开发语言·python·mysql
仗剑_走天涯2 小时前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
chao_7892 小时前
二分查找篇——搜索旋转排序数组【LeetCode】两次二分查找
开发语言·数据结构·python·算法·leetcode
Edingbrugh.南空3 小时前
Flink自定义函数
大数据·flink
gaosushexiangji4 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
无级程序员6 小时前
大数据平台之ranger与ldap集成，同步用户和组
大数据·hadoop
chao_7896 小时前
二分查找篇——搜索旋转排序数组【LeetCode】一次二分查找
数据结构·python·算法·leetcode·二分查找
烛阴7 小时前
Python装饰器解除：如何让被装饰的函数重获自由？
前端·python
noravinsc7 小时前
django 一个表中包括id和parentid,如何通过parentid找到全部父爷id
python·django·sqlite
lifallen7 小时前
Paimon 原子提交实现
java·大数据·数据结构·数据库·后端·算法
热门推荐
01【无标题】02集群聊天服务器---MySQL数据库的建立03Coze扣子平台完整体验和实践（附国内和国际版对比）04深度神经网络训练过程与常见概念05KGG转MP3工具|非KGM文件|解密音频06扣子（coze）实战|我用扣子搭建了一个自动分析小红薯笔记内容的AI应用|详细步骤拆解07使用Ruby接入实时行情API教程08Java学习第十五部分——MyBatis09DeepSeek各版本说明与优缺点分析10Java类变量（静态变量）