实时数仓: Hudi 表管理、Flink 性能调优或治理工具脚本

1. Hudi 表管理

1.1 Hudi 表基础管理

创建 Hudi 表

在 HDFS 上创建一个 Hudi 表(以 Merge-on-Read 为例):

sql 复制代码
CREATE TABLE real_time_dw.dwd_order_fact (
    order_id STRING,
    user_id STRING,
    product_id STRING,
    amount DOUBLE,
    order_date STRING,
    update_time TIMESTAMP
)
PARTITIONED BY (order_date)
STORED AS PARQUET
TBLPROPERTIES (
    'type'='MERGE_ON_READ',
    'primaryKey'='order_id',
    'preCombineField'='update_time'
);
1.2 数据操作

插入/更新数据

利用 Hudi 写入工具(如 Spark)进行批量或实时插入更新:

python 复制代码
from pyspark.sql import SparkSession
from datetime import datetime

spark = SparkSession.builder \
    .appName("Hudi Example") \
    .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") \
    .getOrCreate()

# 加载数据
data = [
    {"order_id": "1", "user_id": "101", "product_id": "201", "amount": 99.99, "order_date": "2025-01-01", "update_time": datetime.now()},
    {"order_id": "2", "user_id": "102", "product_id": "202", "amount": 199.99, "order_date": "2025-01-01", "update_time": datetime.now()}
]
df = spark.createDataFrame(data)

# 写入 Hudi
hudi_options = {
    "hoodie.table.name": "dwd_order_fact",
    "hoodie.datasource.write.recordkey.field": "order_id",
    "hoodie.datasource.write.precombine.field": "update_time",
    "hoodie.datasource.write.partitionpath.field": "order_date",
    "hoodie.datasource.write.operation": "upsert",
    "hoodie.datasource.write.table.type": "MERGE_ON_READ",
    "hoodie.datasource.hive.sync.enable": "true",
    "hoodie.datasource.hive.database": "real_time_dw",
    "hoodie.datasource.hive.table": "dwd_order_fact",
    "hoodie.datasource.hive.partition_fields": "order_date"
}

df.write.format("hudi").options(**hudi_options).mode("append").save("hdfs://path/to/hudi/dwd_order_fact")
1.3 Hudi 表维护

表清理

  • 配置清理策略,清理过期版本:

    properties 复制代码
    hoodie.cleaner.commits.retained=10
    hoodie.cleaner.policy=KEEP_LATEST_COMMITS

    保留最近 10 个提交版本。

表压缩

  • 针对 MOR 表,定期运行 compaction 任务:

    bash 复制代码
    spark-submit --class org.apache.hudi.utilities.HoodieCompactor \
      --master yarn \
      --table-path hdfs://path/to/hudi/dwd_order_fact \
      --table-name dwd_order_fact

元数据管理

  • 更新 Hive 元数据:

    sql 复制代码
    MSCK REPAIR TABLE real_time_dw.dwd_order_fact;

2.1 Checkpoint 性能优化

增量 Checkpoint

启用 RocksDB 增量检查点,减少状态存储大小:

java 复制代码
env.getCheckpointConfig().enableIncrementalCheckpoints(true);

异步快照

减少 Checkpoint 对性能的影响:

java 复制代码
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
env.getCheckpointConfig().setCheckpointTimeout(60000); // 60秒超时
env.getCheckpointConfig().setPreferCheckpointForRecovery(true); // 优先使用Checkpoint恢复
2.2 Watermark 优化

如果数据有延迟,可以允许一定的 out-of-order 数据处理:

java 复制代码
WatermarkStrategy
    .forBoundedOutOfOrderness(Duration.ofSeconds(5)) // 最大延迟5秒
    .withTimestampAssigner((event, timestamp) -> event.getEventTime());
2.3 状态管理优化

状态后端选择

  • 优先选择 RocksDB 状态后端,支持更大的状态数据:

    java 复制代码
    env.setStateBackend(new RocksDBStateBackend("hdfs://path/to/checkpoints", true));

TTL(Time-to-Live)设置

  • 自动清理无用状态:

    java 复制代码
    stateDescriptor.enableTimeToLive(StateTtlConfig
        .newBuilder(Time.hours(1))
        .setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite)
        .build());
2.4 Task Slot 配置

根据并发优化 TaskManager:

  • 每个 TaskManager 提供更多 slots:

    bash 复制代码
    taskmanager.numberOfTaskSlots: 4

3. 治理工具脚本

3.1 数据质量治理(Great Expectations)

脚本自动化

以下 Python 脚本可以实现自动化数据校验(如字段非空和值域校验):

python 复制代码
from great_expectations.core.batch import BatchRequest
from great_expectations.data_context import DataContext

context = DataContext()

batch_request = BatchRequest(
    datasource_name="my_s3_datasource",
    data_connector_name="default_runtime_data_connector_name",
    data_asset_name="dwd_order_fact",
    runtime_parameters={"path": "s3://path/to/hudi/dwd_order_fact/"},
    batch_identifiers={"default_identifier_name": "2025-01-01"}
)

validator = context.get_validator(batch_request=batch_request)

# 非空校验
validator.expect_column_values_to_not_be_null("order_id")
# 值域校验
validator.expect_column_values_to_be_in_set("order_status", ["CREATED", "PAID", "SHIPPED", "CANCELLED"])
# 保存结果
validator.save_expectation_suite("order_fact_suite")

context.run_validation_operator(
    "action_list_operator",
    assets_to_validate=[validator]
)
3.2 数据权限管理(Apache Ranger)

策略 JSON 配置

以下为权限策略 JSON 文件的示例,适用于 Ranger API 批量添加策略:

json 复制代码
{
  "policyName": "dwd_order_fact_policy",
  "serviceType": "hive",
  "resources": {
    "database": {
      "values": ["real_time_dw"],
      "isExcludes": false,
      "isRecursive": false
    },
    "table": {
      "values": ["dwd_order_fact"],
      "isExcludes": false,
      "isRecursive": false
    }
  },
  "policyItems": [
    {
      "accesses": [{"type": "select", "isAllowed": true}],
      "users": ["bi_user"],
      "groups": ["BI_Group"]
    },
    {
      "accesses": [{"type": "select", "isAllowed": true}, {"type": "insert", "isAllowed": true}],
      "users": ["etl_user"],
      "groups": ["ETL_Team"]
    }
  ]
}

通过 Ranger REST API 部署该策略:

bash 复制代码
curl -u admin:admin -H "Content-Type: application/json" -X POST -d @policy.json http://<RANGER_HOST>:6080/service/public/v2/api/policy
3.3 数据血缘治理(Apache Atlas)

Flink 血缘注册脚本

通过 REST API 自动将 Flink 作业的输入输出血缘关系上传到 Atlas:

bash 复制代码
curl -X POST http://<ATLAS_HOST>:21000/api/atlas/v2/entity \
-H "Content-Type: application/json" \
-d '{
  "entity": {
    "typeName": "process",
    "attributes": {
      "name": "flink_order_job",
      "inputs": [
        {"typeName": "kafka_topic", "uniqueAttributes": {"qualifiedName": "order_topic"}}
      ],
      "outputs": [
        {"typeName": "hdfs_path", "uniqueAttributes": {"qualifiedName": "hdfs://path/to/hudi/dwd_order_fact"}}
      ]
    }
  }
}'

相关推荐
海豚调度19 分钟前
(二)一文读懂数仓设计的核心规范:从层次、类型到生命周期
大数据·数仓·技术规范
在未来等你19 分钟前
Elasticsearch面试精讲 Day 15:索引别名与零停机更新
大数据·分布式·elasticsearch·搜索引擎·面试
IT研究室1 小时前
大数据毕业设计选题推荐-基于大数据的国内旅游景点游客数据分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
Lx3521 小时前
YARN资源调度优化:最大化集群利用率
大数据·hadoop
智能化咨询2 小时前
【56页PPT】数字化智能工厂总体设计SRMWCSWMSMES&EMS系统建设方案(附下载方式)
大数据·云计算
在未来等你2 小时前
Elasticsearch面试精讲 Day 12:数据建模与字段类型选择
大数据·分布式·elasticsearch·搜索引擎·面试
Leo.yuan2 小时前
不同数据仓库模型有什么不同?企业如何选择适合的数据仓库模型?
大数据·数据库·数据仓库·信息可视化·spark
chat2tomorrow2 小时前
数据采集平台的起源与演进:从ETL到数据复制
大数据·数据库·数据仓库·mysql·低代码·postgresql·etl
TDengine (老段)3 小时前
TDengine 选择函数 Max() 用户手册
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
乐迪信息3 小时前
乐迪信息:AI摄像机在智慧煤矿人员安全与行为识别中的技术应用
大数据·人工智能·算法·安全·视觉检测