一百六十八、Kettle——用海豚调度器定时调度从Kafka到HDFS的任务脚本(持续更新追踪、持续完善)

一、目的

在实际项目中,从Kafka到HDFS的数据是每天自动生成一个文件,按日期区分。而且Kafka在不断生产数据,因此看看kettle是不是需要时刻运行?能不能按照每日自动生成数据文件?

为了测试实际项目中的海豚定时调度从Kafka到HDFS的kettle任务情况,特地提前跑一下海豚定时调度这个任务,看看到底什么情况。

二、海豚调度任务配置

(一)SHELL脚本配置

#!/bin/bash

source /etc/profile

/opt/install/kettle9.2/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/kafka_to_hdfs/ -trans=04_Kafka_to_HDFS_turnratio level=Basic >>/home/log/kettle/04_Kafka_to_HDFS_turnratio_`date +%Y%m%d`.log

(二)定时任务设置

定时任务设置为每天的零点,零点一到开始执行任务

(三)最后工作流情况

三、启动后追踪每天HDFS文件的情况

(一)启动工作流

工作流启动,成功!工作流一直在跑

相应的任务实例也在跑!

(二)每天HDFS情况

1、第一天为2023/8/30日

由于第一天开始执行任务,因此自动生成2023/08/30的HDFS文件

2、第二天为2023/8/31日

第二天的海豚任务自动调度,自动生成2023/08/31的HDFS文件

但问题是,除了再跑31日的任务外,30日的任务还在跑,可能是定时配置有问题,需要优化

而且这样搞容易把kettle搞出问题!

相关推荐
WannaRunning10 分钟前
可靠消息最终一致性分布式事务解决方案
分布式
remCoding1 小时前
Java全栈面试实录:从电商场景到AIGC的深度技术考察
spring boot·redis·spring cloud·ai·kafka·aigc·java面试
cts6182 小时前
Milvus分布式数据库工作职责
数据库·分布式·milvus
2401_831501733 小时前
Linux之Zabbix分布式监控篇(二)
数据库·分布式·zabbix
cui_win12 小时前
Kafka 配置参数详解:ZooKeeper 模式与 KRaft 模式对比
分布式·zookeeper·kafka
liux352814 小时前
Zabbix 分布式监控系统架构设计与优化
分布式·zabbix
cui_win16 小时前
深入理解 Kafka 核心:主题、分区与副本的协同机制
网络·分布式·kafka
淦暴尼16 小时前
基于spark的二手房数据分析可视化系统
大数据·分布式·数据分析·spark
黄雪超18 小时前
Kafka——无消息丢失配置怎么实现?
大数据·分布式·kafka
livemetee19 小时前
springboot 整合spring-kafka客户端:SASL_SSL+PLAINTEXT方式
spring boot·spring·kafka