一百六十八、Kettle——用海豚调度器定时调度从Kafka到HDFS的任务脚本(持续更新追踪、持续完善)

一、目的

在实际项目中,从Kafka到HDFS的数据是每天自动生成一个文件,按日期区分。而且Kafka在不断生产数据,因此看看kettle是不是需要时刻运行?能不能按照每日自动生成数据文件?

为了测试实际项目中的海豚定时调度从Kafka到HDFS的kettle任务情况,特地提前跑一下海豚定时调度这个任务,看看到底什么情况。

二、海豚调度任务配置

(一)SHELL脚本配置

#!/bin/bash

source /etc/profile

/opt/install/kettle9.2/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/kafka_to_hdfs/ -trans=04_Kafka_to_HDFS_turnratio level=Basic >>/home/log/kettle/04_Kafka_to_HDFS_turnratio_`date +%Y%m%d`.log

(二)定时任务设置

定时任务设置为每天的零点,零点一到开始执行任务

(三)最后工作流情况

三、启动后追踪每天HDFS文件的情况

(一)启动工作流

工作流启动,成功!工作流一直在跑

相应的任务实例也在跑!

(二)每天HDFS情况

1、第一天为2023/8/30日

由于第一天开始执行任务,因此自动生成2023/08/30的HDFS文件

2、第二天为2023/8/31日

第二天的海豚任务自动调度,自动生成2023/08/31的HDFS文件

但问题是,除了再跑31日的任务外,30日的任务还在跑,可能是定时配置有问题,需要优化

而且这样搞容易把kettle搞出问题!

相关推荐
AD钙奶-lalala31 分钟前
RabbitMQ在Mac OS上的安装和启动
分布式·rabbitmq
七夜zippoe6 小时前
事务方案选型全景图:金融与电商场景的实战差异与落地指南
java·分布式·事务
潮落拾贝10 小时前
k8s部署kafka三节点集群
容器·kafka·kubernetes
在未来等你10 小时前
Kafka面试精讲 Day 12:副本同步与数据一致性
大数据·分布式·面试·kafka·消息队列
蒋士峰DBA修行之路12 小时前
实验九 合理定义分布列实现性能优化-分布式聚集
分布式
echoyu.13 小时前
消息队列-kafka完结
java·分布式·kafka
七夜zippoe13 小时前
分布式事务性能优化:从故障现场到方案落地的实战手记(二)
java·分布式·性能优化
庄小焱14 小时前
大数据存储域——Kafka设计原理
大数据·kafka·消息中间件
阿萨德528号15 小时前
Kafka 与 RocketMQ 核心概念与架构对比
架构·kafka·rocketmq
胚芽鞘68116 小时前
我对rabbitmq的理解(第一次)
分布式·rabbitmq