第二部分:数据生成==》采集==》分析==》迁移

一、启动hadoop、zookeeper、kafka

二、修改数据时间

三、将mysql中ad数据库中的各个表的数据写入到HDFS

四、将日志数据导入到HDFS中

1.第一台节点中

复制代码
cd /opt/module/flume/
bin/flume-ng agent --conf conf/ --name a1 -conf-file job/ad_log_to_kafka.conf -Dflume.root.logger=INFO,console

2.第二台节点中

复制代码
cd /opt/module/kafka/
bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic ad_log

3.第三台节点中

复制代码
cd /opt/module/flume/
bin/flume-ng agent --conf conf/ --name a1 -conf-file job/ad_Kafka_to_hdfs.conf -Dflume.root.logger=INFO,console

4.再开一台第一台节点

复制代码
cd /opt/module/bin/
./log.sh all 2026-06-22

查看HDFS中,数据是否上传

五、第一台节点中

http://第一台节点IP地址:12345/dolphinscheduler

账号 :admin

密码:dolphinscheduler123

操作后数据从hive中迁移到clickhouse。

1、第一台节点启动clickhouse

复制代码
 clickhouse-client  -m

show databases;
use ad_report;
show tables;
select * from dwd_ad_event_inc

可以看到清洗后的数据

相关推荐
大大大大晴天3 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云4 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏5 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata6 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒6 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
回眸&啤酒鸭8 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
伞伞悦读9 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
金融小师妹14 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
TDengine (老段)1 天前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
bksczm1 天前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql