2023_Spark_实验三十:测试Flume到Kafka

实验目的:测试Flume采集数据发送到Kafka

实验方法:通过centos7集群测试,将flume采集的数据放到kafka中

实验步骤:

一、 kafka可视化工具介绍

Kafka Tool是一个用于管理和使用Apache Kafka集群的GUI应用程序。 Kafka Tool提供了一个较为直观的UI可让用户快速查看Kafka集群中的对象以及存储在topic中的消息,提供了一些专门面向开发人员和管理员的功能,主要特性包括:

  • 快速查看所有Kafka集群信息,包括其brokers, topics and consumers

  • 查看分区中的消息内容并支持添加新消息

  • 查看消费者偏移量,支持查看Apache Storm Kafka Spout消费者偏移量

  • 以pretty-printed 格式显示JSON和XML消息

  • 添加和删除topic以及其他管理功能

  • 将单个消息从指定分区保存到本地硬盘驱动器

  • 支持用户编写自己的插件以查看自定义数据格式

  • 支持在Windows,Linux和Mac OS上运行

下载地址

这个软件的安装很简单,傻瓜式安装,直接下一步就可以,下载地址:Offset Explorer

下载并安装你对应的操作系统版本软件

二、启动zookeeper集群

bash 复制代码
zk.sh start  
# https://blog.csdn.net/pblh123/article/details/134730738  参考这个

三、启动kafka集群

bash 复制代码
kf.sh
# https://blog.csdn.net/pblh123/article/details/134730738  参考

通过kafkatools offset exploer 2.3 链接查看kafak

检查windows的hosts文件配置

四、启动flume

bash 复制代码
/opt/module/apache-flume-1.9.0-bin/bin/flume-ng agent -c conf -f /opt/module/apache-flume-1.9.0-bin/conf/kafka.conf -n a2 -Dflume.root.logger=INFO,console

五、启动消费者

bash 复制代码
# 创建kafka主题
/opt/module/kafka_2.12-3.0.0/bin/kafka-topics.sh --create --bootstrap-server hd1:9092 --replication-factor 3 --partitions 1 --topic RealDataTopic


# 启动消费者
/opt/module/kafka_2.12-3.0.0/bin/kafka-console-consumer.sh --bootstrap-server hd1:9092 --topic RealDataTopic --from-beginning

实验结果:flume采集数据到kafka链路跑通

相关推荐
深圳蔓延科技4 小时前
Kafka的高性能之路
后端·kafka
武子康12 小时前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
阿里云云原生1 天前
嘉银科技基于阿里云 Kafka Serverless 提升业务弹性能力,节省成本超过 20%
kafka·serverless
程序消消乐1 天前
Kafka 入门指南:从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka
智能化咨询1 天前
Kafka架构:构建高吞吐量分布式消息系统的艺术——进阶优化与行业实践
分布式·架构·kafka
Chasing__Dreams1 天前
kafka--基础知识点--5.2--最多一次、至少一次、精确一次
分布式·kafka
计算机毕业设计木哥2 天前
计算机毕设选题推荐:基于Java+SpringBoot物品租赁管理系统【源码+文档+调试】
java·vue.js·spring boot·mysql·spark·毕业设计·课程设计
IT毕设梦工厂2 天前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
大数据CLUB2 天前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发