Kafka

打开jps

创建topic: kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --topic test1 --partitions 3 --replication-factor 3

查看所有的topic kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181

查看某个topic的详细信息

kafka-topics.sh --describe --zookeeper node01:2181,node02:2181,node03:2181 --topic test1

删除topic: kafka-topics.sh --delete --zookeeper node01:2181,node02:2181,node03:2181 --topic test1

消费数据

Kafka和其他组件的整合

配置文件

|----------------------------------------------------------------------------------------------------------------------------------------------------|
| **kafka中创建topic:**kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --topic testTopic --partitions 3 --replication-factor 3 |
| 启动flume: |
| flume-ng agent -c /opt/software/flume/conf/ -f /opt/software/flume/conf/flume-kafka.conf -n a1 -Dflume.root.logger=INFO,console |
| 启动kafka消费者,验证数据写入成功 |
| kafka-console-consumer.sh --topic testTopic --bootstrap-server node01:9092,node02:9029,node03:9092 --from-beginning |

**启动Kafka生产者:**kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic testTopic

**启动Flume:**flume-ng agent -c /opt/software/flume/conf/ -f /opt/software/flume/conf/kafka-flume.conf -n a1 -Dflume.root.logger=INFO,console

代码

输入输出

相关推荐
IvanCodes1 天前
三、Spark 运行环境部署:全面掌握四种核心模式
大数据·分布式·spark
喻师傅2 天前
SparkSQL 子查询 IN/NOT IN 对 NULL 值的处理
大数据·spark
星星妳睡了吗3 天前
Spark DataFrame与数据源交互
大数据·分布式·spark
神仙别闹3 天前
基于Spark图计算的社会网络分析系统
大数据·分布式·spark
IvanCodes3 天前
二、Spark 开发环境搭建 IDEA + Maven 及 WordCount 案例实战
大数据·spark·scala
涤生大数据3 天前
从8h到40min的极致并行优化:Spark小数据集UDTF处理的深度实践与原理剖析
大数据·分布式·spark·涤生大数据
qq_463944864 天前
【Spark征服之路-3.7-Spark-SQL核心编程(六)】
sql·ajax·spark
青云交5 天前
Java 大视界 -- 基于 Java 的大数据分布式计算在地球物理勘探数据处理与地质结构建模中的应用(356)
java·大数据·spark·地质建模·分布式计算·地球物理勘探·地震数据处理
qq_463944865 天前
【Spark征服之路-3.6-Spark-SQL核心编程(五)】
sql·ajax·spark
淦暴尼9 天前
基于spark的二手房数据分析可视化系统
大数据·分布式·数据分析·spark