Kafka命令行的使用/Spark-Streaming核心编程(二)

Kafka命令行的使用

创建 topic

kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --topic test1 --partitions 3 --replication-factor 3

分区数量,副本数量,都是必须的。

数据的形式:

主题名称-分区编号。

在Kafka的数据目录下查看。

设定副本数量,不能大于broker的数量。

2.2查看所有的topic

kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181

2.3查看某个topic的详细信息

kafka-topics.sh --describe --zookeeper node01:2181,node02:2181,node03:2181 --topic test1

ISR: In-Sync Replicas 可以提供服务的副本。

AR = ISR + OSR

2.4删除topic

kafka-topics.sh --delete --zookeeper node01:2181,node02:2181,node03:2181 --topic test1

2.5生产数据

kafka-console-producer.sh

指定broker

指定topic

写数据的命令:

kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test1

Spark-Streaming核心编程(二)

  1. 需求:通过 SparkStreaming 从 Kafka 读取数据,并将读取过来的数据做简单计算,最终打印到控制台。
  2. 导入依赖

<dependency >
<groupId >org.apache.spark</groupId >
<artifactId >spark-streaming-kafka-0-10_2.12</artifactId >
<version >3.0.0</version >
</dependency >

  1. 编写代码

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.kafka.clients.consumer.ConsumerRecord
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.spark.streaming.kafka010._
import org.apache.kafka.clients.consumer.ConsumerConfig
import org.apache.spark.streaming.dstream.{DStream, InputDStream}

object DirectAPI {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("direct")

val ssc = new StreamingContext(sparkConf, Seconds (3))

// 定义 Kafka 相关参数
val kafkaPara: Map[String, Object] = Map [String, Object](
ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG -> "node01:9092,node02:9092,node03:9092",
ConsumerConfig.GROUP_ID_CONFIG -> "kafka",
"key.deserializer" -> classOf [StringDeserializer],
"value.deserializer" -> classOf [StringDeserializer]
)

// 通过读取 Kafka 数据,创建 DStream
val kafkaDStream: InputDStream[ConsumerRecord[String, String]] = KafkaUtils.createDirectStream [String, String](
ssc,
LocationStrategies.PreferConsistent ,
ConsumerStrategies.Subscribe [String, String](Set ("kafka"), kafkaPara)
)

// 提取出数据中的 value 部分
val valueDStream: DStream[String] = kafkaDStream.map(record => record.value())

// wordCount 计算逻辑
valueDStream.flatMap(.split(" "))
.map((
, 1))
.reduceByKey(_ + _)
.print()

ssc.start()
ssc.awaitTermination()
}
}

  1. 开启Kafka集群
  1. 开启Kafka生产者,产生数据

kafka-console-producer.sh --broker-list node01:9092 ,node02:9092,node03:9092 --topic kafka

  1. 运行程序,接收Kafka生产的数据并进行相应处理

8)查看消费进度

kafka-consumer-groups.sh --describe --bootstrap-server node01:9092,node02:9092,node03:9092 --group kafka

相关推荐
软件黑马王子1 小时前
2025Unity超详细《坦克大战3D》项目实战案例(上篇)——UI搭建并使用和数据持久化(附资源和源代码)
游戏·ui·unity·c#
曲大家10 小时前
C#生成控笔视频,完整版
c#·绘图
ajassi200011 小时前
开源 C# 快速开发(三)复杂控件
开发语言·开源·c#
WangMing_X12 小时前
C#上位机软件:2.1 .NET项目解决方案的作用
开发语言·c#
励志成为糕手13 小时前
Kafka选举机制深度解析:分布式系统中的民主与效率
分布式·kafka·linq·controller·isr机制
Sammyyyyy15 小时前
Go与C# 谁才更能节省内存?
java·golang·c#
Dream achiever15 小时前
7.WPF 的 TextBox 和 TextBlock 控件
开发语言·c#·wpf
爱吃小胖橘15 小时前
Unity-动画子状态机
3d·unity·c#·游戏引擎
大飞pkz16 小时前
【设计模式】适配器模式
开发语言·设计模式·c#·适配器模式
大飞pkz16 小时前
【设计模式】外观模式
开发语言·设计模式·c#·外观模式