Kafka 命令行操作与 Spark-Streaming 核心编程总结

一、Kafka 命令行操作详解

1.创建 Topic

命令格式:

kafka-topics.sh --create --zookeeper <zk节点列表> --topic <主题名> --partitions <分区数> --replication-factor <副本数>

参数说明:

分区数(partitions):必须指定,决定数据分片存储的并行度。

副本数(replication-factor):必须指定,不能超过 Broker 节点总数,用于数据冗余和高可用。

数据存储:创建后在 Kafka 数据目录生成以主题名-分区编号命名的文件夹(如test1-0)。

2.查看所有 Topic

命令:

kafka-topics.sh --list --zookeeper <zk节点列表>

3.查看 Topic 详细信息

命令:

bash

kafka-topics.sh --describe --zookeeper <zk节点列表> --topic <主题名>

ISR(In-Sync Replicas):与 Leader 同步的副本,可提供服务。

AR(Assigned Replicas):分区的所有副本。

4.删除 Topic

命令:

kafka-topics.sh --delete --zookeeper <zk节点列表> --topic <主题名>

5.生产数据

命令格式:

kafka-console-producer.sh --broker-list <Broker节点列表> --topic <主题名>

说明:数据以追加日志形式写入分区,每条数据仅存在于一个分区,但所有副本均存储数据。

6.消费数据

默认从最新位置消费:

kafka-console-consumer.sh --topic <主题名> --bootstrap-server <Broker节点列表>

从头开始消费:

kafka-console-consumer.sh --topic <主题名> --bootstrap-server <Broker节点列表> --from-beginning

指定消费组(Group ID):

kafka-console-consumer.sh --topic <主题名> --bootstrap-server <Broker节点列表> --consumer-property group.id=<组名>

特性:同一 Topic 的数据只能被同一 Group ID 的 Consumer 消费一次(通过偏移量记录消费进度)。

二、Spark-Streaming 核心编程:Kafka 数据源集成

1.Receiver API 与 Direct API 对比

Receiver API:

需要专用 Executor 接收数据,可能因接收与计算速度不匹配导致内存溢出,适用于早期版本。

Direct API(推荐):

计算 Executor 主动拉取 Kafka 数据,速度可控,适用于 Kafka 0.10 + 版本。

2.Kafka 0-10 Direct 模式实现步骤

(1)打开虚拟机zookpeer与kafka集群

(2)导入依赖

(3)编写代码

(4) 开启Kafka生产者,产生数据

kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic kafka

(5)运行程序,接收Kafka生产的数据并进行相应处理

(6)查看消费进度

相关推荐
工程师0071 小时前
C#多线程,同步与异步详解
开发语言·c#·多线程·同步·异步编程
小乖兽技术3 小时前
在 .NET 中使用 Base64 时容易踩的坑总结
开发语言·c#·.net
sunxunyong7 小时前
kafka开启Kerberos使用方式
分布式·kafka·linq
小乖兽技术7 小时前
C#与C++交互开发系列(二十六):构建跨语言共享缓存,实现键值对读写与数据同步(实践方案)
c++·c#·交互
张人玉9 小时前
c#Lambda 表达式与事件核心知识点整理
开发语言·python·c#
SkyrimCitadelValinor17 小时前
c#中让图片显示清晰
开发语言·c#
爱吃香蕉的阿豪17 小时前
SignalR 全解析:核心原理、适用场景与 Vue + .NET Core 实战
vue.js·microsoft·c#·.netcore·signalr
@蓝莓果粒茶20 小时前
LeetCode第350题_两个数组的交集II
c++·python·学习·算法·leetcode·职场和发展·c#
angushine21 小时前
logstash采集springboot微服务日志
spring boot·微服务·linq
1 天前
3D碰撞检测系统 基于SAT算法+Burst优化(Unity)
算法·3d·unity·c#·游戏引擎·sat