kafka入门

简介:

Kafka是一个由Apache软件基金会开发的开源流式数据处理平台。它最初是LinkedIn开发的分布式发布/订阅消息系统,用于处理大规模的实时数据。Kafka具有高吞吐量、可持久化存储、水平扩展性和容错性等特点,被广泛应用于日志收集、数据传输、指标收集等场景中。它提供了生产者和消费者API,以及流处理API,使得用户能够方便地构建实时数据处理应用程序。

Zookeeper:

ZooKeeper是一个由Apache软件基金会开发的开源分布式协调服务,用于管理和协调分布式应用程序。它提供了一个简单而健壮的接口,使得分布式应用程序能够在不同节点之间共享信息、同步状态和协调操作。ZooKeeper通常用于解决分布式系统中的一致性问题,例如选举算法、配置管理、命名服务等。它具有高可用性、强一致性和可靠性的特点,被广泛应用于诸如Hadoop、Kafka等分布式系统中作为基础设施来提供分布式协调服务。

注意:

启动Kafka的前提是启动Zookeeper

命令:

Zookeeper:

启动zookeeper

bin/zkServer.sh start

查看运行状态

bin/zkServer.sh start

关闭zookeeper

bin/zkServer.sh stop

Kafka:

启动kafka

前台启动: bin/kafka-server-start.sh config/server.properties

启动之后无法再输入其它命令

后台启动: bin/kafka-server-start.sh config/server.properties &

启动不打印日志,可以接着输入其它命令

关闭kafka

bin/kafka-server-stop.sh stop

查看当前服务器中的所有topic(话题 分类)

/opt/module/kafka/bin/kafka-topics.sh --zookeeper 192.168.231.131:2181 --list

创建topic

/opt/module/kafka/bin/kafka-topics.sh --zookeeper 192.168.47.129:2181 --create --replication-factor 1 --partitions 1 --topic gouwuche

选项说明:

-topic 定义topic名

--replication-factor 定义副本数

--partitions 定义分区数

3)删除topic

hadoop102 kafka\]$ bin/kafka-topics.sh --zookeeper 192.168.41.91:2181 --delete --topic (名字) first 需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。 4)**发送消息**(指定向哪台服务器发送) \[hadoop102 kafka\]$ /opt/module/kafka/bin/kafka-console-producer.sh --broker-list 192.168.231.131:9092 --topic lanqiu 5)**消费消息** \[hadoop103 kafka\]$ /opt/module/kafka/bin/kafka-console-consumer.sh --zookeeper 192.168.231.131:2181 --from-beginning --topic gouwuche --from-beginning:会把first主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。 6)**查看某个Topic的详情** \[hadoop102 kafka\]$ bin/kafka-topics.sh --zookeeper 192.168.41.91:2181 --describe --topic gouwuche **使用守护进程的方式启动** bin/kafka-server-start.sh -daemon config/server.properties

相关推荐
ByteBlossom29 分钟前
深入解析ZooKeeper核心机制与应用(下)
分布式·zookeeper
蒋星熠1 小时前
中间件架构设计与实践:构建高性能分布式系统的核心基石
开发语言·数据库·分布式·python·中间件·性能优化·硬件工程
何双新1 小时前
第7篇、Kafka Streams 与 Connect:企业级实时数据处理架构实践指南
架构·kafka·linq
在未来等你5 小时前
Elasticsearch面试精讲 Day 13:索引生命周期管理ILM
大数据·分布式·elasticsearch·搜索引擎·面试
roman_日积跬步-终至千里10 小时前
【系统架构设计(24)】大型网站系统架构演化:从单体到分布式的技术进阶之路
分布式·系统架构
Luminbox紫创测控12 小时前
稳态太阳光模拟器 | 多源分布式设计的要点有哪些?
分布式
WHFENGHE20 小时前
输电线路分布式故障监测装置技术解析
分布式
nightunderblackcat21 小时前
新手向:实现验证码程序
java·spring boot·spring·java-ee·kafka·maven·intellij-idea
a5876921 小时前
消息队列(MQ)高级特性深度剖析:详解RabbitMQ与Kafka
java·分布式·面试·kafka·rabbitmq·linq
hmb↑21 小时前
Kafka 3.9.x 安装、鉴权、配置详解
分布式·kafka·linq