Kafka介绍、安装以及操作

Libra_972024-05-02 19:30

Kafka消息中间件

1.Kafka介绍

1.1 What is Kafka？

  • 官网： https://kafka.apache.org/
  • 超过 80% 的财富 100 强公司信任并使用 Kafka ；
  • Apache Kafka 是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序；

1.2 谁在使用Kafka？

1.3 Kafka的起源

  • kafka 最初由 LinkedIn （领英：全球最大的面向职场人士的社交网站）设计开发的，是为了解决 LinkedIn 的数据管道问题，用于 LinkedIn 网站的活动流数据和运营数据处理工具；

    • 活动流数据：页面访问量、被查看页面内容方面的信息以及搜索情况等内容；

    • 运营数据：服务器的性能数据（ CPU 、 IO 使用率、请求时间、服务日志等数据 ) ；

  • 刚开始 LinkedIn 采用的是 ActiveMQ 来进行数据交换，大约在 2010 年前后，那时的ActiveMQ 还远远无法满足 LinkedIn 对数据交换传输的要求，经常由于各种缺陷而导致消息阻塞或者服务无法正常访问，为了解决这个问题， LinkedIn 决定研发自己的消息传递系统，当时 LinkedIn 的首席架构师 jay kreps 便开始组织团队进行消息传递系统的研发；

1.4 Kafka名字的由来

  • 由于 Kafka 的架构师 jay kreps 非常喜欢 franz kafka ( 弗兰茨 · 卡夫卡 ) （是奥匈帝国一位使用德语的小说家和短篇犹太人故事家，被评论家们认为是 20 世纪作家中最具影响力的一位） , 并且觉得 Kafka 这个名字很酷，因此把这一款消息传递系统取名为 Kafka ；
  • 大师门取名字也是根据自己的喜好来取名，在我们看来有可能感觉很随意！

1.5 Kafka的发展历史

2010 年底， Kafka 在 Github 上开源，初始版本为 0.7.0 ；

2011 年 7 月，因为备受关注，被纳入 Apache 孵化器项目；

2012 年 10 月， Kafka 从 Apache 孵化器项目毕业，成为 Apache 顶级项目；

2014 年， jay kreps 离开 LinkedIn ，成立 confluent 公司，此后 LinkedIn 和 confluent成为 kafka 的核心代码贡献组织，致力于 Kafka 的版本迭代升级和推广应用；

1.6 Kafka版本迭代

Kafka 前期项目版本似乎有点凌乱， Kafka 在 1.x 之前的版本，是采用 4 位版本号；

比如： 0.8.2.2 、 0.9.0.1 、 0.10.0.0... 等等；

在 1.x 之后， kafka 采用 Major.Minor.Patch 三位版本号；

Major 表示大版本，通常是一些重大改变，因此彼此之间功能可能会不兼容；

Minor 表示小版本，通常是一些新功能的增加；

Patch 表示修订版，主要为修复一些重点 Bug 而发布的版本 ;

比如： Kafka 2.1.3 ，大版本就是 2 ，小版本是 1 ， Patch 版本为 3 ，是为修复 Bug 发布的第 3 个版本；

Kafka 总共发布了 8 个大版本，分别是 0.7.x 、 0.8.x 、 0.9.x 、 0.10.x 、 0.11.x 、 1.x 、 2.x 及 3.x版本，截止目前，最新版本是 Kafka 3.7.0 ，也是最新稳定版本；

2.Kafka安装

2.1 Kafka运行环境前置要求

Kafka 是由 Scala 语言编写而成， Scala 运行在 Java 虚拟机上，并兼容现有的 Java 程序，因此部署 Kakfa 的时候，需要先安装 JDK 环境；

Kafka 源码 : https://github.com/apache/kafka

Scala 官网： https://www.scala-lang.org/

本地环境必须安装了 Java 8+ ；（ Java8 、 Java11 、 Java17 、 Java21 都可以）；

JDK 长期支持版： https://www.oracle.com/java/technologies/java-se-support-roadmap.html

2.2 Kafka运行环境jdk安装

  1. 下载 JDK ： https://www.oracle.com/java/technologies/downloads/#java17

  2. 解压缩： tar -zxvf jdk-17_linux-x64_bin.tar.gz -C /usr/local

    切换到/usr/local目录下

  3. 配置 JDK 环境变量：

    1. vim /etc/profile

      tex 复制代码 
      export JAVA_HOME=/usr/local/jdk-17.0.10
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/

    2. 使用source命令对修改的配置进行生效

      tex 复制代码 
      source /etc/profile

    3. 查看java版本

2.3 Kafka的下载和安装

  • 获取Kafka

  • 安装Kafka

    • tar -xzf kafka_2.13-3.7.0.tgz -C /usr/local/
    • cd /usr/local/kafka_2.13-3.7.0

  • 启动运行Kafka

    • 启动 Kafka 环境
      注意：本地环境必须安装了 Java 8+ ；
      Apache Kafka 可以使用 ZooKeeper 或 KRaft 启动；但只能使用其中一种方式，不能同时使用；
      KRaft ： Apache Kafka 的内置共识机制，用于取代 Apache ZooKeeper ；
    • Kafka 启动使用 Zookeeper &表示后台运行
      1 、启动 zookeeper ： ./zookeeper-server-start.sh .../config/zookeeper.properties &
      2 、启动 kafka ： ./kafka-server-start.sh .../config/server.properties &
      3 、关闭 Kafka ： ./kafka-server-stop.sh .../config/server.properties
      4 、关闭 zookeeper: ./zookeeper-server-stop.sh .../config/zookeeper.properties

2.4 Zookeeper的下载和安装

2.4.1 获取zookeeper

下载最新版本的 Zookeeper ： https://zookeeper.apache.org/

安装 Zookeeper

将下载的zookeeper传输到linux中

将zookeeper解压到/usr/local目录下

tar -xzf apache-zookeeper-3.9.2-bin.tar.gz -C /usr/local/

cd apache-zookeeper-3.9.2-bin

2.4.2 Zookeeper的配置和启动

  • 配置Zookeeper 到conf目录中复制配置文件

    • cp zoo_sample.cfg zoo.cfg
    • zoo.cfg 不需要修改，直接使用即可

  • 启动Zookeeper

    • 启动：zkServer.sh start

      发现zookeeper启动会占用3个端口

    • 关闭：zkServer.sh stop

    • zookeeper启动默认会占用8080端口，修改配置文件，添加如下配置

      cd conf

      vim zoof.cfg

      admin.serverPort=9089

      重启zookeeper

2.4.3 使用独立的zookeeper启动Kafka

  1. 启动zookeeper

  2. 启动Kafka

    • ./kafka-server-start.sh .../config/server.properties &

2.4 使用KRaft启动运行Kafka

2.4.1 Kafka启动使用KRaft

  • 生成Cluster UUID（集群UUID）： ./kafka-storage.sh random-uuid

    ​ 每次返回的uuid不一样

  • 格式化日志目录： ./kafka-storage.sh format -t sYhr2IwpRGisfAtnHTaSrg -c .../config/kraft/server.properties（-t 后面是uuid）

  • 启动Kafka（先将kafka和zookeeper服务停止）：./kafka-server-start.sh .../config/kraft/server.properties &

  • 关闭Kafka：./kafka-server-stop.sh .../config/kraft/server.properties

2.5 使用docker启动运行Kafka

2.5.1 docker安装

安装前查看系统是否已经安装了 Docker ：

yum list installed | grep docker

卸载 Docker(-y参数 自动确认的意思 remove后面是已安装列表中的名字) ：

yum remove docker.x86_64 -y

yum remove docker-client.x86_64 -y

yum remove docker-common.x86_64 -y

安装 Docker ：

yum install docker -y

注：这种方式安装的 Docker 版本比较旧；（查看版本： docker -v ）

安装最新版的 Docker(须先删除老版docker) ：

1 、 yum install yum-utils -y

2 、 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

3 、 yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y

查看是否安装成功：

查看 docker 版本： docker --version （ docker version ， docker -v ）

2.5.2 docker启动

​ 启动： systemctl start docker 或者 service docker start

​ 停止： systemctl stop docker 或者 service docker stop

​ 重启： systemctl restart docker 或者 service docker restart

​ 检查 Docker 进程的运行状态： systemctl status docker 或者 service docker status

​ 查看 docker 进程： ps -ef | grep docker

​ 查看 docker 系统信息： docker info

​ 查看所有的帮助信息： docker --help

​ 查看某个 commond 命令的帮助信息： docker commond --help
使用 Docker 镜像启动

1 、拉取 Kafka 镜像： docker pull apache/kafka:3.7.0

2 、启动 Kafka 容器(须先把虚拟机的Kafka停止)： docker run -p 9092:9092 apache/kafka:3.7.0

查看已安装的镜像： docker images

删除镜像： docker rmi apache/kafka:3.7.0

3.Kafka操作

3.1 创建主题Topic

3.1.1 使用Kafka之前，第一件事情是必须创建一个主题（topic）

  • 主题（Topic）类似于文件系统中的文件夹；

  • 主题（Topic）用于存储事件（Events）

    • 事件（Events）
    • 也称为记录或消息，比如支付交易、手机地理位置更新、运输订单、物联网设备或医疗设备的传感器测量数据等等都是事件（ Events ）；
    • 事件（ Events ）被组织和存储在主题（ Topic ）中
    • 简单来说，主题（ Topic ）类似于文件系统中的文件夹，事件（ Events ）是该文件夹中的文件；

  • 创建主题使用：kafka-topics.sh脚本；

    • 不带任何参数回告知该脚本如何使用：./kafka-topics.sh

    • 创建主题：./kafka-topics.sh --create --topic hello --bootstrap-server localhost:9092

    • 列出所有的主题：./kafka-topics.sh --list --bootstrap-server localhost:9092

    • 删除主题：./kafka-topics.sh --delete --topic hello --bootstrap-server localhost:9092

    • 显示主题详细信息：./kafka-topics.sh --describe --topic hello --bootstrap-server localhost:9092

    • 修改主题信息：./kafka-topics.sh --alter --topic hello --partitions 3 --bootstrap-server localhost:9092

3.2 在主题（Topic）中写入一些事件(Events)

  • Kafka客户端通过网络与Kafka Brokers进行通信，可以写（或读）主题Topic中的事件Events;

  • Kafka brokers一旦受到事件Event，

  • 就会将事件 Event 以持久和容错的方式存储起来，可以永久地

    存储；

  • 通过 kafka-console-producer.sh 脚本工具写入事件 Events ；

    • 不带任何参数会告知该脚本如何使用： ./kafka-console-producer.sh
    • ./kafka-console-producer.sh --topic hello --bootstrap-server localhost:9092
    • 每一次换行是一个事件 Event ；
    • 使用 Ctrl+C 退出，停止发送事件 Event 到主题 Topic ；

3.3 从主题（Topic）中读取事件（Events）

  • 使用 kafka-console-consumer.sh 消费者客户端读取之前写入的事件 Event ：
    • 不带任何参数会告知该脚本如何使用： ./kafka-console-consumer.sh
    • ./kafka-console-consumer.sh --topic hello --from-beginning --bootstrap-server localhost:9092
    • --from-beginning 表示从 kafka 最早的消息开始消费 不加表示读取最新消息
    • 使用 Ctrl+C 停止消费者客户端；
  • 事件 Events 是持久存储在 Kafka 中的，所以它们可以被任意多次读取；

3.4 外部环境连接Kafka

  1. 启动 Kafka 容器： docker run -p 9092:9092 apache/kafka:3.7.0 &
  2. 安装外部连接工具；
  3. 外部连接工具连接 Kafka ；
3.4.1 外部环境无法连接Kafka
3.4.1.1 复制docker中kafka的配置文件到linux中
  • 文件输入：提供一个本地 kafka 属性配置文件，替换 docker 容器中的默认配置文件；
  • cd /usr/local
  • mkdir docker
  • docker ps
  • docker run -p 9092:9092 apache/kafka:3.7.0
  • docker exec -it 容器 id /bin/bash
  • 把 docker 容器中的文件复制到 linux 中：
    • docker cp 容器id:/etc/kafka/docker/server.properties /user/local/docker
3.4.1.2 修改linux的配置文件和文件映射
  • 配置文件： server.properties
  • listeners=PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093
  • advertised.listeners=PLAINTEXT://虚拟机ip:9092
    • advertise 的含义表示宣称的、公布的， Kafka 服务对外开放的 IP 和端口 ;
  • 文件映射： docker run --volume /usr/local/kafka_2.13-3.7.0/docker:/mnt/shared/config -p 9092:9092 apache/kafka:3.7.0
3.4.1.3 测试连接

创建topic

shell 复制代码 
./kafka-topics.sh --create --topic hello --bootstrap-server localhost:9092

idea使用kafka插件进行连接

3.5 Kafka图形界面连接工具

3.5.1 CMAK（以前叫 Kafka Manager ）

  • 一个 web 后台管理系统，可以管理 kafka ；

  • 项目地址： https://github.com/yahoo/CMAK

  • 注意该管控台运行需要 JDK11 版本的支持；

  • 下载： https://github.com/yahoo/CMAK/releases

  • 下载下来是一个 zip 压缩包，直接 unzip 解压：

  • unzip cmak-3.0.0.6.zip

  • 解压后即完成了安装；

  • 基于 zookeeper 方式启动 kafka 才可以使用该 web 管理后台，否则不行；

    • 1 、 CMAK 配置：
      • 修改 conf 目录下的 application.conf 配置文件：
      • kafka-manager.zkhosts="192.168.11.128:2181"
      • cmak.zkhosts="192.168.11.128:2181"
    • 2 、 CMAK 启动：
      • 切换到 bin 目录下执行：
      • ./cmak -Dconfig.file=.../conf/application.conf -java-home /usr/local/jdk-11.0.22
      • 其中 -Dconfig.file 是指定配置文件， -java-home 是指定 jdk11 所在位置，如果机器上已经是 jdk11 ，则不需要指定；
    • 3 、 CMAK 访问：
3.5.2 EFAK （以前叫 kafka-eagle ）
相关推荐
java1234_小锋7 小时前
讲讲RabbitMQ 性能优化
kafka
码农爱java14 小时前
Kafka 之消息并发消费
spring boot·微服务·kafka·mq·消息中间件·并发消费
Mephisto.java18 小时前
【大数据学习 | kafka高级部分】kafka的快速读写
大数据·redis·sql·kafka·flume
Mephisto.java20 小时前
【大数据学习 | kafka高级部分】文件清除原理
大数据·hadoop·zookeeper·spark·kafka·hbase·flume
0_1_bits1 天前
【系统设计】高效的分布式系统：使用 Spring Boot 和 Kafka 实现 Saga 模式
spring boot·后端·云原生·架构·kafka·linq
不想睡觉的橘子君1 天前
【MQ】RabbitMQ、RocketMQ、kafka特性对比
kafka·rabbitmq·rocketmq
码农爱java2 天前
Kafka 之顺序消息
spring boot·分布式·微服务·kafka·mq·消息中间件·顺序消息
孤蓬&听雨2 天前
Kafka自动生产消息软件(自动化测试Kafka)
分布式·kafka·自动化·测试·生产者
Mephisto.java2 天前
【大数据学习 | kafka】producer之拦截器，序列化器与分区器
大数据·学习·kafka
mpb2 天前
centos7 kafka高可用集群安装及测试
kafka
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10红米手机使用google play