Kafka介绍、安装以及操作

Libra_972024-05-02 19:30

Kafka消息中间件

1.Kafka介绍

1.1 What is Kafka？

  • 官网： https://kafka.apache.org/
  • 超过 80% 的财富 100 强公司信任并使用 Kafka ；
  • Apache Kafka 是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序；

1.2 谁在使用Kafka？

1.3 Kafka的起源

  • kafka 最初由 LinkedIn （领英：全球最大的面向职场人士的社交网站）设计开发的，是为了解决 LinkedIn 的数据管道问题，用于 LinkedIn 网站的活动流数据和运营数据处理工具；

    • 活动流数据：页面访问量、被查看页面内容方面的信息以及搜索情况等内容；

    • 运营数据：服务器的性能数据（ CPU 、 IO 使用率、请求时间、服务日志等数据 ) ；

  • 刚开始 LinkedIn 采用的是 ActiveMQ 来进行数据交换，大约在 2010 年前后，那时的ActiveMQ 还远远无法满足 LinkedIn 对数据交换传输的要求，经常由于各种缺陷而导致消息阻塞或者服务无法正常访问，为了解决这个问题， LinkedIn 决定研发自己的消息传递系统，当时 LinkedIn 的首席架构师 jay kreps 便开始组织团队进行消息传递系统的研发；

1.4 Kafka名字的由来

  • 由于 Kafka 的架构师 jay kreps 非常喜欢 franz kafka ( 弗兰茨 · 卡夫卡 ) （是奥匈帝国一位使用德语的小说家和短篇犹太人故事家，被评论家们认为是 20 世纪作家中最具影响力的一位） , 并且觉得 Kafka 这个名字很酷，因此把这一款消息传递系统取名为 Kafka ；
  • 大师门取名字也是根据自己的喜好来取名，在我们看来有可能感觉很随意！

1.5 Kafka的发展历史

2010 年底， Kafka 在 Github 上开源，初始版本为 0.7.0 ；

2011 年 7 月，因为备受关注，被纳入 Apache 孵化器项目；

2012 年 10 月， Kafka 从 Apache 孵化器项目毕业，成为 Apache 顶级项目；

2014 年， jay kreps 离开 LinkedIn ，成立 confluent 公司，此后 LinkedIn 和 confluent成为 kafka 的核心代码贡献组织，致力于 Kafka 的版本迭代升级和推广应用；

1.6 Kafka版本迭代

Kafka 前期项目版本似乎有点凌乱， Kafka 在 1.x 之前的版本，是采用 4 位版本号；

比如： 0.8.2.2 、 0.9.0.1 、 0.10.0.0... 等等；

在 1.x 之后， kafka 采用 Major.Minor.Patch 三位版本号；

Major 表示大版本，通常是一些重大改变，因此彼此之间功能可能会不兼容；

Minor 表示小版本，通常是一些新功能的增加；

Patch 表示修订版，主要为修复一些重点 Bug 而发布的版本 ;

比如： Kafka 2.1.3 ，大版本就是 2 ，小版本是 1 ， Patch 版本为 3 ，是为修复 Bug 发布的第 3 个版本；

Kafka 总共发布了 8 个大版本，分别是 0.7.x 、 0.8.x 、 0.9.x 、 0.10.x 、 0.11.x 、 1.x 、 2.x 及 3.x版本，截止目前，最新版本是 Kafka 3.7.0 ，也是最新稳定版本；

2.Kafka安装

2.1 Kafka运行环境前置要求

Kafka 是由 Scala 语言编写而成， Scala 运行在 Java 虚拟机上，并兼容现有的 Java 程序，因此部署 Kakfa 的时候，需要先安装 JDK 环境；

Kafka 源码 : https://github.com/apache/kafka

Scala 官网： https://www.scala-lang.org/

本地环境必须安装了 Java 8+ ；（ Java8 、 Java11 、 Java17 、 Java21 都可以）；

JDK 长期支持版： https://www.oracle.com/java/technologies/java-se-support-roadmap.html

2.2 Kafka运行环境jdk安装

  1. 下载 JDK ： https://www.oracle.com/java/technologies/downloads/#java17

  2. 解压缩： tar -zxvf jdk-17_linux-x64_bin.tar.gz -C /usr/local

    切换到/usr/local目录下

  3. 配置 JDK 环境变量：

    1. vim /etc/profile

      tex 复制代码 
      export JAVA_HOME=/usr/local/jdk-17.0.10
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/

    2. 使用source命令对修改的配置进行生效

      tex 复制代码 
      source /etc/profile

    3. 查看java版本

2.3 Kafka的下载和安装

  • 获取Kafka

  • 安装Kafka

    • tar -xzf kafka_2.13-3.7.0.tgz -C /usr/local/
    • cd /usr/local/kafka_2.13-3.7.0

  • 启动运行Kafka

    • 启动 Kafka 环境
      注意：本地环境必须安装了 Java 8+ ；
      Apache Kafka 可以使用 ZooKeeper 或 KRaft 启动；但只能使用其中一种方式，不能同时使用；
      KRaft ： Apache Kafka 的内置共识机制，用于取代 Apache ZooKeeper ；
    • Kafka 启动使用 Zookeeper &表示后台运行
      1 、启动 zookeeper ： ./zookeeper-server-start.sh .../config/zookeeper.properties &
      2 、启动 kafka ： ./kafka-server-start.sh .../config/server.properties &
      3 、关闭 Kafka ： ./kafka-server-stop.sh .../config/server.properties
      4 、关闭 zookeeper: ./zookeeper-server-stop.sh .../config/zookeeper.properties

2.4 Zookeeper的下载和安装

2.4.1 获取zookeeper

下载最新版本的 Zookeeper ： https://zookeeper.apache.org/

安装 Zookeeper

将下载的zookeeper传输到linux中

将zookeeper解压到/usr/local目录下

tar -xzf apache-zookeeper-3.9.2-bin.tar.gz -C /usr/local/

cd apache-zookeeper-3.9.2-bin

2.4.2 Zookeeper的配置和启动

  • 配置Zookeeper 到conf目录中复制配置文件

    • cp zoo_sample.cfg zoo.cfg
    • zoo.cfg 不需要修改，直接使用即可

  • 启动Zookeeper

    • 启动：zkServer.sh start

      发现zookeeper启动会占用3个端口

    • 关闭：zkServer.sh stop

    • zookeeper启动默认会占用8080端口，修改配置文件，添加如下配置

      cd conf

      vim zoof.cfg

      admin.serverPort=9089

      重启zookeeper

2.4.3 使用独立的zookeeper启动Kafka

  1. 启动zookeeper

  2. 启动Kafka

    • ./kafka-server-start.sh .../config/server.properties &

2.4 使用KRaft启动运行Kafka

2.4.1 Kafka启动使用KRaft

  • 生成Cluster UUID（集群UUID）： ./kafka-storage.sh random-uuid

    ​ 每次返回的uuid不一样

  • 格式化日志目录： ./kafka-storage.sh format -t sYhr2IwpRGisfAtnHTaSrg -c .../config/kraft/server.properties（-t 后面是uuid）

  • 启动Kafka（先将kafka和zookeeper服务停止）：./kafka-server-start.sh .../config/kraft/server.properties &

  • 关闭Kafka：./kafka-server-stop.sh .../config/kraft/server.properties

2.5 使用docker启动运行Kafka

2.5.1 docker安装

安装前查看系统是否已经安装了 Docker ：

yum list installed | grep docker

卸载 Docker(-y参数 自动确认的意思 remove后面是已安装列表中的名字) ：

yum remove docker.x86_64 -y

yum remove docker-client.x86_64 -y

yum remove docker-common.x86_64 -y

安装 Docker ：

yum install docker -y

注：这种方式安装的 Docker 版本比较旧；（查看版本： docker -v ）

安装最新版的 Docker(须先删除老版docker) ：

1 、 yum install yum-utils -y

2 、 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

3 、 yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y

查看是否安装成功：

查看 docker 版本： docker --version （ docker version ， docker -v ）

2.5.2 docker启动

​ 启动： systemctl start docker 或者 service docker start

​ 停止： systemctl stop docker 或者 service docker stop

​ 重启： systemctl restart docker 或者 service docker restart

​ 检查 Docker 进程的运行状态： systemctl status docker 或者 service docker status

​ 查看 docker 进程： ps -ef | grep docker

​ 查看 docker 系统信息： docker info

​ 查看所有的帮助信息： docker --help

​ 查看某个 commond 命令的帮助信息： docker commond --help
使用 Docker 镜像启动

1 、拉取 Kafka 镜像： docker pull apache/kafka:3.7.0

2 、启动 Kafka 容器(须先把虚拟机的Kafka停止)： docker run -p 9092:9092 apache/kafka:3.7.0

查看已安装的镜像： docker images

删除镜像： docker rmi apache/kafka:3.7.0

3.Kafka操作

3.1 创建主题Topic

3.1.1 使用Kafka之前，第一件事情是必须创建一个主题（topic）

  • 主题（Topic）类似于文件系统中的文件夹；

  • 主题（Topic）用于存储事件（Events）

    • 事件（Events）
    • 也称为记录或消息，比如支付交易、手机地理位置更新、运输订单、物联网设备或医疗设备的传感器测量数据等等都是事件（ Events ）；
    • 事件（ Events ）被组织和存储在主题（ Topic ）中
    • 简单来说，主题（ Topic ）类似于文件系统中的文件夹，事件（ Events ）是该文件夹中的文件；

  • 创建主题使用：kafka-topics.sh脚本；

    • 不带任何参数回告知该脚本如何使用：./kafka-topics.sh

    • 创建主题：./kafka-topics.sh --create --topic hello --bootstrap-server localhost:9092

    • 列出所有的主题：./kafka-topics.sh --list --bootstrap-server localhost:9092

    • 删除主题：./kafka-topics.sh --delete --topic hello --bootstrap-server localhost:9092

    • 显示主题详细信息：./kafka-topics.sh --describe --topic hello --bootstrap-server localhost:9092

    • 修改主题信息：./kafka-topics.sh --alter --topic hello --partitions 3 --bootstrap-server localhost:9092

3.2 在主题（Topic）中写入一些事件(Events)

  • Kafka客户端通过网络与Kafka Brokers进行通信，可以写（或读）主题Topic中的事件Events;

  • Kafka brokers一旦受到事件Event，

  • 就会将事件 Event 以持久和容错的方式存储起来，可以永久地

    存储；

  • 通过 kafka-console-producer.sh 脚本工具写入事件 Events ；

    • 不带任何参数会告知该脚本如何使用： ./kafka-console-producer.sh
    • ./kafka-console-producer.sh --topic hello --bootstrap-server localhost:9092
    • 每一次换行是一个事件 Event ；
    • 使用 Ctrl+C 退出，停止发送事件 Event 到主题 Topic ；

3.3 从主题（Topic）中读取事件（Events）

  • 使用 kafka-console-consumer.sh 消费者客户端读取之前写入的事件 Event ：
    • 不带任何参数会告知该脚本如何使用： ./kafka-console-consumer.sh
    • ./kafka-console-consumer.sh --topic hello --from-beginning --bootstrap-server localhost:9092
    • --from-beginning 表示从 kafka 最早的消息开始消费 不加表示读取最新消息
    • 使用 Ctrl+C 停止消费者客户端；
  • 事件 Events 是持久存储在 Kafka 中的，所以它们可以被任意多次读取；

3.4 外部环境连接Kafka

  1. 启动 Kafka 容器： docker run -p 9092:9092 apache/kafka:3.7.0 &
  2. 安装外部连接工具；
  3. 外部连接工具连接 Kafka ；
3.4.1 外部环境无法连接Kafka
3.4.1.1 复制docker中kafka的配置文件到linux中
  • 文件输入：提供一个本地 kafka 属性配置文件，替换 docker 容器中的默认配置文件；
  • cd /usr/local
  • mkdir docker
  • docker ps
  • docker run -p 9092:9092 apache/kafka:3.7.0
  • docker exec -it 容器 id /bin/bash
  • 把 docker 容器中的文件复制到 linux 中：
    • docker cp 容器id:/etc/kafka/docker/server.properties /user/local/docker
3.4.1.2 修改linux的配置文件和文件映射
  • 配置文件： server.properties
  • listeners=PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093
  • advertised.listeners=PLAINTEXT://虚拟机ip:9092
    • advertise 的含义表示宣称的、公布的， Kafka 服务对外开放的 IP 和端口 ;
  • 文件映射： docker run --volume /usr/local/kafka_2.13-3.7.0/docker:/mnt/shared/config -p 9092:9092 apache/kafka:3.7.0
3.4.1.3 测试连接

创建topic

shell 复制代码 
./kafka-topics.sh --create --topic hello --bootstrap-server localhost:9092

idea使用kafka插件进行连接

3.5 Kafka图形界面连接工具

3.5.1 CMAK（以前叫 Kafka Manager ）

  • 一个 web 后台管理系统，可以管理 kafka ；

  • 项目地址： https://github.com/yahoo/CMAK

  • 注意该管控台运行需要 JDK11 版本的支持；

  • 下载： https://github.com/yahoo/CMAK/releases

  • 下载下来是一个 zip 压缩包，直接 unzip 解压：

  • unzip cmak-3.0.0.6.zip

  • 解压后即完成了安装；

  • 基于 zookeeper 方式启动 kafka 才可以使用该 web 管理后台，否则不行；

    • 1 、 CMAK 配置：
      • 修改 conf 目录下的 application.conf 配置文件：
      • kafka-manager.zkhosts="192.168.11.128:2181"
      • cmak.zkhosts="192.168.11.128:2181"
    • 2 、 CMAK 启动：
      • 切换到 bin 目录下执行：
      • ./cmak -Dconfig.file=.../conf/application.conf -java-home /usr/local/jdk-11.0.22
      • 其中 -Dconfig.file 是指定配置文件， -java-home 是指定 jdk11 所在位置，如果机器上已经是 jdk11 ，则不需要指定；
    • 3 、 CMAK 访问：
3.5.2 EFAK （以前叫 kafka-eagle ）
相关推荐
Mephisto.java1 小时前
【大数据学习 | Spark】Spark的改变分区的算子
大数据·elasticsearch·oracle·spark·kafka·memcache
KevinAha8 小时前
Kafka 3.5 源码导读
kafka
求积分不加C8 小时前
-bash: ./kafka-topics.sh: No such file or directory--解决方案
分布式·kafka
nathan05298 小时前
javaer快速上手kafka
分布式·kafka
激流丶11 小时前
【Kafka 实战】Kafka 如何保证消息的顺序性？
java·后端·kafka
天冬忘忧17 小时前
Kafka 工作流程解析：从 Broker 工作原理、节点的服役、退役、副本的生成到数据存储与读写优化
大数据·分布式·kafka
工业甲酰苯胺19 小时前
Python脚本消费多个Kafka topic
开发语言·python·kafka
B站计算机毕业设计超人21 小时前
计算机毕业设计SparkStreaming+Kafka新能源汽车推荐系统 汽车数据分析可视化大屏 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习
数据仓库·爬虫·python·数据分析·kafka·数据可视化·推荐算法
谷大羽21 小时前
Kafka Stream实战教程
spring boot·后端·中间件·kafka·stream
求积分不加C21 小时前
Kafka怎么发送JAVA对象并在消费者端解析出JAVA对象--示例
java·分布式·kafka·linq
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10怎样让音频速度变慢？请跟随以下方法进行操作