一、kafka是什么

kafka的官网说自己是一个事件流平台，我们通常认为kafka就是一个消息中间件（rabbitmq）

kafka中存的是消息message/事件，消息是一种通知机制

数据库与消息中间件的区别

数据库中的数据是整个软件的状态（用户信息、课程、班级）

消息中间件中的消息，是多个任务协同工作的一种通知

二、为何要用kafka？用在哪？

2.1 储备知识：

生产者消费者模型（分布式高并发系统都会基于该模型开发程序）

生产者producer--------》（缓冲区）消息队列《-----------消费者consumer

优点：

1、解耦合：生产者与消费者解耦合

2、提升效率：生产者与消费者可以并行，平衡了生产者与消费者的速度差，不必互相等待

3、缓解压力：通过消息队列，平衡了生产者与消费者的速度差，

在消费者处理速度跟不上的情况下，系统依然可以平稳运行

4、灵活扩缩：可以按需扩缩生产者与消费者的数量

2.2 为何要用kafka

我们可以将很多高并发的分布系统内组件之间的交互视为生产者与消费者之间的交互

而生产者与消费者之间是基于消息队列来通信的，而kafka就是消费队列中的佼佼者

1、解耦、异步----生产者与消费者解耦合、分布式组件

2、灵活扩缩

3、削峰填谷

削峰：把峰值流量用消息中间件缓存下来，后面可以慢慢处理（有延迟，但可以保命）

填谷：在流量的低谷期，提前处理一些任务或者说处理哪些峰值流量

关键点：引入消息队列平衡了生产者与消费者的速度差，有延迟，但是可以保命---可用性

2.3 kafka的优良特性----了解

1、大数据处理：日志收集或流处理，提供高吞吐量的消息队列

2、数据持久性：可在磁盘上长期存储消息

3、消息积压处理：存储高峰期产生的数据在系统资源允许的情况下慢慢处理

4、并行处理：同时支持多生产者和多消费者，保证消息在消费者群组中的****顺序

5、实时处理/流处理：支持实时流处理，在数据到达时立即对其进行处理

2.4 kafka应用场景

消息队列（主要）

日志收集

用户活动跟踪----大数据分析

运营指标：记录运营监控数据

流式处理：实时处理和分析数据的方式，适用于实时响应的场景，例如实时分析和监控

2.5 引入消息队列的缺点

1、业务上增加响应延迟

2、架构复杂变高，增加不稳定因素

三、部署kafka

bash 复制代码

# 3.1 环境准备
setenforce 0
iptables -F
sed -i 's#enforcing#disabled#g' /etc/selinux/config
systemctl disable --now firewalld


# 3.2 安装docker的依赖的系统包   
yum install -y yum-utils device-mapper-persistent-data lvm2
   

# 3.3 安装docker引擎
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install docker-ce -y

3.4 为docker引擎配置镜像加速站

docker-------------》容器（相当于一个"操作系统 + 软件"----》镜像

镜像-------》来自镜像源，官方源docker.io（拉不下来）

使用：aliyun.com ----> 控制台-----》镜像服务-----》镜像工具---》镜像加速器

sudo tee /etc/docker/daemon.json <<-'EOF'

{

"registry-mirrors": ["https://vj5aa9yj.mirror.aliyuncs.com"]

}

EOF

sudo systemctl daemon-reload

sudo systemctl restart docker

3.5 先下载镜像

docker pull wurstmeister/zookeeper

docker pull wurstmeister/kafka

docker images

3.6 后启动容器（用镜像启，容器里跑的就是镜像的内容）

启动zookeeper

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

启动kafka

docker run -d --name kafka --publish 9092:9092 --link zookeeper \

--env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \

--env KAFKA_ADVERTISED_HOST_NAME=192.168.71.114 \ #自己的IP

--env KAFKA_ADVERTISED_PORT=9092 \

wurstmeister/kafka:latest

补充: 出问题后进行清理

docker container rm -f kafka

docker container rm -f zookeeper

四、使用简单示例

4.1 介绍

mysql是一个数据库管理软件------------------------》创建数据库（create database db1）

kafka准确的说应该是一个消息队列管理软件----------》创建消息队列

生产者----------------》 kafka管理的消息队列《------------消费者

4.2 创建消息队列（kafka中创建的队列称之为topic）

消息中间件之kafka

一、kafka是什么

二、为何要用kafka？用在哪？

三、部署kafka

3.4 为docker引擎配置镜像加速站

3.5 先下载镜像

3.6 后启动容器（用镜像启，容器里跑的就是镜像的内容）

启动zookeeper

启动kafka

补充: 出问题后进行清理

docker container rm -f kafka

docker container rm -f zookeeper

四、使用简单示例

4.1 介绍

4.2 创建消息队列（kafka中创建的队列称之为topic）