kafka

flume对kafka中数据的导入导出、datax对mysql数据库数据的抽取目录1、flume自定义拦截器2、创建topic为yuekao的主题，并使用flume将数据抽取到该主题的kafka中

掘金-我是哪吒

springboot第82集：消息队列kafka，kafka-map官网下载链接：https://kafka.[apache].org/downloads我下载的是[Scala]2.12 - kafka_2.12-3.1.0.tgz

隔着天花板看星星

Kafka-Controller角色需要做什么？《Kafka-Controller选举》博客中分析了Controller是如何选举出来的，且比如会执行onControllerFailover()。接下来让我们看看Controller角色都承担了哪些职责。

streaming消费kafka手动维护offset到redis

SpringBoot集成kafka为了加快消费，我们可以提高并发数，比如下面配置我们将并发设置为 3。注意：并发量根据实际分区数决定，必须小于等于分区数，否则会有线程一直处于空闲状态

Java通过calcite实时读取kafka中的数据<dependency><groupId>org.apache.calcite</groupId><artifactId>calcite-kafka</artifactId>

Kafka：分布式消息系统的核心原理与安装部署目录一、Kafka 概述（一）定义（二）Kafka 中的组成成员（三）消息队列（中间件）1）传统消息队列的应用场景

kafka中节点如何服役和退役1.准备新节点：安装 Kafka 和相关依赖。配置 Kafka Broker 的 server.properties 文件，确保 broker.id 是唯一的，并且配置正确的 zookeeper.connect 地址。

Kafka中ACKS LSO LEO LW HW AR ISR OSR解析ACKS（Acknowledgments）确认、回执LW（Low watermark）低水位、LSO（Log start offset）起始偏移量

2. kafka 生产者在消息发送的过程中，涉及到了两个线程：main线程和Sender线程。Producer发送的消息会分别经过Interceptors(拦截器)，Serializer(序列化器)，Partitioner(分区器)最终到达RecordAccumulator，RecordAccumulator是一个双端队列，主要起缓冲区的作用。Sender线程不断从RecordAccumulator中拉取消息发送到 Kafka集群。

kafka消费者出现频繁Rebalancekafka消费者在正常使用过程中，突然出现了不消费消息的情况，项目里是使用了多个消费者消费不同数据，按理不会相互影响，看日志，发现消费者出现了频繁的Rebalance。

珍珠是蚌的眼泪

Kafka进阶_1.生产消息一句话总结：先到先得。Controller，是Apache Kafka的核心组件。它的主要作用是在Apache Zookeeper的帮助下管理和协调控制整个Kafka集群。下面介绍一下Zookeeper的特点：

小熊软糖^O^

StructuredStreaming&Kafka实现实时计算首先我们要打开linux上的zookeeper集群和kafka集群，然后使用java调用相关的API实现发送消息即生产者的功能，代码如下：

Kafka Offset 自动提交和手动提交 - 漏消费与重复消费目录1. 引言2. Offset 提交方式概述2.1 自动提交 Offset2.2 手动提交 Offset

大数据技术Kafka详解 ① | 消息队列（Messages Queue）目录1、消息队列的介绍2、消息队列的应用场景2.1、应用耦合2.2、异步处理2.3、限流削峰2.4、消息驱动的系统

Docker部署Kafka SASL_SSL认证，并集成到Spring Boot1，创建证书和密钥需要openssl环境，如果是Window下，下载opensslWin32/Win64 OpenSSL Installer for Windows - Shining Light Productions

饭桶也得吃饭

Amazon Linux 搭建Zookeeper+Kafka集群Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。Zookeeper 集群模式一共有三种类型的角色 Leader: 处理所有的事务请求（写请求），可以处理读请求，集群中只能有一个Leader。 Follower: 只能处理读请求，同时作为 Leader的候选节点，即如果Leader宕机，Follower节点要参与到新的Leader选举中，有可能成为新的Leader节点。 Observer: 只能处理读请求。不能参与选举。

学无止境gwx

kafka管理工具提示：这里可以添加本文要记录的大概内容：一个好的界面管理工具可以使得开发效率更为高效，因kafka本身没有自研的管理工具！于是尝试安装市面上的一些辅助工具。

StructuredStreaming （二）——kafka将数据从kafka的某个主题中抽取出来，再将数据放入另一个主题中通过百度网盘分享的文件：python-kafka 链接：https://pan.baidu.com/s/1q2UlOJFBNNuhRC87AlAACg?pwd=c6dy 提取码：c6dy

基于Kafka2.1解读Consumer原理继上一篇讲Producer原理的文章过去已经一个多月了，今天来讲讲Consumer的原理。其实源码早就读了部分了，但是最近工作比较忙，一直没空写文章。