kafka

沐浴露z1 小时前
java·分布式·kafka
Kafka Consumer 消费流程详解pull:push:Kafka采用Pull模式来消费消息,因为push模式由Broker决定发送速率,很难适应所有消费者的消费速率。
starandsea2 小时前
分布式·kafka·linq
kafka添加压缩配置后失败添加压缩配置:报错:Failed to construct kafka producer原因:CompressionType.GZIP.name() 结果是 GZIP
Lemon程序馆3 小时前
后端·kafka·消息队列
Kafka | Broker 工作原理上一篇文章 Kafka | 集群部署和项目接入集群部署 讲述了 Kafka 集群的搭建以及在项目的接入步骤,本文将更进一步介绍 Kafka Broker 的设计及原理。
不开心就吐槽11 小时前
linux·运维·kafka
linux安装kafka1.准备工作,必须安装jdk,zookeeper可以不安装,高版本不用安装2.下载kafka3.修改配置文件 [tailweb@hadoop2 kafka]$ cd config/ [tailweb@hadoop2 config]$ vi server.properties
飞鱼&11 小时前
分布式·kafka
Kafka(文件)数据存储、清理机制、高性能设计1. Kafka文件的存储机制主题 topic - 分区 partition - 分段 segment
2301_8035545211 小时前
c++·kafka·交互
c++调用客户端库与kafka交互C++可以通过一些优秀的开源库与Kafka进行交互,其中最核心和常用的是 librdkafka。下面这个表格整理了主要的C++ Kafka客户端选项:
观望过往1 天前
分布式·架构·kafka
Kafka 全方位详细介绍:从架构原理到实践优化Kafka 作为 Apache 顶级开源项目,是一款基于发布 / 订阅模式的分布式流处理平台,以高吞吐量、高可靠性、低延迟的特性,成为大数据领域日志收集、实时数据管道、流处理场景的核心组件。本文将从 Kafka 的核心定位、架构设计、工作原理、关键机制、实践操作、性能优化及问题排查展开,提供全面且深入的技术解析。
菜鸡儿齐2 天前
分布式·kafka
kafka简介Kafka 是一款由 Apache 软件基金会开发的分布式流处理平台,主要用于高吞吐量的实时数据管道构建、流式数据分析及跨系统集成。其核心特性包括持久化存储、水平扩展和容错机制。
深兰科技2 天前
人工智能·科技·百度·kafka·rabbitmq·memcached·深兰科技
深兰科技入选“2025中国人工智能行业创新力企业百强”以原创技术驱动AI产业创新与智能未来2025年10月28日~29日,以“i时代·智创未来”为主题的第十届中国国际人工智能大会(CIAI 2025)在上海盛大召开。大会现场发布了“2025年中国人工智能行业创新力企业百强”榜单,深兰科技凭借在AI大模型、智能机器人、自动驾驶与AI医疗等领域的前沿创新实力成功入选,彰显出在人工智能产业创新领域的核心竞争力与技术引领地位。
Hello World......2 天前
java·spring boot·redis·微服务·junit·kafka·spring security
互联网大厂Java面试实战:以Spring Boot与微服务为核心的技术场景剖析在互联网大厂求职中,Java开发者面临的是技术深度与业务场景结合的考察。本文模拟一场严肃的面试官与搞笑水货程序员谢飞机之间的真实对话,涵盖从Spring Boot入门到微服务架构的深入探讨,贯穿音视频与内容社区的业务需求,帮助读者一步步理解面试中的常见问题及其答案。
YC运维2 天前
分布式·kafka
Kafka 全方位技术文档Kafka 是一款分布式、支持分区(Partition)、多副本(Replica) 的消息系统,其核心设计依赖 ZooKeeper 进行集群协调,能够实时处理大规模数据流,满足多样化业务场景需求。该系统最初由 LinkedIn 公司采用 Scala 语言开发,于 2010 年正式贡献给 Apache 基金会,经过多年迭代已成为 Apache 顶级开源项目,在全球大数据生态中占据重要地位。
摇滚侠2 天前
spring boot·笔记·kafka
Spring Boot3零基础教程,Kafka 的简介和使用,笔记76Kafka 的简介和使用🔗
harmful_sheep2 天前
分布式·kafka
Kafka的概念Kafka的设计思想及基本使1、Kafka基本概念 特性: 高吞吐,低延迟,只有主题:主题下面包括多个分片 可拓展性,支持集群和热扩展 持久性:消息被持久化到本地磁盘,保证数据的稳定 容错性:可以支持N-1个节点失败,服务仍然可以使用 高并发:支持数千用户同时读写 四个组成部分: 生产者Producer,消费者(组),kafka节点(集群),zookeeper节点(集群) 消费者Consumer(组): 同一个分区的数据只能被消费者组里面一个用户消费 同一消费者组内的消费者可以消费同一个topic下面不同
沐浴露z2 天前
java·kafka
Kafka Consumer 详解API,分区分配策略以及消费offset目录API独立消费者案例消费者组案例分区分配与再平衡RangeRoundRobinStickyoffset
洛克大航海2 天前
大数据·elasticsearch·kafka·kibana·logstash·filebeat
安装 ElasticSearch、Logstash、Kibana、Kafka 和 FilebeatElasticSearch 是一个文本搜索引擎。注意:此步骤仅在虚拟机 ubuntuvm131 上安装。书上的 ElasticSearch 是 v6.5 的旧版。在 ElasticSearch 的官网文档站点,切换到 v6.5 的分支https://www.elastic.co/guide/en/elasticsearch/reference/6.5/deb.html,根据文档进行安装。 注: 如果后面用 apt 更新操作系统,它将更新到最新版。
想ai抽3 天前
分布式·架构·kafka
pulsar与kafka的架构原理异同点要理解 Apache Pulsar 与 Apache Kafka 的差异,需从核心定位、架构原理、存储模型、扩展性等维度对比,二者虽同属分布式流处理平台,但设计理念和技术实现存在显著区别。以下是详细的异同点分析,重点突出架构原理的差异:
大汉堡玩测试3 天前
测试工具·kafka
使用kafka造测试数据进行测试之前一直听说过kafka,但是一直没有机会接触到使用kafka的测试场景,最近终于让我逮到啦😏所以写这篇文章记录一下~
半梦半醒*3 天前
linux·分布式·zookeeper·kafka·centos·运维开发
zookeeper + kafka192.168.100.10 zookeeper1192.168.100.20 zookeeper2192.168.100.30 zookeeper3
代码哈士奇3 天前
后端·微服务·nacos·kafka·nestjs
简单使用Nest+Nacos+Kafka实现微服务一个网关,一个用户服务,一个邮件推送服务。用户服务部署两份,邮件推送服务部署两份。用户服务和邮件推送服务启动的时候,通过nacos拉取配置,如
Gss7774 天前
分布式·kafka
Kafka 相关内容总结使用三台主机搭建 Zookeeper 集群,主机 IP 及对应 Zookeeper 节点分别为 192.168.100.10(zookeeper1)、192.168.100.20(zookeeper2)、192.168.100.30(zookeeper3)