kafka

Bohemian9 小时前
面试·kafka
kafka学习笔记系列——小试牛刀一句话概括:Apache Kafka 是一款开源的分布式消息引擎系统,使用纯二进制的字节序列来传输消息,支持点对点模型(如客服电话)、发布/订阅模型(如报纸订阅)。
左灯右行的爱情9 小时前
分布式·架构·kafka
Kafka专辑- 整体架构Kafka 的架构设计核心目标只有两个:极高的吞吐量(High Throughput)和 极高的可靠性(High Availability)。
左灯右行的爱情12 小时前
分布式·kafka·linq
Kafka专辑 : 生产者写入路径Kafka Producer 是典型的 “主线程-子线程” 异步架构,将“业务逻辑”与“网络 I/O”彻底解耦。
左灯右行的爱情13 小时前
分布式·kafka·linq
Kafka专辑: 日志存储模型Kafka 的 Partition(分区)在物理磁盘上对应一个目录,目录下包含多个 Segment(段)。
LB211213 小时前
分布式·kafka·linq
Kafka笔记Apache Kafka 是一个强大的分布式流处理平台,适用于大规模数据处理和实时分析。它的高吞吐量、低延迟、可扩展性和容错性使其成为现代数据架构中的重要组件。无论是用于消息队列、日志聚合还是流式处理,Kafka 都提供了高效、可靠的解决方案。
左灯右行的爱情2 天前
分布式·kafka
Kafka专辑- 消息队列是什么简单来说,消息队列是指在应用程序之间传输数据的一种通信方法。在很多架构中,MQ 扮演着中间件 (Middleware) 的角色。它像一个可靠的中转站,允许系统 A 把数据放进去,然后继续干别的事,而系统可以在稍后的任意时间把数据取出来处理。
yumgpkpm2 天前
数据库·人工智能·hive·hadoop·elasticsearch·数据挖掘·kafka
银行的数据智能平台和Cloudera CDP 7.3(CMP 7.3)的技术对接银行的数据智能平台和Cloudera CDP 7.3(CMP 7.3)的技术对接面向银行场景的、保姆级详细技术对接方案,涵盖从环境准备、安全合规、数据集成、模型开发到运维监控的全流程,适用于将银行自建的数据智能平台(Data Intelligence Platform)与 Cloud Data AI CMP 7.3 Private Cloud Base/Plus 进行深度集成。
Augustvic2 天前
分布式·kafka
消息队列KafkaRecordBatch是Kafka消息传输的最小“协议单元”,结构如下:(字段长度单位:字节)PartitionLeaderEpoch用于解决 Leader 切换时数据一致性问题,它是一个单调递增的整数,与分区的 Leader 副本绑定,本质是 Leader 副本的 “版本号”。
倚肆2 天前
java·分布式·kafka
Kafka部署指南:单机开发模式与集群生产模式( 4.1.1 版本)Apache Kafka 4.1.1 是一个高性能的分布式流处理平台,自 4.0 版本开始完全采用 KRaft 模式(不再依赖 ZooKeeper)。本文档详细介绍 Kafka 4.1.1 的两种部署模式:单机开发模式(适用于开发、测试环境)和集群生产模式(适用于高可用生产环境)。
lifewange3 天前
分布式·kafka
Kafka 是什么?Kafka 是一款高吞吐量、分布式的发布 - 订阅消息队列系统,核心用于在系统间异步传输大量数据流。它常被用在日志收集、实时数据处理、消息解耦、流数据管道等场景,比如将用户行为日志实时传输给分析系统,或是在微服务架构中实现服务间的异步通信,能轻松支撑百万级别的消息吞吐,且具备高容错性和可扩展性。
彭于晏Yan3 天前
kafka·apache
Apache Kafka使用
予枫的编程笔记3 天前
java·kafka·rabbitmq·rocketmq·activemq
【Java进阶2】Java常用消息中间件深度解析:特性、架构与适用场景在分布式系统架构中,消息中间件扮演着至关重要的角色,它能够实现系统间的解耦、异步通信、流量削峰、数据同步等核心需求,是保障分布式系统高可用、高并发的关键组件之一。Java生态下诞生了多款成熟的消息中间件,它们各自具备独特的设计理念、核心特性和适用场景。本文将对Java开发中最常用的四款消息中间件——ActiveMQ、RabbitMQ、RocketMQ、Kafka进行深度解析,从核心概念、架构原理、核心特性、优缺点到适用场景,全方位为大家梳理相关知识,助力大家在实际开发中做出合适的技术选型。
彭于晏Yan3 天前
spring·kafka
Spring集成kafka
学博成3 天前
spring boot·kafka
在 Spring Boot 中使用 Kafka 并保证顺序性(Topic 分区为 100)的完整案例xmlyamljavajavajavajavajavajavajava生产者端:max.in.flight.requests.per.connection=1:同一连接最多只能有一个请求在途
yumgpkpm4 天前
大数据·人工智能·hive·zookeeper·flink·kafka·cloudera
Cloudera CDP 7.3(国产CMP 鲲鹏版)平台与银行五大平台的技术对接方案Cloudera CDP 7.3(国产CMP 鲲鹏版)平台与银行五大平台的技术对接方案一份 CMP(Cloud Data AI Platform)与银行五大核心业务平台 的技术对接方案整理。该方案聚焦于数据层面的集成,适用于银行在构建数据中台、智能风控、客户洞察等场景下,如何通过 CMP 实现统一的数据湖仓、治理、分析与服务化能力。
AutoMQ4 天前
分布式·架构·kafka
当 Kafka 架构显露“疲态”:共享存储领域正迎来创新变革文章导读本文作者为沃尔玛开发者 Ankur Ranjan 与 Sai Vineel Thamishetty 。二人长期关注 Apache Kafka 与流处理系统的演进,深入研究现代流处理架构面临的挑战与创新方向。文章不仅总结了 Kafka 的历史价值与当前局限,还展示了下一代开源项目 AutoMQ 如何借助云原生设计,解决 Kafka 在成本、扩展性与运维方面的痛点,为实时数据流架构提供全新视角。
独自破碎E4 天前
数据库·分布式·kafka
Kafka的索引设计有什么亮点?Kafka索引设计的亮点主要有以下4个方面:1.kafka通过稀疏索引只存储每隔一定间隔的消息位置,而不是对每条消息都建立索引,这样可以大幅度减少内存的占用。
独自破碎E4 天前
分布式·kafka
Kafka中关于事务消息的实现Kafka的事务消息实现了消息在生产、传输和消费的过程中的“仅一次”传递,也就是所谓的Exactly Once语义。
ppo_wu4 天前
java·linux·spring boot·分布式·后端·spring·kafka
Kafka 3.9.0:部署、监控与消息发送教程注意:1、需要把<宿主机ip>换成自己的2、kafka高版本配置参数中不能出现0.0.0.0这样的ip地址,比如不能将KAFKA_ADVERTISED_LISTENERS配置为PLAINTEXT://0.0.0.0:9092这样的形式,否则会出现类似错误: