kafka

2601_960906721 天前
kafka·hbase·flume·storm
地球或逃逸到相对安全的日心轨道北京时间8月5日14时35分,一枚在太空中漂泊了近19个月SpaceX猎鹰9号火箭第二级残骸,以每秒约2.4公里(约7倍音速)的速度撞击月球西侧的爱因斯坦陨石坑附近区域,完成了它最终的宿命。
creator_Li1 天前
分布式·kafka
Kafka深入刨析-Consumer为什么 Kafka Consumer 的并发模型值得深入研究?大多数 Java 并发库的答案是 synchronized 或 ReentrantLock + Condition。Kafka Consumer 走了完全不同的路线:它刻意不支持多线程并发访问,用 CAS 做归属检查而非做同步,用 Wakeup 做 "唯一后门" 而非给所有 API 加并发安全。
JHC0000002 天前
分布式·kafka
基于 DrissionPage 与 Xvfb 的分布式无头爬虫架构该脚本的设计目标是实现一个在无 GUI 环境(Linux)中运行的高可靠性网页采集器。整体架构采用了“控制流与日志流彻底分离”、“单线程严格物理超时熔断”、“多实例端口级精准隔离”以及“网络数据包拦截与 DOM 节点反向注入”等核心设计模式。
java1234_小锋3 天前
大数据·spark·kafka·实时医疗健康数据监测·实时疾病预测系统
【免费】基于Spark实时医疗健康数据监测与疾病预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品大家好,我是Java1234_小锋老师,分享一套锋哥原创的基于Spark实时医疗健康数据监测与疾病预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3)
放学-别走4 天前
大数据·flink·kafka
flink和kafka常见面试题1. Kafka 为什么吞吐量这么高? Kafka 之所以吞吐量高,主要依赖以下几个设计:首先,Kafka 采用顺序写磁盘,消息以追加方式写入 Log 文件,避免随机 I/O 带来的性能损耗,使磁盘写入效率非常高。
菜地里的小菜鸟4 天前
kafka·kraft·k8s部署单节点kafkakraft模式·k8s部署kafka
k8s部署单节点 Kafka(KRaft 模式)并启用 SASL 认证https://www.cnblogs.com/Leonardo-li/p/18796443https://www.cnblogs.com/Leonardo-li/p/18813140
Volunteer Technology4 天前
分布式·kafka·linq
Kafka的消费全流程我们接着继续去理解最后这条消息是如何被消费者消费掉的。其中最核心的有以下内容。1、多线程安全问题2、群组协调
篮框坏了4 天前
kafka
Kafka 消费者卡死排查:一个 topic 堵了 18 小时,监控全绿没人发现Kafka 消费者卡死的一次真实故障复盘:LAG 一直涨、CURRENT-OFFSET 不动、消费者被反复踢出组,而告警群里一条消息都没有。凶手是三个单独看都"没毛病"的设计叠在一起。文末第六节是可直接照抄的 5 步排查清单(含 kafka-consumer-groups.sh / jstack 命令),遇到"消息不动了但不报错"照着走一遍就能定性。
敲个大西瓜5 天前
kafka
Kafka一百道核心面试题Kafka 面试题 100 道(对标阿里 P6 级别)说明:本题集覆盖Kafka核心原理、源码机制、性能调优、故障排查、架构设计等维度,对标阿里P6(高级工程师)面试深度。题目按难度渐进排列,每道题均需掌握底层原理而非常识性记忆。
java1234_小锋5 天前
java·大数据·spark·kafka·实时交通流量分析与拥堵预测
【免费】基于Spark实时交通流量分析与拥堵预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品大家好,我是Java1234_小锋老师,分享一套锋哥原创的基于Spark实时交通流量分析与拥堵预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3)
后端观测站5 天前
kafka·java-rocketmq
第三篇:消息队列如何保证消息可靠性?消息队列如何保证消息可靠性?上一篇我们聊了《消息为什么能够解耦系统?》消息队列之所以能够解耦,本质上是因为它在生产者和消费者之间增加了一个Broker,让双方不再直接调用,而是通过消息进行通信。
布鲁飞丝6 天前
分布式·kafka
kafka 副本集设置和理解大家好,我是你们的老朋友——资深技术博主。今天我们来聊聊 Kafka 中一个非常核心但又容易被初学者忽略的概念:副本集。如果你用过 Kafka,肯定知道它是个高吞吐、高可用的消息队列,但高可用是怎么实现的?答案就藏在副本集(Replica)里。简单来说,副本集就是数据的一份“备份”,确保当某台机器挂了,数据不丢、服务不停。本文会用通俗的语言、结合实际代码,带你彻底搞懂副本集。## 什么是 Kafka 副本集?先打个比方:假设你写了一篇重要论文,只存在一台电脑里。如果电脑坏了,论文就没了。但如果你把论文复制
香菜TTT7 天前
分布式·架构·kafka·linq
Kafka_深度解析_从架构原理到生产实践摘要:Apache Kafka 作为当今最流行的分布式流处理平台之一,已经成为现代数据架构的核心组件。本文将从 Kafka 的核心概念出发,深入剖析其底层架构、存储机制、高可用设计以及生产环境中的最佳实践,帮助你构建对 Kafka 的系统性认知。
梦想画家7 天前
kafka·文件连接器·filepulse
FilePulse:Kafka Connect 的“智能文件网关”,重塑数据接入新范式在构建实时数据湖的过程中,文件接入往往是第一道难关。传统的 FileStreamSource 仅能做简单的“文本搬运”,面对复杂格式往往捉襟见肘。本文将深入介绍 FilePulse,一款功能强大的 Kafka Connect 源连接器。它不仅能实时监控目录变化,更内置了强大的过滤器链,支持在摄入过程中直接完成 CSV 解析、日志清洗及字段转换。通过本文的实战案例,你将掌握如何打造“零代码”的数据清洗管道,让数据在进入 Kafka 之前就已就绪。
java1234_小锋7 天前
大数据·spark·kafka·金融交易风险监控与预测
【免费】基于Spark实时金融交易风险监控与预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品大家好,我是Java1234_小锋老师,分享一套锋哥原创的基于Spark实时金融交易风险监控与预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3)
梦想画家7 天前
数据库·postgresql·kafka·实时湖仓
告别轮询:基于PostgreSQL CDC构建实时数据管道在实时数据需求日益增长的今天,传统的定时ETL(批量抽取)模式因高延迟和对源库的压力,已难以满足业务敏捷性的要求。PostgreSQL的变更数据捕获(CDC)技术通过解析底层的预写日志(WAL),实现了数据变更的实时捕获与分发。本文将深入解析PG CDC的核心原理,探讨其在异构数据同步、缓存更新等场景的应用,并通过配置实战与案例分析,带你掌握如何构建低延迟、高可靠的实时数据流。
Devin~Y7 天前
java·spring boot·redis·elasticsearch·spring cloud·kafka·rag
从本地生活电商到 AI RAG:互联网大厂 Java 面试场景完整实战场景设定:某互联网大厂正在招聘 Java 后端开发,业务线是 本地生活服务 + 电商 + 智能客服(AIGC & RAG)。面试官老王是技术严谨的架构师,候选人小Y是号称“全栈+AI”的程序员,但其实有点水。
斯普润布特7 天前
分布式·kafka
Kafka KRaft 三节点 ARM64 Docker 部署适用环境:Linux ARM64、Docker、KRaft 无 Zookeeper 架构、SASL_SSL 双向加密集群
后端观测站7 天前
kafka·java-rocketmq
第一篇:为什么需要消息队列?为什么需要消息队列?上一篇我们聊完了 Redis 系列的最后一篇《Redis 为什么不能当数据库?》。
L1624768 天前
分布式·kafka·rabbitmq
消息队列(MQ)总览:RabbitMQ & Kafka 完整手册本文整合 RabbitMQ 与 Kafka 的核心作用、单节点部署、集群部署、Docker 部署、基础操作,形成一份完整的查阅手册。