技术栈
kafka
他们叫我阿冠
1 天前
分布式
·
kafka
Kafka的基本了解
Kafka 是一个分布式、高吞吐的消息系统,最早由 LinkedIn 开源,后来成为 Apache 顶级项目。它最初的定位是“日 志收集系统”,但随着生态的发展,Kafka 已经成为现代企业中最重要的消息中间件之一,被广泛用于 异步解耦、削峰 填谷、日志采集、实时计算、数据管道(Data Pipeline) 等场景。
汪小哥
1 天前
分布式
·
kafka
kafka 初识
文章摘要:本文从作者接触MQ技术的经历谈起,对比了ActiveMQ、RocketMQ和Kafka的异同,重点介绍了Spring Kafka的基础入门配置。文章详细讲解了Maven依赖配置、Spring自动装配数据、KafkaTemplate使用、@MessageListener注解以及自定义Container的实现方法,为Java开发者提供了实用的Spring Kafka配置指南。
可乐ea
2 天前
java
·
spring boot
·
redis
·
mysql
·
elasticsearch
·
ai
·
kafka
【知识获取与分享社区项目 | 项目日记第 24 天】终章总结:从认证、发布、计数、Feed、搜索到 RAG:完整复盘一个知识社区后端系统
知识获取与分享社区是一个知识内容社区后端项目,整体可以理解为一个面向知识创作者的内容社区。用户可以在平台中完成:
Jabes.yang
2 天前
java
·
spring boot
·
redis
·
微服务
·
面试
·
kafka
·
aigc
Java面试实录:AIGC场景下的Stream、微服务、Redis、Kafka与安全实战
在互联网大厂Java开发岗位的面试现场,严肃的面试官遇到了“水货”程序员谢飞机,展开了一场既严谨又充满趣味的技术问答。本文通过三轮提问,循序渐进讲解了多个关键技术点,并配以代码案例,帮助你深入理解相关技术及业务场景应用。
我是一颗柠檬
2 天前
java
·
分布式
·
kafka
·
linq
【Java项目技术亮点】Kafka异步写+写聚合:吞吐量提升10倍的消息队列优化秘籍
每秒10万条日志埋点,Kafka集群CPU飙满,消息堆积如山——这就是高并发写入的噩梦。本文将揭秘大厂如何通过异步写+写聚合策略,让Kafka吞吐量从1万飙升到10万,轻松应对海量数据写入。
Solis程序员
2 天前
redis
·
分布式
·
架构
·
kafka
·
canal
解决双写不一致!Canal+Outbox+Kafka 高可靠事件驱动架构
一个"关注"操作背后,到底该写几次数据库、更新几层缓存?本文聊聊我在项目中基于 Outbox 模式的事件驱动实践。
可乐ea
3 天前
java
·
redis
·
mysql
·
elasticsearch
·
缓存
·
ai
·
kafka
【知识获取与分享社区项目 | 项目日记第 23 天】项目梳理下篇:高并发与最终一致性复盘:Redis、Kafka、Outbox、ES 与 RAG 如何协同
前面几篇分别讲了认证、发布、计数、关系、点赞、Feed、搜索和 RAG。这些模块看起来很多,但背后其实有一条统一主线:
我是一颗柠檬
3 天前
java
·
开发语言
·
分布式
·
后端
·
中间件
·
kafka
【Java项目技术亮点】Outbox事件驱动模式:解决分布式事务的终极方案
用户下单成功,但积分没加上,消息也丢了——这就是分布式事务难题。本文将揭秘Outbox模式如何用一张数据库表,优雅解决"业务操作与消息发送"的一致性难题,让系统可靠性提升100倍。
JAVA面经实录917
3 天前
java
·
kafka
·
rabbitmq
·
rocketmq
RocketMQ全套学习知识手册
RocketMQ 全体系学习文档(完整版・开发 + 运维 + 源码 + 面试合一)文档定位:从入门编码→集群部署→底层原理→线上调优→源码→面试全覆盖,可直接打印做学习笔记,整合前面全部知识点无遗漏。
Kyrie_Li
3 天前
分布式
·
kafka
Kafka-安装和配置(搭建环境)
在开始之前,我们先理清一个关键背景:Kafka 正在经历一个重要的架构演进——逐步移除对 ZooKeeper 的依赖,转向自研的 KRaft (Kafka Raft) 模式。这不仅是安装方式的差异,更代表了Kafka未来的架构方向,理解这一点对你后续的学习和选型很有帮助。
SilentSamsara
4 天前
服务器
·
开发语言
·
分布式
·
python
·
kafka
·
rabbitmq
消息队列集成:Python + Kafka/RabbitMQ 生产实践
在用户注册完成后,系统通常需要执行发送欢迎邮件、推送短信验证码、初始化用户画像缓存等一系列操作。若采用同步串行处理,主流程必须等待所有附属任务完成后才能返回 HTTP 响应。在实际业务中,这种设计往往导致接口延迟从 200ms 膨胀到 3 秒以上,严重影响终端体验。消息队列的价值在于将这些与主流程非强耦合的任务剥离为异步处理,在保障可靠性的同时,将接口响应时间控制在百毫秒级别。
我是一颗柠檬
4 天前
java
·
数据库
·
spring
·
缓存
·
kafka
·
rocketmq
【Java项目技术亮点】多级缓存一致性方案:Canal+MQ实现数据库与缓存的最终一致
用户修改了订单地址,但缓存还是旧数据,导致物流发错地方——这就是缓存不一致。本文将揭秘大厂如何用Canal监听MySQL Binlog,配合消息队列实现数据库与缓存的最终一致,让业务代码零侵入。
Chasing__Dreams
4 天前
分布式
·
kafka
Kafka--基础知识点--20--消费者平衡协议的增量式重平衡协议
Kafka 的增量式重平衡协议(Incremental Rebalance Protocol),也称为增量合作重平衡(Incremental Cooperative Rebalancing),是一项旨在改进传统消费者组重平衡过程的重大优化。这项改进通过 KIP-429 提案,从 Kafka 2.4.0 版本开始正式引入。
IronMurphy
4 天前
分布式
·
kafka
Kafka拷打!!!
Kafka 防丢一般从三端保证。生产者端设置 acks=all、开启重试和失败回调,必要时开启幂等生产者。Broker 端用多副本,配置合理的 replication.factor 和 min.insync.replicas,并关闭不干净 leader 选举。消费者端关闭自动提交 offset,业务处理成功后再手动提交。这样通常能保证不丢,但可能重复消费,所以业务要做幂等。
JAVA面经实录917
4 天前
java
·
面试
·
架构
·
kafka
·
rabbitmq
MQ高频面试题标准答案(Java后端/架构面试背诵版)
消息队列(MQ)是分布式系统中核心的中间件组件,核心用于解决系统耦合严重、同步链路阻塞、瞬时流量洪峰、分布式数据不一致四大核心痛点,是微服务架构、高并发业务的标配组件。在传统单体架构中,业务流程串行执行、系统高度集中,无需消息队列;但在分布式微服务架构下,多系统、多服务互相调用,同步调用会引发一系列性能、容错、稳定性问题,而消息队列通过异步通信、数据持久化、流量缓冲的能力,完美解决分布式业务的各类短板,具体核心价值如下:
Kyrie_Li
4 天前
运维
·
分布式
·
kafka
Kafka-基础知识总结
Kafka 最初由 LinkedIn 开发,后捐给 Apache 基金会,现在被广泛视为 分布式消息引擎 + 流处理平台。
Devin~Y
5 天前
java
·
spring boot
·
redis
·
spring cloud
·
微服务
·
ai
·
kafka
从Spring Boot到AI Agent:大厂Java微服务面试三轮实战问答解析
场景:某互联网大厂线下面试,业务聚焦电商 + 智能客服 + 大数据与AI服务。严肃面试官 VS 搞笑水货程序员小Y,一共三轮,每轮3-5个问题。最后附上详细答案解析,方便小白系统学习。
Tenifs
5 天前
后端
·
kafka
·
消息队列
·
rabbitmq
·
rocketmq
·
爱编程的阿彬
深入对比分析 RabbitMQ、RocketMQ 和 Kafka
在分布式系统设计中,消息队列(MQ)是实现解耦、异步和削峰的核心组件。RabbitMQ、RocketMQ 和 Kafka 是目前业界最主流的三款消息中间件。它们因为最初的设计背景和演进路线不同,在架构、性能和功能特性上有着本质的差异。
Rick1993
5 天前
kafka
·
rabbitmq
·
rocketmq
Kafka、RocketMQ、RabbitMQ 三大消息队列
我给你用最通俗、面试必过、工作直接用的方式讲清楚: Kafka、RocketMQ、RabbitMQ 三大消息队列到底差在哪?怎么选?
张小凡vip
5 天前
spring boot
·
kafka
·
linq
Spring Boot集成Kafka完整版
Spring Boot与Spring Kafka的整合,让开发者能够以声明式、低代码的方式实现生产者和消费者,无需关注底层连接和线程管理。