技术栈
kafka
失伟
19 小时前
mongodb
·
elasticsearch
·
kafka
·
kafka-connect
CDC(数据变更捕获)场景应用
由于mongodb多层嵌套,模糊搜索并不能很好的利用索引,导致查询比较慢,所以采用OpenSearch方案,用kafka+kafka connect同步mongodb副本集到OpenSearch上,搜索用OpenSearch搜索。
Msshu123
19 小时前
mongodb
·
zookeeper
·
eureka
·
kafka
·
consul
Type-C PD快充协议 PD快充诱骗协议芯片 PD/QC/FCP/SCP/AFC电压诱骗芯片
随着USB Type-C接口的普及和PD快充技术的快速发展,诱骗协议芯片作为连接充电设备与受电设备的关键元件,正成为电源管理领域的技术焦点。本文将深入解析Type-C PD快充诱骗协议芯片的工作原理、技术演进,并重点介绍业界领先的XSP25芯片解决快速充电方案。
失伟
20 小时前
分布式
·
kafka
kafka教程(新手使用单机版)
kafka是一个分布式消息系统、所谓消息系统主要功能就是发布/订阅。为了省事,直接docker安装了,docker-compose.yml文件如下 概念说明:环境中一共包含四个 1、zookeeper:kafka数据调度,关键组件 2、kafka组件 3、kafka-connect 4、kafka-ui:kafka图形可视化 版本说明:kafka采用稳定版7.4.1,最新版有KRaft能够替代zookeeper,为了保险起见还是先用稳定版,如果用最新版就不用安装zookeeper
java_logo
21 小时前
运维
·
docker
·
云原生
·
容器
·
kafka
·
kubernetes
·
apache
Apache Kafka Docker 容器化部署指南
Apache Kafka是一个开源的分布式事件流平台,旨在高吞吐量、低延迟地处理实时数据流。它最初由LinkedIn开发,2011年开源,2012年成为Apache Software Foundation顶级项目。Kafka广泛应用于流处理、数据集成、发布/订阅消息传递等场景,全球数千家组织使用它来支持关键业务的实时应用。
写bug的小屁孩
1 天前
分布式
·
中间件
·
kafka
5.Kafka-HW重要特性与场景分析
HW 机制确保了消费者在所有副本上看到的数据是一致的。无论消费者连接到哪个副本(Leader 或 Follower),它都只能读到 HW 之前的消息。
不吃饭的猪
1 天前
分布式
·
kafka
kafka输出报错
1,kakfa输出报错2,报错分析,报错显示kafka不支持事务,查官网验证kafka2.8版本是支持事务的,kafka是2.13-2.8.0的版本 3,代码中实现设置不适用事务也不行,2.8的客户端中实现实例的时候默认就是事务
写bug的小屁孩
1 天前
分布式
·
中间件
·
kafka
3.Kafka-数据存储流程
kafka的数据存储流程总共是分为四个阶段。生产者发送与Broker的接收、日志追加与持久化、数据持久化到物理磁盘和索引与日志段滚动的四个阶段。这里暂时只做个简单的说明。后续的文章才会详细说明每个阶段里的细节。
写bug的小屁孩
1 天前
分布式
·
中间件
·
kafka
4.Kafka-LEO+HW的定义与特性+工作流程
LEO和HW是Kafka数据一致性和副本同步状态的两个核心内容。定义:分区中最新的一条消息的偏移量+1,也就是下一条将要被写入的消息的偏移量位置。
小股虫
1 天前
分布式
·
kafka
·
linq
Kafka副本管理深度剖析:从同步失败到自动恢复的完整生命线
"Kafka集群告警:topic=order-events, partition=3 的ISR从[1,2,3]收缩为[1,2],当前min.insync.replicas=2,生产者写入开始阻塞!"凌晨2点,这样的告警让每个SRE心头一紧。这不是普通的故障,而是副本同步失败引发的连锁反应。更关键的是,为什么移除一个Follower后,系统没有自动补充新的副本?今天,我们就深入Kafka内核,揭开副本管理的完整生命线。
Zzzzzxl_
1 天前
java
·
jvm
·
spring boot
·
redis
·
ai
·
kafka
·
microservices
互联网大厂Java/Agent面试实战:Spring Boot、JVM、微服务、Kafka与AI Agent场景问答
场景背景: 本次面试在一家互联网大厂进行,岗位为高级Java/Agent工程师,主要负责微服务平台、消息中间件、AI Agent与RAG相关的工程化落地。面试官(严肃、善于引导)与资深工程师“牢大”进行问答,问题围绕业务场景展开,逐步深入技术细节与实现方案,最后附详尽答案,便于初学者学习。
杀死那个蝈坦
2 天前
java
·
kafka
·
tomcat
·
mybatis—plus
MyBatis-Plus 使用指南
MyBatis-Plus(简称 MP)是 MyBatis 的增强工具,在 MyBatis 基础上只做增强不做改变,简化 CRUD 操作、提供分页、逻辑删除、乐观锁等实用功能。本文涵盖 MP 从入门到高级特性的全维度使用教程。
路边草随风
2 天前
golang
·
kafka
·
gin
go实现接口接收数据写入kafka
在企业数字化运营与系统集成的大背景下,数据的 “实时接入 - 高效流转 - 可靠存储” 已成为支撑业务响应、数据分析、系统联动的核心诉求。各类业务系统(如前端应用、IoT 设备、第三方服务、内部微服务)产生的实时数据(用户行为、设备状态、交易请求、业务事件等),需要通过标准化接口快速接入,并实时分发至下游系统(如实时计算引擎、数据仓库、监控平台),以满足业务对低延迟、高可靠数据流转的需求。
小股虫
2 天前
分布式
·
kafka
Kafka深度解析:从日志处理到流处理的“数据管道扛把子
一句话总结:Apache Kafka是LinkedIn开源的分布式流处理平台,凭借"日志式存储+分区副本+流处理"的组合拳,实现了百万级TPS、毫秒级延迟、100%数据不丢失的能力,是日志收集、实时分析的"数据管道扛把子"! 核心亮点:Kafka的日志式存储和分区副本机制,让消息处理速度比传统消息队列快3倍,数据丢失率0%。
Zzzzzxl_
2 天前
java
·
jvm
·
spring boot
·
kafka
·
rag
·
microservices
·
vectordb
互联网大厂Java/Agent面试:Spring Boot、JVM、微服务、RAG与向量检索实战问答
文章标题:互联网大厂Java/Agent面试:Spring Boot、JVM、微服务、RAG与向量检索实战问答
白露与泡影
2 天前
分布式
·
kafka
·
linq
Kafka:消费者重试与死信队列的对应模式分析
在 Spring Kafka 中,消费者重试(@RetryableTopic) 与 死信队列(@DltHandler) 的对应关系及 死信 Topic 名称拼接 是保障消息可靠处理的核心机制。本文将详细解析两者的对应模式、Topic 名称生成规则,并结合生产实践给出最佳实践。
Hello.Reader
3 天前
sql
·
flink
·
kafka
用 Flink SQL 搭建一个实时统计应用Kafka → Flink → MySQL 实战
先看一下整个数据流的“文字架构图”:订单系统 把用户下单事件写入 Kafka Topic:orders,消息格式使用 JSON。
路边草随风
3 天前
java
·
大数据
·
flink
·
kafka
java 实现 flink 读 kafka 写 delta
在企业数字化转型向深度渗透的过程中,数据已成为核心生产要素,业务对数据处理的诉求逐渐升级为 “实时采集 - 统一计算 - 长期治理 - 全场景复用” 的全链路能力。日志流、交易流水、用户行为、物联网传感等实时数据持续爆发,这类数据既需要低延迟处理以支撑即时决策(如实时监控、动态营销),又需要长期可靠存储以满足离线分析、数据回溯、合规审计、模型训练等场景,传统数据架构的 “实时与离线割裂、存储治理薄弱、数据价值沉淀不足” 等痛点日益凸显。
zzhongcy
3 天前
kafka
·
rabbitmq
·
rocketmq
RocketMQ、Kafka 和 RabbitMQ 等中间件对比
这篇文章资料来自于网络,是对部分知识整理,这里只是记录一下,仅供参考RocketMQ 采用 "NameServer+Broker+Producer+Consumer" 的经典架构,最大特点是无状态设计:
写bug的小屁孩
3 天前
分布式
·
kafka
2.Kafka-命令行操作、两种消息模型
1.创建Topic2.查看Topic3.生产者发送消息4.消费者消费消息 ( --from-beginning:会把主题中以往所有的数据都读取出来, 重启后会有这个重复消费)
路边草随风
3 天前
java
·
大数据
·
flink
·
kafka
java 实现 flink 读 kafka 写 paimon
在数字化转型加速的当下,企业业务场景日益复杂,数据呈现出 高并发、低延迟、多源异构 的核心特征。日志采集、交易流水、用户行为等实时数据源源不断产生,这类数据不仅需要被快速接收、处理,更需要长期存储以便后续离线分析、数据回溯与合规审计,形成 “实时处理 + 离线复用” 的完整数据闭环。