分布式

从零学习Kafka：生产者压缩前面了解了生产端的分区机制后，我们继续来看生产端的另一个重要的机制——压缩。说到压缩，第一个问题一定是 Kafka 在哪里进行压缩，又是在哪里进行解压的？

一只普通的码农

kafka在windows环境部署项目日志记录，使用到了kafka，但是部署环境存在windows环境选择自己适用的版本，本地环境为java11环境支持最高到4.0以下，我选用的为3.9.2

异步任务不用 Kafka 也行：用 Redis Stream 搭一套轻量级 Producer/Consumer 框架项目地址：interview-agent 技术栈：Java 21 / Spring Boot 4.0 / Redis 7 (Redisson) / PostgreSQL

逆境不可逃

黑马 RabbitMq 高级篇学习记录本文内容作了适度扩展，不止于黑马教的内容RabbitMQ 实现了 AMQP 0-9-1 协议，在分布式系统中用于异步通信、服务解耦和流量削峰。基础的收发消息只能覆盖简单场景，生产环境还需要解决消息丢失、重复消费、延迟任务和高可用等问题。本文覆盖消息可靠性全链路、死信队列、延迟消息的两种实现、集群部署（含负载均衡与 Docker 搭建）、跨集群通信（Federation / Shovel）、监控、安全与性能调优，每个主题都附带可运行的配置和代码。

分布式系统核心理论与实践：从CAP到工程落地单机时代其实挺好的。一个数据库实例，所有数据都在本地磁盘，事务ACID四个字母背后有成熟的实现，不用操心数据一致性——因为只有一份数据。

赵渝强老师

【赵渝强老师】Hadoop的伪分布部署模式Hadoop的安装和部署是大数据生态圈体系中最麻烦的一个。Hadoop部署完成后，进一步地部署Spark和Flink就非常容易了。Hadoop的部署模式分为本地模式、伪分布模式和全分布模式。在学习完成了ZooKeeper的相关内容后，还将进一步地学习Hadoop HA的部署。这里重点讨论一下Hadoop的伪分布部署模式。

GBase 8c 序列取值在分布式业务里的几个风险点我最近看 GBase 8c 对象和 SQL 行为相关资料时，对序列这类“小对象”重新留意了一下。序列平时不太容易被当成重点，很多时候只是给主键、流水号、任务批次号提供一个递增值。但真正落到分布式业务里，序列并不只是 nextval 这么简单。缓存、回滚、并发、迁移、业务排序这些因素叠在一起，很容易让开发和运维对它产生误解。

淡定一生2333

spark 3.3+ 之BloomFilter Runtime Filter小表left join超大表，耗时要超1.5h，而且发生了FetchException导致任务多次重试之后挂掉的情况：

原生 Zookeeper 实现分布式锁案例//1.建立分布式锁的结构//2.建立测试类

【大数据存储与管理】云数据库：02 云数据库产品【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识，分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化，以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。【GitCode

学Linux的语莫

消息队列 MQ 怎么选？RabbitMQ实操RabbitMQ 中文文档https://rabbitmq.cn/tutorials/tutorial-one-python

服务端高并发分布式结构演进之路核心思想：分布式不是"高大上"的代名词，而是迫不得已的无奈之举——当一台机器扛不住时，只能引入多台机器协作。业务永远比技术更重要，技术只是给业务提供支持。

Kafka集群搭建指南：KRaft模式彻底摒弃Zookeeper以前搭建 Kafka，还得先装个 Zookeeper，维护两套系统，不仅麻烦，ZK 还经常成为性能瓶颈。

分布式锁深度实战：从 Redis 到 Zookeeper 深度解析分布式锁是分布式系统中保证资源互斥访问的核心技术：本文将深入对比 Redis 和 Zookeeper 分布式锁的实现原理，帮助你在实际项目中做出正确的技术选型。

学习中.........

高并发架构下的 Kafka 与消息队列核心机制在架构设计之初，引入消息队列（MQ）通常是为了实现解耦、异步和削峰。面对当前主流的三大 MQ 组件，选型的核心在于业务场景的匹配度：

分布式部署项目若没有启动执行：需要改成 mysql_native_password 方式注意：将 your_password 替换为你想要设置的密码

努力努力再努力wz

【Redis 入门系列】为什么需要 Redis？一文串起缓存、分布式、读写分离、分库分表与微服务🔥 本文专栏：Redis 🌸作者主页：努力努力再努力wz💪 今日博客励志语录：最难的不是做出决定的那一瞬间，而是在此后无数个想要放弃的深夜里，依然能够在心里再一次‘选择’坚持。

番茄去哪了

单体转微服务：微服务保护和分布式事务（上）由于微服务链路中的某个服务故障，导致整个链路级联失败，这就是微服务雪崩使用一个限流器，当调用某个服务时，先经过限流器，使得同一时间服务请求的并发数小于或者等于限流器的阙值

念何架构之路

分布式详解分布式系统是由一组通过网络进行通信.为了完成共同的任务而协调工作的计算机节点组成的系统.分布式系统的出现是为了用廉价的普通的机器完成单个计算机完成的计算存储任务.目的是利用更多地机器.处理更多地数据.

Elastic 中国社区官方博客

将 Logstash Pipeline 从 Azure Event Hubs 迁移到 OTel Collector Kafka Receiver作者：来自 Elastic Álex Cámara逐步指南：将 Logstash pipeline 从 Azure Event Hubs 插件迁移到 OpenTelemetry Collector Kafka receiver。