分布式

蒙特卡洛的随机游走

Spark的persist和cache在 Spark 中，cache() 和 persist() 都是用于“数据持久化”的 API——核心作用是将计算后的 RDD/DataFrame 存储到内存或磁盘，避免重复计算（比如多次复用同一个数据集时，不用重新执行前面的转换逻辑），是 Spark 性能优化的核心手段之一。

蒙特卡洛的随机游走

Spark 中 distribute by、sort by、cluster by 深度解析在 Spark SQL 中，distribute by、sort by、cluster by 是 Shuffle 阶段数据分布与排序的核心控制算子，本质是通过干预“数据如何拆分到 Partition”和“Partition 内数据如何排序”，优化后续聚合、关联、数据落地等操作的性能。三者的核心关系是：cluster by = distribute by + sort by（同字段），但适用场景和实现细节差异显著。

梦里不知身是客11

Spark中的宽窄依赖-宽窄巷子在Spark中，宽窄依赖（Narrow and Wide Dependencies）是理解分布式计算和数据流动的关键概念，其特性与"宽窄巷子"的比喻有相似之处：

Kafka 作为事件流的商业模式正在消亡我想用文字表达一下业内许多人正在经历，但却没有人公开谈论的感受。直播流订阅量过大。实际上，太多公司都在争夺同一个相对较小的发布/订阅/事件直播市场，以及极其微小的流媒体处理市场。

智慧判官-分布式编程评测平台源码链接：https://github.com/kayden-0516/CodeBench-Distributed

RabbitMQ高级特性----生产者确认机制题记：在Java微服务开发中，对于一个功能需要调用另一个服务下的功能才能实现的情况，我们通常会使用异步调用取代同步调用，进而实现增强业务的可拓展性和实现故障隔离以及流量削峰填谷的目的。而消息队列就是异步调用的解决方案之一。不过在使用消息队列实现异步调用的时候，可能会出现消息无法传递到位进而导致业务信息出现差异的情况，因此消息的传递的可靠性就显得尤为重要。

小坏讲微服务

Spring Cloud Alibaba Gateway 集成 Redis 限流的完整配置以下是基于 Spring Cloud Alibaba Gateway 集成 Redis 限流的完整配置：

方圆想当图灵

Nacos 源码深度畅游：Nacos 配置同步详解（下）在上文 Nacos 源码深度畅游：Nacos 配置同步详解（上）中了解到，当配置发生变更时，Nacos Server 服务端会主动通知 Nacos Client 变更配置的内容，并且在通知失败后 Nacos Client 有主动拉取变更配置的机制保证配置的及时更新，接下来我们先看一下 Nacos Client 处理配置相关的流程图，之后再深入到源码之中：

方圆想当图灵

Nacos 源码深度畅游：Nacos 配置同步详解（上）大家好，我是方圆。最近学习了一下 Nacos 源码，顺便为 Nacos 开源项目提交了 10+ 个 PR，成为了 Nacos 项目的 Contributor。Nacos 是一个非常活跃且包容的社区，大家可以在 Github-Nacos 关注并认领 ISSUE。本篇文章基于 Nacos 的 3.1.0 版本，准备详细解释一下 Nacos 对配置管理的核心流程，方便之后了解和学习 Nacos 的同学。

Java后端常用技术选型 |（四）微服务篇国内微服务国产化以“自主可控+兼容信创栈”为核心，优先选：

Python与大数据：使用PySpark处理海量数据『宝藏代码胶囊开张啦！』—— 我的 CodeCapsule 来咯！✨写代码不再头疼！我的新站点 CodeCapsule 主打一个 “白菜价”+“量身定制”！无论是卡脖子的毕设/课设/文献复现，需要灵光一现的算法改进，还是想给项目加个“外挂”，这里都有便宜又好用的代码方案等你发现！低成本，高适配，助你轻松通关！速来围观 👉 CodeCapsule官网

尘世壹俗人

分离Hadoop客户端单独使用有很多时候，会遇到在非节点服务器上调用hadoop命令需求，考虑到尽量不增加集群负载，比如在一个节点上运行一个常驻服务提供接口，此时就可以那hadoop面向使用需要的资源拉出来作为一个单独的客户端使用，也就是下图中的这些文件夹但是！！！！！！！客户端拿出来之后，一定要注意一个相当关键的问题，不要让执行客户端的服务器持有集群的ssh公钥串，正常执行hadoop fs等命令时，不涉及节点直接的交互，但如果你没有其他反制措施，比如改了客户端的源码加校验这种，则一旦对方持有了ssh串就会通过Linux的身份校验

Zookeeper 笔记目录一般特性两大核心过程：选举 Leader 和写数据同步。选举 LeaderZAB 写数据同步常见问题

大G的笔记本

常见且高频的 ZooKeeper 面试题ZooKeeper 是一个开源的分布式协调服务，由 Apache 维护，主要用于在分布式系统中统一管理配置信息、命名服务、分布式同步和集群管理。

分布式环境下的一致性与幂等性想象一个令人心惊的场景：用户通过支付平台向商家转账100元。流程如下：然而，在步骤1成功后，步骤2由于网络抖动失败了。结果：用户的100元已被扣除，但商家并未收到。数据不一致发生了，用户资金受损。

RabbitMQRabbitMQ，是一个非常流行的开源消息代理软件，实现了高级消息队列协议。RabbitMQ 的核心基于 AMQP 协议，它引入了一些独特的概念来管理消息的路由和传递。

欧拉22.03系统安装RabbitMQ-3.6.10（RabbitMQ的安装需要首先安装Erlang，因为它是基于Erlang的VM运行的。） https://github.com/rabbitmq/erlang-rpm/releases/download/v24.3.4/erlang-24.3.4-1.el8.x86_64.rpm https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.10.7/rabbitmq-server-3.10.7-1.el8.noarch.rpm

RabbitMQ之交换机目录前言Exchange(交换机)的类型与应用???- 交换机的属性1.?直连交换机：Direct Exchange

大数据安全技术实验：Hadoop环境部署CentOS 7已经准备好一台，此时只有一台虚拟机，已经安装好了CentOS 7系统，接下来克隆出两台虚拟机。

RabbitMQ应用(2)对于RabbitMQ开发, Spring 也提供了⼀些便利. Spring 和RabbitMQ的官⽅⽂档对此均有介绍