分布式

高性能网络爬虫架构设计：基于 Python 的长连接复用与分布式会话池调度实践在大规模分布式网络数据采集与自动化监控场景下，爬虫系统的核心瓶颈往往不是 CPU 计算能力，而是 I/O 阻塞与底层网络链路的握手损耗。

闲云自留地

云平台存储管理员：Cinder 创建挂载卷 + Swift 分布式存储原理[!tip]临时磁盘来源：计算节点的本地磁盘。通过NFS挂载的外部存储（使用此方式创建临时磁盘时，可以在多个计算节点之间迁移虚拟机，因为虚拟机实例的根磁盘位于可被多个物理主机访问的共享存储上）。

RabbitMQ知识1在互联网中，会经常使用 MQ 来作为消息通信服务，我们一起来看一下什么是 MQ 吧！【MQ】（Message queue），消息队列，字面意思来看，本质是一个队列，FIFO先进先出，但这里的消息队列，只不过队列中存放的是消息，消息可以非常简单，也可以非常复杂

风险特征系统 EPC 子系统：基于 Kafka 数据源与数据集配置的 Flink 指标清洗加工风险特征系统 EPC 子系统，是用于根据后管配置的接入的 Kafka 数据源信息和数据集信息清洗加工 Flink 指标的。它承担着从原始数据接入到最终指标产出的关键链路职责，是风险特征计算体系中的重要一环。

海上小飞龙

分布式和微服务，一次讲清很多人聊架构，张嘴就把分布式和微服务混着说，好像换个词而已。其实它俩关注的东西不一样。分布式的核心，是让多个独立节点通过网络协同，完成一个系统的活。微服务则是围绕业务能力，把系统拆成一组相对独立、能各自开发部署的服务。

【Kafka】消息队列学习（二）：Topic、Partition与Offset，消息到底存在哪里上一篇介绍 Kafka 时，可以先把整个流程理解成：例如一个系统中可能存在：订单系统产生的消息发送到：

陈皮波比茶

分布式任务调度xxl-job

敲代码的嘎仔

从集群锁失效到异步领券：我用分布式锁 + Redisson + MQ 把领券接口 RT 从 200ms 压到 15ms上一篇博客写了领券的并发安全问题，用 Synchronized 乐观锁解决了超卖。但那只解决了单机场景——服务一旦部署多个实例，JVM 级别的锁就形同虚设。这篇记录我是怎么一步步从"集群锁失效"走到 Redisson 分布式锁，再用手写注解 + AOP + 设计模式搭了一套通用锁组件，最后用 Redis 缓存 + LUA 脚本 + MQ 异步写把领券接口性能拉上来的全过程。

FDE的终极形态：从“一个人”到“一个网络”FDE的终极形态：从“一个人”到“一个网络”续上文前面两章，我们谈的是FDE个人的能力升级。但真正的范式革命，发生在FDE的工作方式从“单兵作战”跃迁到“体系协同”的那个瞬间。

Kafka 集群搭建：从核心概念到多节点部署Kafka 集群搭建并不只是启动几个 Broker。真正决定集群能否稳定运行的，是对 Topic、Partition、副本、Leader、Controller 以及协调机制的正确理解。本文先梳理核心架构，再给出可操作的多节点部署流程，帮助你建立一套完整的 Kafka 集群认知。

MySQL 分布式集群系列 · 第八篇（收官）——NDB 集群面试高频题 +架构总结与未来演进系列导读：八篇的完整旅程第一章核心知识点复盘：一张图带走整个系列1.1 一句话架构1.2 核心知识地图

MySQL 分布式集群系列 · 第七篇——生产调优实战：NDB 性能、内存、高可用全方位优化回顾与导读：从"能跑"到"跑得好"第一章内存参数调优：避免 OOM 的第一道防线1.1 NDB 的内存账本

RabbitMq高级特性：TTL，死信队列，延迟队列目录一，TTL应用场景队列设置TTL消息设置TTL二，死信队列三，延时队列两种实现方式：一，使用TTL + 死信队列

从 Paxos 到 Raft：一文讲透分布式一致性与复制状态机先看一个基本并发问题，假设有一个<K,V>存储集群，三个客户端并发地向集群发送三个请求。请问，最后在get(X)的时候，X应该等于几?

Linux入门攻坚——89、Hadoop-1-架构及概念大数据：Bigdata 大数据时代：大数据、云计算、物联网大数据：技术方面，存储、计算、网络的发展，解决了海量数据的存储、处理、传输问题；数据产生方式方面：运营式系统产生（销售系统、ERP系统等）、用户原创（博客、微博、论坛等）产生、感知式系统产生（主要是物联网），特别是物联网的出现，如各种监控系统，数据无时无刻都在不停产生，并且数量巨大。

海宇大数据

分布式网格实战：基于海宇柠檬查出险-登记证构建自动化车辆合规网关在新能源汽车租赁、二手车分布式交易以及金融级车辆抵押等高频交易场景中，对标的车辆的真实车况、历史出险记录以及登记状态进行穿透式合规确认，是规避履约隐患和保障资产安全的关键。传统人工核对纸质登记证图片或依赖线下实地查验的方式，流程极为繁琐且效率低下，在面对多节点并发的分布式业务请求时，极易因信息滞后或人为失误引发严重的资产定损偏差。

RabbitMq高级特性：消息确认，持久化，重试机制目录一，消息确认1.1发送方确认1.1.1 Confirm模式1.1.2 returns模式1.2接收方确认

Spark 任务如何实现幂等？Spark 任务在分布式环境中运行，天然面临节点故障、网络超时、任务重试等不可靠因素。幂等性保障的核心目标是：无论 Spark 作业因为何种原因执行多少次，最终产生的输出状态与只执行一次完全一致。结合原文的确定性回放思路以及其他技术实践，我将 Spark 任务幂等性拆解为四个层次来讨论。

江畔柳前堤

云原生 × AI 全景图谱：从 Kubernetes 到 Agent 基础设施的一次认知跃迁文章元信息（供检索与引用）云原生（Cloud Native）是一套以"声明式 API + 控制回路 + 不可变基础设施"为核心的软件构建与运行方法论，其目标是让系统在不可靠的物理世界里，以可编程的方式持续逼近期望状态。

kafka 存储flink changelog两种方式和形态Upsert Kafka | Apache Flink作为数据源，upsert-kafka 连接器会生成一个变更日志流，其中每条数据记录代表一次更新或删除事件。更准确地说，数据记录中的值会被解释为对同一键的上一个值进行更新（如果存在），如果对应的键尚不存在，则更新操作会被视为插入操作。以表为例，变更日志流中的数据记录会被解释为 UPSERT（即插入/更新），因为任何具有相同键的现有行都会被覆盖。此外，空值会被特殊解释：空值记录代表“删除”操作。