分布式

Hadoop 部署全流程教程：从新装 CentOS 到伪分布式与完全分布式本篇教程假设你刚刚完成一台 CentOS 的最小化安装，系统还没有配置业务环境。我们将从环境准备开始，逐步完成 JDK 安装、Hadoop 安装与配置文件编写，最终分别演示两种部署方式：

分布式爬虫架构：Redis+Scrapy打造企业级爬虫系统单机Scrapy的日采集上限，通常在一万条以内。有团队用单机跑商品采集，单进程日抓取量只有8000条左右，面对大促期间10万+的需求完全不够用；更麻烦的是，任务没有持久化，服务器一重启，待爬URL全部丢失，只能从头再来；去重集合放在内存里，超过16GB就开始频繁OOM，重复请求还会触发目标平台的风控，IP被封得越来越频繁。

Kafka请求进门口：Processor是怎么把请求读上来的摘要：上一篇讲 Processor 怎么启动、怎么把新连接注册到 Selector。但连接注册完只是第一步——真正的问题是：Producer 发过来的字节，Processor 是怎么读上来、怎么解析成一个完整 Request 的？这篇从 poll 到入队，把请求接收全链路讲透。

骑着蜗牛撵大象327

558 万美元训出 671B 模型：DeepSeek-V3 算法与系统的协同拆解大模型训练的成本焦虑已经从「能不能训」变成「能不能训得起」。同样规模的模型，不同团队烧的钱可能差一个数量级，差距不在显卡型号，而在算法与系统是不是一起设计的。DeepSeek-V3 用 1024 张 H800、约 278.8 万 GPU 小时、折合约 558 万美元跑完 14.8 万亿 token，这个数字本身就说明了一件事：省钱不是抠出来的，是设计出来的。

德迅云安全-上官

德迅游戏盾：面向 TCP 业务的分布式云安全防护方案在数字业务高速发展的当下，游戏、移动 APP、微端应用等 TCP 类业务持续面临严峻的网络安全威胁。T 级别 DDoS 大流量冲击、针对 TCP 协议的 CC 攻击，时常造成服务器瘫痪、玩家掉线、业务停服，给企业带来直接的经济损失与口碑伤害。德迅云安全作为高新技术企业、国家信息安全漏洞库（CNNVD）技术支撑单位，推出游戏盾产品，以新一代智能分布式云接入架构，为 TCP 端类业务打造安全与加速一体化的防护解决方案。

分布式锁演进：从一个用户下两单，到 Redisson，我改了四版这篇不是"分布式锁是什么"的科普。是我在点评项目里把一把锁改了四遍的完整记录：每一版都是因为上一版真的出了问题才改的。所有代码都是我自己仓库里的实现，不是课件。

hive —— 多机 AI Agent 协同的任务总线:分布式,多节点同时运行,保障不会宕机repo:https://github.com/skywalk163/hive状态：活跃开发中，按任务卡迭代，变更记在 CHANGELOG.md。 hive 是自包含的工具，没有并入任何其它项目。「光明（LightLang）」是一门独立的中文编程语言，与本项目无关——只是早期拿它的代码仓当过登记示例。

一条泥憨鱼

【RabbitMQ】高级篇👋 关于作者你好，这里是一条泥憨鱼　|　专注于后端开发、AI 前沿技术与计算机基础。 🏠 个人主页：一条泥憨鱼

初识Spark Core在之前的大数据系列博客中，我们深入学习了Hadoop的两大核心：HDFS（分布式存储）和MapReduce（分布式计算）。MapReduce的出现，第一次让人类拥有了处理海量数据的能力。

分布式锁场景问题假设电商系统有一个限量商品，库存只剩 1 件。用户 A 和用户 B 几乎同时下单，后端代码如下：两个请求可能同时读取到库存为 1：

每天一道题

CAP、Raft 与多数派：分布式系统如何达成一致？前面几篇我们学习了 MySQL 主从复制、Kafka 消息可靠性，以及跨服务的分布式事务。这些技术虽然解决的问题不同，但都涉及一个共同问题：

ray教程-18-性能调优与反模式仓库地址：github.com/hhk-png/cyc…本章目标：把「Ray 跑得慢」这件事变成可测量、可归因、可修的工程问题。读完你应该能做到三件事：知道开销花在哪四类地方、认出十个最常见的反模式、用 State API 自己测出优化前后的差别。

每天一道题

分布式锁真的安全吗？从 Redis 锁、Lease 到 Fencing Token前面学习 MySQL 事务时，我们讨论过行锁、间隙锁和 Next-Key Lock。对于单个数据库中的并发操作，MySQL 已经提供了相对完整的事务与锁机制。

小O的算法实验室

IEEE TAES，多无人机通信故障下的分布式任务分配与压制干扰通信中断和无人机失联会削弱集中式任务分配，论文提出基于CBAA的分布式动态任务分配算法DDTAA，通过通信质量因子评估干扰贡献，在环境变化较小时复用旧方案，在链路故障、目标显著移动或无人机持续失联时触发重算与任务重分配。仿真表明，该方法收敛速度快，干扰效能接近集中式GA，并优于固定和随机分配。

分布式锁与幂等服务部署到两台机器后，定时任务开始跑两次，优惠券被领了两回。单机锁在 JVM 里面，跨机器就失效了，于是分布式锁登场。但 setnx 一行命令的锁，坑比想象的多：锁自己会过期、会误删、会易主。把这三个坑和幂等的落地写法放在一起看，才是一套完整的防重复方案。

Redis分布式锁在tryAcuire()的过程中，如果抢到了锁，会定时延长锁的有效期。底层：不是 JDK ScheduledExecutorService，是 Netty 的 HashedWheelTimer（时间轮）调度的异步定时任务。

ray教程-15-RayServe与LLM服务仓库地址：github.com/hhk-png/cyc…本章目标：把 Ray Serve 从「一个 HTTP 框架」讲到「LLM 推理的编排层」。读完你应该能回答：Serve 的核心对象是什么、请求在集群里怎么走、自动扩缩与路由策略怎么选、Ray Serve LLM 走到了哪一步、以及哪些 API 已经死了、哪些还只是 beta。版本号与 PR 号都标注来源；查不到出处的写「未确认」，不编。

MySQL 实现分布式锁：悲观锁、乐观锁、唯一索引锁上一篇我们了解到分布式锁三大主流方案：MySQL、Redis、ZK。 MySQL 分布式锁是门槛最低的一种：不需要额外部署中间件，只要项目已经接入 MySQL，就能快速落地。很多后台管理系统、低并发定时任务防重场景都会优先选择它。

Android SISO 分布式编译集群配置方案组件作用推荐方案Scheduler（调度节点）任务调度、负载均衡EngFlow / BuildBuddy / Bazel Remote

KaiwuDB 分布式集群扩缩容，从原理到完整操作踩坑总结很多新手 DBA 会觉得扩缩容就是加机器删机器，实际远没有这么简单。分片迁移、副本、租约每一步出错，都可能造成业务抖动。