分布式

大数据Spark（八十七）：Spark-Submit 参数详解文章目录Spark-Submit 参数详解一、基本参数二、资源相关参数三、参数配置实践建议四、总结在 Spark 中，spark-submit 是用于将应用程序提交到集群运行的命令行工具。通过 spark-submit，用户可以将编写好的 Spark 作业提交到不同的集群管理器（如 Standalone、YARN、Mesos、Kubernetes 等）上执行。合理配置 spark-submit 参数，不仅决定了作业能否正常运行，还直接影响资源利用率和执行效率。本文对 spark-submit 的常用参数进

第二篇：《CommitLog + ConsumeQueue：一条日志解决 Kafka 多分区随机写的难题》标签：RocketMQ | CommitLog | ConsumeQueue | 存储模型 | 顺序写 | 零拷贝 | Kafka | 面试适合人群：想搞懂 RocketMQ 存储为什么这么设计、被“顺序写高性能”一句话打发过的工程师阅读收益：搞清楚 CommitLog 和 ConsumeQueue 各自存了什么、为什么 RocketMQ 要用“写一条、读两次”的模型、Kafka 的多分区存储在 Topic 数量增长后为什么会出现随机写、以及 ConsumeQueue 的 20 字节到底装了什么

Alluxio + OCI：为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐本文作者： Pinkesh Valdria - OCI 全球 AI/ML/GPU/ 存储基础设施专家团队总监 Bin Fan -Alluxio 创始成员、技术副总裁

阿卡好可爱

Lua 热更新不生效：改完文件线上仍是旧逻辑，package.loaded 与 upvalue 重绑定详解复现条件：Lua 5.5.1（skynet 源码树内 3rd/lua/lua 的编译产物），两个模块加两个脚本。mod.lua 在被加载时读取同目录 version.txt 里的整数当作自己的版本号，holder.lua 持有对 mod 的独立引用。

ray教程-28-附录G-CICD与Slurm与云上调度仓库地址：github.com/hhk-png/cyc…这份附录回答三个正文没展开的问题：Ray 应用的 CI/CD 长什么样、只有 Slurm 没有 Kubernetes 的集群上怎么跑 Ray、云上这套东西到底花多少钱。最后补一节"Ray 和 Airflow 这类编排器怎么接"。四节按同一个标准写：能给全的命令给全，给不出的版本号、字段名、默认值一律写未确认 —— 示例代码请当骨架读，不要当"照抄就能跑"。

【Kafka 从入门到实战】从手写一个队列到生产级消息中间件：架构、分区、消费组、零拷贝全解析面试官问"Kafka 为什么快"，你只会答"零拷贝"？这篇从手写队列开始，一层层讲透 Kafka 的架构与设计。含完整可运行 Python 代码（建 Topic / 生产者 / 消费者）+ 踩坑记录 + 高频面试题。

锁一篇搞定：乐观锁、悲观锁、CAS、数据库锁与分布式锁【从零开始的 Web 后端学习】面向零基础，咱们从“两个请求同时改一条数据”开始，把 Java 锁、CAS、数据库锁和 Redis 分布式锁一次串起来。

严肃小白兔

Cloudflare Durable Objects 支持自动重试：分布式调用如何避免重复执行？在分布式系统中，一次远程调用失败，并不一定意味着被调用方没有执行操作。假设我们正在开发一个在线购物车服务。用户点击“增加一件商品”，前端向服务器发送请求，服务器再调用负责保存购物车状态的远程对象。

ray教程-27-附录F-RayClient与runtime_env与多语言仓库地址：github.com/hhk-png/cyc…本附录补三个正文里被一笔带过、但实际最常撞到的洞： runtime_env 到底怎么工作（第 21 章 A.7 只有一张八行的表）、 Ray Client 到底还能不能用（它只出现在术语表和地址表里）、 Java / C++ 绑定到底是什么水平（第 01 章的架构图里只有一个方框）。三者是同一句话的三个侧面：我的代码和依赖，怎么到达集群上的那个 worker？凡是本书没能在官方文档或源码里核对的，一律标注未确认，不做猜测。

ray教程-25-附录E-端到端实战案例仓库地址：github.com/hhk-png/cyc…把整本书的能力拼成一条真实流水线：数据准备 → 批量推理 → 训练 → 在线服务 → 可观测性 → 容错。配套代码 mini-ray/examples/11_end_to_end.py，可以直接运行（纯 Python + NumPy，无需 GPU）。每一节都给出「真实 Ray 里对应哪个组件」，所以这份案例可以直接迁移到生产栈。

迅翼SwiftWing

编队系列(二)｜固定翼如何依靠邻居信息保持队形？一致性控制、通信拓扑与分布式仿真实现，附仿真代码上一篇《编队系列（一）｜固定翼领航-跟随如何实现？虚拟结构与 LQR 控制，附仿真代码》采用一架领航机发布状态、其余飞机跟踪编队槽位的方式。该结构的信息关系清晰，适合双机伴飞和小规模编队验证；但随着成员数量增加，领航机的通信负担、单点失效以及长距离状态转发开始成为需要单独处理的问题。

幂等消费者与重试副作用：Kafka 端点接入时的去重边界假设你所在团队有一个存量订单库，业务部门希望把 Kafka 中不断流入的“订单变更事件”同步到旧系统的客户积分表里。Kafka 主题里同一条事件可能不止出现一次：生产者发送超时后重发、消费者处理完但提交位点前进程崩溃、再均衡后分区被重新分配，都会让同一业务事件再次进入你的处理逻辑。你要完成的任务不是“把 Kafka 教程再读一遍”，而是：让这条 Camel 路由在重复投递时只产生一次业务效果，并且能说清楚哪些重复它能挡住、哪些挡不住。

第三篇：《从 ZooKeeper 到 KRaft 的迁移实战：前置条件、三阶段流程与回滚策略》在前两篇文章中，我们从“为什么移除 ZooKeeper”讲到了 KRaft 的内部架构——元数据作为一条 Raft 复制的日志，由 Broker 消费对齐。但理解架构是一回事，把一套正在承载业务的 ZooKeeper 模式集群安全迁移到 KRaft，是另一回事。迁移的核心挑战不在于“能不能迁”，而在于在迁移过程中，业务不中断、元数据不丢失、并且始终保留一条可回退的路径。KRaft 的迁移设计正是围绕这个目标构建的：ZooKeeper 在迁移期间始终保持权威，直到你主动放弃它。本文从迁移的硬性前置条件讲起

真上帝的左手

30. 技术专题-‌应用框架组件-关系型数据库-MySQL-Mybatis我记得刚学 Java 那会儿，带我的老大哥让我连个数据库查个用户列表。我吭哧吭哧写了半天 JDBC——Class.forName、DriverManager.getConnection、Connection.prepareStatement、ResultSet 遍历、finally 里关连接……代码写了 40 行，功能只是查了 3 条记录。

程序猿乐锅

万字详解Single-flight（单飞模式）这篇文章讲解single-flight相关知识，并通过牛肉哥项目的AI-meeting来加深对这个知识点的印象。

推理 INFRA 方法论（2）：分布式推理：TP、DP、EP、CP 与 PP 的取舍博客：Johney Zheng 的博客 · 全部文章索引 · 本文原文围绕权重、KV、激活和通信预算，推演 Attention 与 MoE 的并行组合，并分析长上下文和流水线的额外约束。

Redis 分布式锁：从 SETNX 误删到看门狗自动续期的原理与实践分布式锁几乎是后端面试和工程实践里出现频率最高的话题之一。但"会用 Redisson"和"真正理解它为什么安全"之间，隔着几个经典的坑：业务没执行完锁就过期、旧持有者误删新持有者的锁、持锁节点宕机后会不会死锁。

真上帝的左手

30. 技术专题-‌应用框架组件-缓存-Redis你现在打开项目代码，搜索 RedisTemplate，匹配到的地方是不是都有这么几行——查缓存、写缓存、删缓存？你对这套操作早已烂熟于心，闭着眼都能写出来。

斯普信专业组

Kafka 3.9.1 三节点集群部署方案（ZooKeeper 模式）本文采用 ZooKeeper 模式部署 Kafka 三节点集群：集群元数据（Topic、分区、副本分配、ACL、controller 归属）存放在独立 ZooKeeper 集群的 znode 下。