技术栈
分布式
weixin_42418361
5 小时前
c++
·
分布式
·
系统架构
开放—封闭原则实战(下):基于策略的流程编排与编译期多态
在上篇中,我们通过**“纯虚接口 + 泛型工厂 + 注册目录”的三位一体架构,彻底消灭了业务分发中心 dispatch() 里的 if-else,实现了业务类型在运行时的即插即用**。
仍然.
17 小时前
分布式
·
rabbitmq
RabbitMQ---事务和消息分发
RabbitMQ是基于AMQP协议实现的,该协议实现了事务机制。因此RabbitMQ也支持事务机制。Spring AMQP也提供了事务相关的操作。RabbitMQ事务允许开发者确保消息的发送和接收都是原子的。
frjc
10 小时前
分布式
分布式事务:场景与选型决策表
分布式事务的使用场景,本质上是由业务操作跨越了多个独立的资源(数据库/服务),且业务要求这些操作必须保持一致所驱动的。
GISMagic
10 小时前
分布式
·
ai coding
5.《Designing Data-Intensive Applications》:系统设计与分布式能力提炼
第五阶段学习目标:从软件工程、代码设计、应用架构进一步进入系统设计。核心问题:当一个程序变成一个真正的系统,面对大量数据、多个进程、多个服务和大量用户时,应该如何设计?
需要826
13 小时前
分布式
·
算法
分布式 ID 生成:雪花算法、号段模式与时钟回拨
关键词标签:分布式ID Snowflake 号段模式 时钟回拨 Leaf一个反直觉的结论先放在这里:Snowflake 的难点从来不是那 64 位怎么切,而是当 NTP 把机器时间往回拨了 3 秒时,你的服务该怎么办。 位运算部分看十分钟文档就能写对,但时钟回拨的处理策略,直接决定了这套 ID 方案在生产环境里是"能用"还是"能扛"。本系列前面聊过线程池、AQS、CompletableFuture 这些并发底座,分布式 ID 恰好是把这些底座和分布式协调揉在一起的一个典型场景,值得单独拆一次。
灯澜忆梦
17 小时前
分布式
·
rabbitmq
·
ruby
【RabbitMQ #11】 | 消费者可靠性
为了确认消费者是否成功处理消息,RabbitMQ 提供了消费者确认机制(Consumer Acknowledgement)。 当消费者处理消息结束后,向 RabbitMQ 发送回执,告知消息处理状态。回执分为 3 种:
灯澜忆梦
18 小时前
分布式
·
rabbitmq
【RabbitMQ #9】 | 生产者可靠性
场景:支付服务网络异常,消息发出但未消费,目标:保证消息至少被消费一次。 消息丢失三大场景:作用:客户端与 MQ 通信异常(网络断开、连接超时)时重试。
银河技术
20 小时前
分布式
·
微服务
·
重构
·
架构
·
spark
·
llm
·
rag
TB级文本去重实战:从单机 OOM 到 Spark / Ray 分布式架构的工程演进
适合谁:需要构建离线训练语料去重、并对删除结果承担审计责任的数据平台团队。默认策略:精确去重后,以字符 5-gram + MinHash LSH 找候选、真实 Jaccard 验证、连通分量选代表。不自动覆盖:热点桶、短文、超长文只保留并报告覆盖缺口。
deepdata_cn
20 小时前
分布式
·
data mesh
从集中式到分布式:Data Mesh颠覆传统数据架构的底层逻辑
在企业数字化深度落地的当下,数据已然成为核心生产要素,而数据架构作为数据价值释放的底层基石,正经历一场颠覆性的范式变革。长期以来,企业数据体系依托数据仓库、数据湖构建的集中式架构实现数据统一汇聚与治理,这套“中央集权”模式在数据体量小、业务场景简单的阶段,能够高效实现数据整合与标准化分析。但随着企业业务多元化扩张、数据量级指数级增长、实时决策场景常态化,集中式数据架构的瓶颈彻底暴露:数据流转滞后、治理效率低下、业务适配性差、规模化拓展困难,传统架构的顶层设计逻辑已无法匹配现代企业的数据运营需求。 在此背景
50084
21 小时前
javascript
·
分布式
·
react native
·
react.js
·
harmonyos
React Native for OpenHarmony 实战:三方库 react-native-device-uptime 的鸿蒙化适配指南
react-native-device-uptime 只做一件事:读设备自启动以来的运行时长。埋点上报"本次开机多久"、诊断异常重启、统计设备稳定性时会用到。
灯澜忆梦
1 天前
分布式
·
rabbitmq
【RabbitMQ #10】 | MQ可靠性
MQ 服务端的可靠性默认情况下,RabbitMQ 收到消息优先放在内存,降低收发延迟。带来两个问题:RabbitMQ 持久化分为三部分:
逐流人
1 天前
运维
·
分布式
·
ceph
·
云原生
·
云计算
·
rados
Ceph分布式存储集群配置与池管理:从配置优先级到PG、复本池与纠删码池
集群搭好只是开始——把配置管明白、把池和 PG 算对,才是 Ceph 能不能长期稳定跑下去的分水岭。Ceph 集群部署完成的那一刻,很多人的第一反应是"终于搞定了"。但真正在生产里待过一段时间就会明白:部署只是一次性动作,配置与池管理才是每天都要面对的事。一个 mon_allow_pool_delete 没开,你可能连一个测试池都删不掉;一次 pg_num 拍脑袋设错,集群可能在半夜自己掀起一轮全量数据重平衡,把本该给业务的 IOPS 全吃掉;而如果你用复本池去存冷数据、用纠删码池去跑数据库,那就是在容量
天天喝旺仔
1 天前
分布式
·
http
·
微服务
·
rpc
gRPC 底层原理:HTTP/2 多路复用、Protobuf 序列化与四种流模式
摘要:本文以官方文档为事实源逐层拆解 gRPC 的底层机制:HTTP/2 帧与流模型如何消除队头阻塞、Protobuf wire format 的 tag + varint 编码为何比 JSON 更小更快、四种流模式的消息顺序与取消语义,并附一个 proto 服务定义加 Go 客户端完整调用四种流模式的可运行示例,最后给出 REST vs gRPC 的选型方法与性能排查观察点。
灯澜忆梦
2 天前
分布式
·
rabbitmq
·
ruby
【RabbitMQ #5】 | 三大交换机 Fanout ,Direct ,Topic
前言:生产环境消息一般都经过 Exchange(交换机)转发,不会直接发送到队列。交换机主要分为 3 种:Fanout(广播)、Direct(定向)、Topic(话题)。
.冰块.
2 天前
分布式
·
ceph
·
rados
·
纠删码
·
复本池
·
cephx认证与用户权限
Ceph 分布式存储实战(二):存储池管理与 cephx 认证授权
本文是 Ceph 分布式存储系列的第二篇,深入讲解 RADOS 数据组织结构(Pool / PG / CRUSH)、池的创建与运维(复本池、纠删码池、快照、命名空间),以及 cephx 认证协议与用户权限管理。
我们从未走散
2 天前
分布式
从内存字典到租约内核:分布式上游账号池如何做到不超卖
AI 生图平台通常不会只有一个上游账号。为了控制限流、封号和额度风险,平台会把多个账号放进池里,再由多个 Worker 并发调度任务。
.冰块.
2 天前
分布式
·
ceph
·
架构
·
cephadm
Ceph 分布式存储实战(一):架构入门与 cephadm 集群部署
本文是 Ceph 分布式存储系列的第一篇,涵盖 Ceph 简介、架构组成、使用 cephadm 完成集群部署与初始化、以及集群基础配置(配置数据库、Monitor、网络)。
j7~
2 天前
分布式
·
架构演进
·
服务端高并发分布式结构演进之路
·
架构基本概念
·
架构评价指标
【Redis】《一文走完服务端高并发架构演进:从单机架构到 K8S 容器编排》
在进⾏技术学习过程中,由于⼤部分读者没有经历过⼀些中⼤型系统的实际经验,导致⽆法从全 局理解⼀些概念,所以本⽂以⼀个 "电⼦商务" 应⽤为例,介绍从⼀百个到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让⼤家对架构的演进有⼀个整体的认知,⽅便⼤家对后续知识做深⼊学习时有⼀定的整体视野。
Flynt
2 天前
分布式
·
git
·
开源
把 bug tracker 塞进 git 仓库,同步和冲突怎么解决?我把 git-bug 拆开实测了一遍
上周五(9 月 25 日)Hacker News 首页出现了一个讲 git-bug 的帖子——"嵌在 git 里的分布式 bug tracker",这两天涨到了 353 分。它能翻红有个前置事件——9 月 22 日发了 v0.11.0,这是项目 16 个月来的第一次发版,一口气带上了近 300 个 commit。更硬的背书来自 kernel.org 那边:b4 的维护者 Konstantin Ryabitsev 在今年的 Kernel Recipes 上演示了 b4 和 cgit 对 git-bug 的支