技术栈
paxos
青云交
18 小时前
java
·
大数据
·
边缘计算
·
工业互联网
·
分布式存储
·
paxos
·
数据协同
Java 大视界 -- 基于 Java 的大数据分布式存储在工业互联网数据管理与边缘计算协同中的创新实践(364)
嘿,亲爱的 Java 和 大数据爱好者们,大家好!我是CSDN(全区域)四榜榜首青云交!《2024 年工业互联网发展报告》显示,81% 的制造企业面临 “数据管理困境”:某汽车工厂的 2000 台设备每天产生 5TB 数据,因采用集中式存储,传输延迟超 800ms,导致生产线异常响应滞后 12 分钟,年损失达 3200 万元;76% 的边缘节点因算力不足,仅能采集数据无法实时分析,某风电场的风机振动数据需上传云端后才发现故障,停机维修成本增加 45%。
小小工匠
4 个月前
架构
·
哈希算法
·
raft
·
gossip
·
一致性哈希
·
paxos
·
range分片
架构思维:如何设计一个支持海量数据存储的高扩展性架构
每日一博 - 一致性哈希:分布式系统的数据分配利器分布式存储 - 那些关于分布式缓存的一二事儿深入浅出分布式缓存:原理与应用
-无-为-
1 年前
分布式
·
paxos
·
一致性协议
科普文:分布式数据一致性协议Paxos
1 什么是PaxosPaxos协议其实说的就是Paxos算法, Paxos算法是基于消息传递且具有高度容错特性的一致性算 法,是目前公认的解决分布式一致性问题最有效的算法之一。
Hello-Brand
1 年前
分布式
·
raft
·
cap
·
分布式算法
·
paxos
·
zab
架构与思维:4大主流分布式算法介绍(图文并茂、算法拆解)
之前的文章中,我们介绍过分布式事务的基础知识,也了解了分布式场景下常见一致性问题和解决方案,对分布式锁和CAS模式有一定的了解,有兴趣的同学可以通过下面链接到作者的两篇相关文章。
coffee_babe
1 年前
java
·
分布式
·
一致性
·
一致性算法
·
paxos
·
multi-paxos
分布式与一致性协议之Paxos算法(二)
想象这样一个场景,某地出现突发事件,当地村委会、负责人等在积极研究和搜集解决该事件的解决方案,你也决定参与其中,提交提案,建议一些解决方法。为了和其他村民的提案做区分,你的提案还得包含一个提案编号,以起到唯一标识的作用。与你的做法类似,在Basic Paxos中,兰伯特也使用提案代表一个提议。不过提案中除了包含提案编号,还包含提议值。为了方便表示,使用[n,v]表示一个提案,其中n为提案编号,v为提议值。
coffee_babe
1 年前
java
·
分布式
·
一致性
·
共识算法
·
cap
·
paxos
分布式与一致性协议之CAP和Paxos算法(一)
以InfluxDB系统中DATA节点的集群实现为例。DATA节点的核心功能是读和写,所以基本可用是指读和写的基本可用。我们可以通过分片和多副本实现读和写的基本可用。也就是说,将同一业务的数据先分片,再以多份副本的形式分布在不同的节点上。如图所示。除非这个3节点2副本的DATA集群超过一半的节点都发生故障,否则是能保障所有数据的读写的。
coffee_babe
1 年前
java
·
分布式
·
一致性
·
一致性算法
·
paxos
分布式与一致性协议之Paxos算法(三)
我们可以通过引入领导者(Leader)节点来解决第一个问题。也就是说将领导者节点作为唯一提议者,如图所示。这样就不存在多个提议者同时提交提案的情况,也就不存在提案冲突的情况了。这里补充一点:在论文中,兰伯特没有说如何选举领导者,需要我们在实现Multi-Paxos算法的时候自己实现。比如Chubby中的主节点(也就是领导者节点)是通过执行Basic Paxos算法进行投票选举产生的,那么如何解决第二个问题,也就是如何优化Basic Paxos执行呢