分布式

程序员阿鹏3 小时前
java·开发语言·分布式
分布式事务管理「本地事务」:你在超市买一瓶水,“选商品→付款” 两个操作在同一个超市(单节点 / 单数据库)完成,要么都成功(拿到水 + 扣钱),要么都失败(没拿到水 + 不扣钱),由超市(本地事务管理器)统一管控。「分布式事务」:你在电商平台下单(跨 3 个微服务):① 订单服务(创建订单)、② 库存服务(扣减库存)、③ 支付服务(扣减余额)。这 3 个服务对应 3 个独立数据库(跨节点),若订单创建成功、库存扣减成功,但支付失败,会导致 “有订单、库存少了、钱没扣” 的脏数据,分布式事务的核心就是解决 “跨节点操作
武子康4 小时前
大数据·分布式·架构·消息队列·系统架构·rocketmq·java-rocketmq
Java-213 RocketMQ(MetaQ)演进与核心架构:NameServer/Broker/Producer/Consumer 工作机制RocketMQ 的发展历程与阿里技术演进密不可分。其前身 MetaQ 最早名为 Metamorphosis(变形记),这个名字不仅是对作家卡夫卡中篇小说代表作的致敬,更暗示了这款消息中间件将经历从 Kafka 衍生到独立发展的蜕变过程。
2301_767902644 小时前
分布式·ceph
Ceph 分布式存储从入门到实战在海量数据存储场景中,Ceph 凭借「分布式架构、统一存储接口、高可用、可扩展」的核心优势,成为云原生时代的首选存储方案。它支持块存储(RBD)、对象存储(RGW)、文件系统(CephFS)三种存储类型,可部署在通用 x86/ARM 服务器上,无需专用硬件,能轻松扩展至 EB 级容量。
FinTech老王5 小时前
分布式·oracle·架构
制造业Oracle迁移替换:集中式vs分布式架构如何选择?在制造业数字化转型不断深化的背景下,数据作为核心生产要素,其管理能力直接关系到企业的运营效率与业务连续性。随着国家对信息技术自主可控要求的提升,以及企业对系统安全性和长期成本控制的关注日益增强,越来越多制造企业开始将原有的Oracle数据库逐步迁移至国产数据库平台。
风跟我说过她5 小时前
大数据·数据库·分布式·centos·hbase
HBase完全分布式部署详细教程(含HA高可用版+普通非HA版)本文详细记录两种HBase完全分布式集群的搭建流程:一是基于Hadoop HA(高可用)集群的HBase高可用部署(含备用HMaster),二是普通非HA版HBase完全分布式部署,涵盖安装包部署、配置文件修改、冲突问题解决、集群启停顺序等核心内容,步骤清晰可落地,适合大数据初学者参考实践。
十五年专注C++开发6 小时前
c++·分布式·自然语言处理·中文分词
Jieba库: 一个中文分词领域的经典库目录1.简介2.安装与集成3.核心功能代码示例3.1.基础功能:三种分词模式3.2.关键词提取(TF-IDF 算法)
Vic101016 小时前
java·数据库·分布式
【无标题】某天,代码review时看到同事实现的一个数据导入接口,逻辑清晰且考虑周全:接收Excel文件并保存到临时目录
武子康6 小时前
java·大数据·分布式·消息队列·系统架构·rocketmq·java-rocketmq
Java-216 RocketMQ 4.5.1 在 JDK9+ 从0到1全流程启动踩坑全解:脚本兼容修复(GC 参数/CLASSPATH/ext.dirs)我们先进入到目录,然后对软件进行下载:接着我们通过 wget 进行下载:对应内容如下所示:对应的结果如下所示:
回家路上绕了弯7 小时前
分布式·后端
分布式事务本地消息表详解:中小团队的低侵入落地方案在分布式事务领域,很多中小团队面临一个共性困境:既需要解决跨服务数据一致性问题(如订单创建后同步积分、支付成功后更新物流状态),又无法承担TCC、SAGA模式的高开发成本,也不满足2PC/3PC对“短事务、低并发”的限制。此时,“本地消息表+消息队列”的方案脱颖而出——它基于“本地事务+异步重试”的核心思路,实现了低侵入、低复杂度、高可用的最终一致性,成为中小团队和简单异步场景的首选分布式事务方案。今天,我们就全面拆解本地消息表的设计逻辑、执行流程、优缺点及落地要点。
Wang's Blog7 小时前
分布式·kafka
Kafka: 高吞吐量原理、应用场景Kafka作为分布式流处理平台,其设计理念与消息中间件存在本质差异,其消息中间件能力通过发布/订阅模型和Topic支持实现。相较于RabbitMQ等传统消息队列:
笨蛋少年派7 小时前
大数据·分布式·spark
*Spark简介目录引入 SparkSpark 概念定义相关概念Spark框架架构集群层面:集群管理应用层面:作业执行
十五年专注C++开发7 小时前
开发语言·c++·分布式·异步io
librf: 一款基于 C++11/14/17 标准实现的轻量级无栈协程库目录1.简介2.安装与集成3.使用示例4.适用场景5.与同类协程库的对比6.总结librf 是一款基于 C++11/14/17 标准实现的轻量级无栈协程库,主打高效异步编程,适用于高并发、低延迟的网络服务、仿真系统等场景,无需依赖操作系统内核线程调度,协程切换开销远低于传统线程。
好大哥呀7 小时前
大数据·hadoop·分布式
Hadoop yarnHadoop YARN(Yet Another Resource Negotiator)是 Apache Hadoop 生态系统的核心资源调度与管理框架,作为 Hadoop 2.0 及后续版本的标志性组件,它实现了资源管理与任务计算的解耦,为大数据集群提供了统一、弹性、高效的资源调度能力。
西***63478 小时前
分布式
分布式可视化驱动 —— 指挥中心音视频及智能管控系统实施体系指挥中心以监控、管理为手段,以控制、优化为目的,采用智能化、高效率的管理模式替代传统低效管理模式,提升信息系统管理效率与服务管理质量,降低人工操作及管理风险。建设过程中充分运用现代化音视频技术、数字化技术、计算机多媒体技术、网络技术、智能控制技术等先进技术手段。
武子康8 小时前
java·大数据·分布式·消息队列·rocketmq·java-rocketmq·mq
Java-215 RocketMQ 消费模式:Push vs Pull 的本质、长轮询机制与 Offset/积压调优要RocketMQ 提供了两种消息订阅模式,分别是 PUSH 模式和 PULL 模式,它们在实现机制和使用方式上存在显著差异:
侧耳倾听1118 小时前
java·分布式
分布式ID之雪花算法分布式ID:distributed id,在分布式系统中生成的全局唯一标识符。使用场景:订单号、分库分表环境下的数据库主键等
黛琳ghz8 小时前
分布式·性能优化·鲲鹏·服务·boostkit
BoostKit 性能优化原理与分布式存储 Global Cache 深度解析文章目录1. 背景与挑战2.什么是分布式存储3. 核心原理3.1 架构革新:Client-Server 分离架构
红队it8 小时前
java·数据库·hadoop·分布式·python·数据分析·spark
【数据分析】基于Spark链家网租房数据分析可视化大屏(完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程)✅目录一、项目背景细化二、研究目的细化三、创新点技术实现功能模块技术细节技术栈关键配置可视化示例代码(PySpark)
奥特曼_ it8 小时前
大数据·笔记·分布式·数据挖掘·数据分析·spark·毕设
【数据分析】基于Spark链家网租房数据分析可视化大屏(完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程)✔目录一、项目背景二、研究目的三、项目创新点四、项目功能五、开发技术介绍六、项目展示七、B站权威教学视频
Wang's Blog8 小时前
分布式·kafka
Kafka: 消费者限流策略与再平衡机制深度解析在Kafka高吞吐场景下,业务系统常因资源限制需实施消费端限流。 当出现流量峰值时,未受控的消费端可能引发服务崩溃。 本文提供三种工程级解决方案: