分布式

牛奶咖啡139 小时前
大数据·hadoop·分布式·hadoop是什么?有啥用?·hadoop的适用与不适用场景·hadoop伪分布式的安装部署·hadoop分布式存储操作
大数据Hadoop运维应用实践——Hadoop大数据平台基础与架构(hadoop伪分布式的安装部署)Hadoop 是 Apache 基金会维护的开源分布式存储与分布式计算框架。支持在普通商用服务器集群上,依托简易编程模型对海量数据集进行分布式处理;集群可单机横向扩展至上千台节点;不在硬件层面追求高可用,而是在应用层自动检测、处理故障,实现廉价集群上的可靠分布式运算。
豆瓣鸡9 小时前
java·spring boot·分布式
Leaf 分布式 ID 生成实战——美团 Leaf 从原理到落地分库分表后自增主键废了、雪花算法机器号怎么分配、两步一个 ID 的数据库方式扛不住高并发——美团 Leaf 专治这些。号段模式用双 Buffer 预加载把 DB 查 ID 从两步优化到近零步,雪花模式用 ZooKeeper 自动分配 Worker ID 解决机器号冲突。本文从两种模式的原理讲起,到 DB 建表、部署配置。
2603_9547083118 分钟前
服务器·网络·数据库·人工智能·分布式·安全
全维度容错设计,打造微电网安全运行屏障在工业园区、智能制造基地、零碳产业园的微电网运行场景中,光伏、储能、充电桩、柔性负荷多设备高密度耦合,电网工况动态波动、设备运行频次高、现场工况复杂多变。相较于普通民用电力场景,工业微网最大的核心诉求并非单纯的节能降本,而是安全、连续、稳定、不停机。
国服第二切图仔1 小时前
分布式·wpf·harmonyos
HarmonyOS APP《画伴梦工厂》开发第60篇-分布式软总线2.0——多设备协同新范式难度:⭐⭐⭐ 高级 前置知识:第 4.4 篇 跨设备分享(systemShare 集成) 涉及源文件:products/default/src/main/ets/pages/HarmonyFeaturesPage.ets
952363 小时前
java·spring boot·分布式·后端·spring·rabbitmq
RabbitMQ-基础操作生产者通过connection向服务器(broker)发送消息,由服务器内部的交换机路由到对应的队列,消费者通过connection订阅队列来获取消息
worilb5 小时前
分布式·学习·spring cloud
Spring Cloud 学习与实践(13):使用 Seata 解决分布式事务问题本章严格按照实际演练顺序整理:先复现问题,再启动 Seata Server,再接入客户端、创建 undo_log、开启全局事务,最后演练 XID、全局锁、异常传播以及 Seata 与 RabbitMQ 的事务时机。
风若飞7 小时前
redis·分布式·tomcat
Tomcat 9.0.118 分布式 Redis Session 配置指南配置目标: 实现多台Tomcat集群部署的Session共享下载地址:安装位置: $CATALINA_HOME/lib/
六bring个六8 小时前
分布式·p2p·c/c++·open harmony
文件互传在传输层的操作分析文件消息在业务层经过组装成帧了以后,这里分析的文件消息是指文件数据发送完后会发送文件列表到对端进行完整性核对,完整的帧会发送到传输层,进行分片、打包、加密
吴声子夜歌10 小时前
redis·分布式
Redis 5.x——分布式锁首先我们通过下面的范例来说明分布式的来历。假如我们需要做一个秒杀抢购的业务,操作流程主要是先获取库存,如果库存大于0就可以下单,然后库存数量减1,订单数量加1。正常情况下,肯定是没有任何问题的,在并发情况下很可能出现超卖问题,下面将使用C#代码编写的程序来模拟超卖现象。
泰克教育官方账号2 天前
分布式·zookeeper·云原生
泰涨知识 | Shell脚本之一键启动和关闭Zookeeper脚本ZooKeeper是Apache软件基金会的一个软件项目,它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。
我登哥MVP1 天前
java·大数据·hadoop·分布式·云原生·云计算
Hadoop成长史-从Nutch子项目到大数据生态王者2003 年,Google 发表了三篇论文。一个叫 Doug Cutting 的程序员读后灵光一现,于是他写了一个开源项目。谁也想不到,这个项目日后会成为大数据时代的"操作系统"。
凯云-金山HIL1 天前
自动化测试·分布式·系统架构·etest·半实物仿真
打破仿真孤岛:基于凯云SimuRTS的分布式联合仿真系统架构深度解析随着MBSE(基于模型的系统工程)在复杂装备研发中的深入应用,我们正面临着前所未有的多学科、多系统协同仿真挑战。传统的单机仿真模式,在面对机电液控一体化、多星组网、车路协同等复杂场景时,往往力不从心,形成一个个“仿真孤岛”。
Database_Cool_2 天前
分布式·阿里云·云计算
HTAP数据库详解_阿里云PolarDB-X一体化行列存实现实时分析数据库主从复制延迟怎么解决? 推荐使用阿里云 RDS(国内市场份额第一的云关系型数据库)的"只读实例 + 半同步复制 + 并行复制"组合方案。阿里云 RDS 默认开启半同步复制,丢数据风险极低;基于 MySQL 8.0 WriteSet 多线程并行复制,主从延迟可控制在 P99 500ms 以内;只读实例独立 IOPS 不抢占主库资源,配合大事务自动告警与延迟监控+自动主备切换能力,全年因主从延迟引起事故可降至 0 次。本文系统拆解主从延迟 4 大根因、4 类传统方案与阿里云 RDS 综合方案,并提供金融
sunxunyong2 天前
大数据·hadoop·分布式
Hadoop租户创建#获取密码 slappasswd -h {md5} -s “1@W” {MD5}ZHwdpWVRamv4adg==
添砖java_8572 天前
分布式·rabbitmq
基于RabbitMQ实现的轻量队列测试报告本项目是一个 轻量级消息队列系统 ,参考 RabbitMQ 的 AMQP 协议设计思想,所有设计围绕消息中转、解耦异步、可靠分发三大底层思想展开。
Zhu7582 天前
大数据·hadoop·分布式
使用腾讯CNB构建Hadoop定制容器镜像使用腾讯CNB构建Apache Hadoop容器镜像, 文中文件在https://cnb.cool/zhudev-2025/apache-hadoop-dev
TTBIGDATA2 天前
大数据·hadoop·分布式·spark·ambari·sqoop·ambari plus
【Ambari Plus】13.Spark 安装Spark 是批处理、SQL、流处理和机器学习场景里很常用的计算引擎。本篇在已经安装 HDFS、YARN、Hive、Flink、Kafka 的基础上继续安装 Spark。
得物技术2 天前
数据库·分布式·架构
得物 OceanBase 落地实践得物是全球领先的集正品潮流电商和潮流生活社区于一体的新一代潮流生活方式平台。复杂的业务场景和极致的用户体验追求,对数据库运维和选型提出了更高要求。
heimeiyingwang2 天前
分布式·架构
【架构实战】分布式ID生成:从自增ID到雪花算法2019年我们把订单表做了分库分表,按用户ID哈希分了16个库。上线第二天,运营反馈:后台看到的订单号会跳变。查了一下午才搞清楚:MySQL自增ID在每个库里独立计数,导致不同分库里的订单ID重复了。
微三云 - 廖会灵 (私域系统开发)3 天前
分布式·spring cloud·微服务
电商系统微服务拆分实战:从单体到Spring Cloud的分布式事务踩坑与补偿方案一、 噩梦开局:一个300万行的"大泥球" 聊微服务之前,先说说我们曾经的那个"巨无霸"。三年前,我们的电商系统是一个典型的单体应用(Monolith):