分布式

不懂的浪漫6 小时前
spring boot·分布式·物联网·mqtt·架构
mqtt-plus 架构解析(六):多 Broker 管理,如何让一个应用同时连接多个 MQTT 服务很多 MQTT 项目真正进入生产后,都会碰到一个问题:应用往往不是只连一个 broker,而是同时面对云端、本地边缘、测试环境甚至不同协议接入层。mqtt-plus 当前的做法,不是把多 broker 做成多套系统拼接,而是让每个 broker 拥有各自独立的 adapter 和连接生命周期,同时让路由、监听注册、消息发布接口继续共享同一套核心模型。本文会结合 MqttBrokerDefinition、MqttClientAdapterFactoryRegistry、MqttBrokerAutoConfi
小夏子_riotous13 小时前
linux·运维·开发语言·分布式·云计算·openstack·swift
openstack的使用——5. Swift服务的基本使用在云原生和大数据时代,非结构化数据(如图片、视频、日志、备份文件)的存储需求呈爆炸式增长。传统文件系统难以应对海量小文件或超大对象的高效管理。为此,OpenStack 提供了 Swift —— 一个高可用、可扩展、分布式的对象存储服务。
刘~浪地球14 小时前
分布式·kafka·linq
消息队列--Kafka 生产环境最佳实践系列导读:本篇将深入讲解 Kafka 生产环境的部署、配置与最佳实践。✅ Kafka 架构:Broker、Topic、Partition ✅ 生产环境部署:集群规划、配置优化 ✅ 生产者实践:配置、同步/异步发送 ✅ 消费者实践:配置、手动提交 ✅ 监控运维:关键指标、监控工具
juniperhan15 小时前
大数据·分布式·flink
Flink 系列第8篇:Flink Checkpoint 全解析(原理+流程+配置+优化)流处理引擎通常为用户的应用程序提供三种数据处理语义,核心差异在于数据处理的重复度和准确性,具体如下:最多一次(At-Most-Once):用户的数据只会被处理一次,无论处理成功与否,都不会重试、不会重发。适用于对数据准确性要求极低的场景(如非核心日志统计),优势是处理速度快、无冗余。
lvyuanj16 小时前
分布式·zookeeper·云原生
zookeeper_cluster读者收益 阅读完本文,你将掌握ZooKeeper的核心原理,能够独立搭建生产级ZooKeeper集群,理解为什么分布式系统离不开它,彻底告别单机部署的生产隐患。
嵌入式老牛17 小时前
分布式·电力电子·mmc·固态变压器
SST专题3-1 基于光分路器的MMC分布式控制系统架构(二)基于光分路器的MMC分布式控制系统架构如图7所示。分布式控制系统架构由主控制器、PEBB和光分路器组成。主控制器于每个相单元所有PEBB模块控制器之间通过两个1分n路的光分路器连接,一个光分路器用于传输主控制器发送至PEBB模块控制器的下行信号,另一个光分路器用于传输PEBB控制器至主控制器的上行信号。
刘~浪地球17 小时前
分布式·rabbitmq·ruby
消息队列--RabbitMQ 高可用集群部署系列导读:本篇将深入讲解 RabbitMQ 高可用集群的部署与最佳实践。✅ RabbitMQ 架构:Exchange、Queue、Binding ✅ 集群部署:磁盘节点、内存节点 ✅ 镜像队列:高可用配置 ✅ 生产者实践:确认机制、持久化 ✅ 消费者实践:手动确认、并发消费
Albert Edison19 小时前
java·分布式·rabbitmq
【RabbitMQ】快速入门现在服务器上启动 RabbitMQ 服务打开 IDEA 创建一个 Maven 项目然后访问 Maven 仓库,去搜索【amqp-client】,选择第一个
想你依然心痛19 小时前
人工智能·分布式·harmonyos
HarmonyOS 5.0医疗健康开发实战:构建分布式健康监测与AI预警系统生命中没有四时不变的风景,只要心永远朝着阳光,你就会发现,每一束阳光都闪着希望的光芒。早安!随着人口老龄化加剧和慢性病年轻化趋势,主动健康监测成为刚性需求。传统健康APP存在三大痛点:数据孤岛(各品牌设备不互通)、监测滞后(仅记录不预警)、体验割裂(手机+手表+医疗设备各自为政)。
青春不流名19 小时前
分布式·kafka
kafka 集成OAUTHBEARER认证的例子日志格式Avro
洛豳枭薰19 小时前
分布式·kafka
kafka重平衡导致的消息重复消费或者消息丢失渐进式(增量合作式)重平衡:会不会导致乱序 / 丢消息? 结论先给你:渐进式重平衡本身不会主动导致消息丢失,但在特定场景下可能引发「乱序消费」和「重复消费」;如果配置不当,也会间接造成丢消息。它的核心优势是大幅降低重平衡的停机时间,但并没有从根本上消除重平衡对语义的影响,只是把风险从「全量暂停」变成了「局部、可控」。 一、先搞懂:渐进式重平衡到底是什么? 传统的 ** 全量重平衡 **(Kafka 2.4 之前默认): 每次重平衡,所有消费者一次性撤销全部分区,全组暂停消费,等待新分配完成后再恢复。 缺点
rannn_11119 小时前
java·redis·分布式·后端·缓存
【Redis|高级篇1】分布式缓存|持久化(RDB、AOF)、主从集群、哨兵、分片集群接下来继续学习Redis的高级篇,内容包含:分布式缓存、多级缓存、Redis最佳实践相关内容 本篇主要是介绍Redis的分布式缓存,为了解决单点Redis的问题,具体有:用RDB和AOF解决Redis的持久化问题,Redis的主从集群,Redis的哨兵以及分片集群 欢迎大家一起学习,共同进步🥰
014-code20 小时前
分布式·rabbitmq
rabbitmq消息积压:如何快速排查与处理线上消息队列积压了,消费者处理不过来,老板在群里@你——这时候怎么办?今天聊点实际的,从判断积压到快速处理,讲点能直接上手的东西。
rchmin20 小时前
数据库·redis·分布式
阿里Tair分布式锁与Redis分布式锁的实现区别Tair分布式锁与Redis分布式锁的核心区别在于:Tair通过增强的原生命令(CAS/CAD)简化了锁的安全释放与续租,并提供了更强的一致性保障;而原生Redis则需要通过Lua脚本实现相同逻辑,且在集群模式下存在因主备异步复制导致锁丢失的风险。
凌乱的豆包2 天前
分布式
Spring Cloud Alibaba Nacos 服务注册发现和分布式配置中心版本不匹配是新手最容易踩的坑,请严格遵守以下对应关系:建议:新项目直接使用 Spring Boot 3.2.x + SCA 2023.0.1.0 + Nacos 2.3.2。
独隅2 天前
人工智能·pytorch·分布式
PyTorch 分布式训练完整指南:策略、实现与模型选型PyTorch 通过 torch.distributed 模块提供工业级分布式训练能力,支持从单机多卡到万卡集群的全场景扩展。本文详解所有核心策略、实战代码模板及最适合分布式训练的模型类型(基于 PyTorch 2.x 最佳实践)。
墨北小七2 天前
分布式
小说大模型的分布式训练——张量并行架构设计与实现## 一、小说生成场景下的张量并行需求分析### 1.1 小说大模型训练的显存瓶颈小说生成是一个极具挑战性的长文本创作任务。与通用对话模型不同,小说创作需要处理完整的叙事结构、连贯的人物塑造和复杂的情节推进,这意味着模型必须具备**超长上下文建模能力**——单部小说的有效序列可能长达数万甚至数十万token。在训练这样的大模型时,显存瓶颈成为首要障碍。
豆豆2 天前
大数据·分布式·微服务·cms·政务·网站管理系统·站群cms
政务服务平台站群一体化解决方案政务服务网站作为政府面向公众提供信息与服务的主要窗口,长期以来面临以下问题:根据《政府网站发展指引》(国办发﹝2017﹞47号)和《政府网站集约化试点工作方案》(国办函﹝2018﹞71号)要求,建设“统一标准、统一平台、统一安全、统一运维”的政务服务平台站群体系:
昵称暂无12 天前
分布式·微服务·架构
分布式事务难题:Seata框架在微服务中的落地实践Seata(Simple Extensible Autonomous Transaction Architecture)是一款开源的分布式事务解决方案,提供 AT、TCC、SAGA 和 XA 模式,适用于微服务架构下的数据一致性需求。其核心模块包括 TC(Transaction Coordinator)、TM(Transaction Manager) 和 RM(Resource Manager)。
都说名字长不会被发现2 天前
分布式·乐观锁·悲观锁·redission·redis 分布式锁·数据版本
分布式场景下的数据竞争问题与解决方案在分布式系统中,数据竞争(Data Race)是指多个并发请求同时对同一数据进行读写操作,由于操作执行的时序不确定,导致最终的数据状态不可预期。不同于单机环境,分布式场景下的数据竞争面临更加复杂的挑战: