分布式

唯余木叶下弦声4 小时前
大数据·分布式·python·kafka
Python连接Kafka收发数据等操作目录一、Kafka二、发送端(生产者)三、接收端(消费者)四、其他操作Apache Kafka 是一个开源流处理平台,由 LinkedIn 开发,并于 2011 年成为 Apache 软件基金会的一部分。Kafka 广泛用于构建实时的数据流和流式处理应用程序,它以高吞吐量、可扩展性和容错性著称。
Dylanioucn4 小时前
分布式·微服务·云原生
【分布式微服务云原生】详细介绍下dubbo和springcloud所能支持的微服务特性,为啥能支持的技术原理,以及适用的业务场景,并对两者各方面做个详细的比较在微服务架构中,Dubbo和Spring Cloud是两个非常流行的解决方案,它们提供了丰富的微服务特性,适用于不同的业务场景。本文将详细介绍Dubbo和Spring Cloud支持的微服务特性、技术原理、适用业务场景,并进行详细比较。
编啊编程啊程6 小时前
java·分布式·中间件·kafka
一文上手Kafka【下】在 Kafka当中,集群可以通俗地理解为一群协同工作的 “小伙伴”。你可以理解为现在有一个快递分发中心,这个分发中心就像是 Kafka 集群。 这个快递分发中心里有很多的工作人员,每个工作人员都可以接收包裹(消息)、存储包裹和把包裹交给正确的收件人(消费者)。这些工作人员就是 Kafka 集群中的服务器,也叫 【Brokers】。不同的工作人员可以负责不同的任务,有的可能专门接收来自特定地区的包裹,有的可能擅长把包裹快速交给特定类型的收件人。同样,Kafka 中的不同 Brokers 可以存储不同主题的消
液态不合群7 小时前
分布式·rabbitmq
记一次 RabbitMQ 消费者莫名消失问题的排查某天下午,生产监控告警:消息积压,队列 xxx 消息数超过 100;我第一时间想到的是应用服务是不是停了,但应用服务存活监控又没有告警,但我还是找值班运维同事帮忙确认了下,确认结果是服务的 6 个节点都是存活的,然后我又让运维确认了下队列的消费者情况,结果发现消费者列表中只有 2 个节点的消费者,其他 4 个节点的消费者不见了,所以消息消费不过来,导致了消息积压!
张某布响丸辣8 小时前
分布式·kafka·rabbitmq
Kafka与RabbitMQ:深入理解两者之间的区别在现代分布式系统架构中,消息队列作为异步通信的重要手段,扮演着至关重要的角色。Apache Kafka和RabbitMQ作为两大主流消息队列系统,各自具有独特的设计理念和优势。本文将深入探讨Kafka与RabbitMQ之间的主要区别,帮助读者在选择时做出更明智的决策。
蒲公英的孩子11 小时前
linux·c语言·分布式·负载均衡
并行程序设计基础——MPI接口一览目录1、A2、B3、C4、D5、E6、F7、G8、I9、K10、L11、O12、P13、Q14、R13、S
安科瑞 华楠12 小时前
分布式
安科瑞Acrel-1000DP分布式光伏监控系统在鄂尔多斯市鄂托克旗巴音乌苏六保煤矿5MW分布式光伏项目中的应用安科瑞 华楠摘 要:分布式光伏发电就是将太阳能光伏板分散布置在各个区域,通过小规模、模块化的方式实现电能的并网或独立使用,这种发电方式具有就近发电、就近并网、就近转换、就近使用的特点。近年来,技术进步和政策支持推动了光伏组件的成本持续下降,使得分布式光伏监控系统在住宅、商业及工业等多个领域得到了广泛应用。在当前全球能源转型的背景下,提升能源利用效率和优化管理流程是很多新能源科技公司面临的迫切需求,而分布式光伏监控系统的引入,正是满足这一需求的重要手段,本文介绍了安科瑞分布式光伏监控系统在鄂托克旗巴音乌苏六
明达技术12 小时前
运维·分布式·自动化
探索分布式IO模块的介质冗余:赋能工业自动化的稳健之心在日新月异的工业自动化领域,每一个细微环节的稳定性都直接关系到生产线的效率与安全。随着智能制造的深入发展,分布式IO(Input/Output)模块作为连接现场设备与控制系统的关键桥梁,其重要性日益凸显。我们自主研发的带有介质冗余功能的MR30分布式IO模块,正以其独特的优势,为工业自动化系统构建起一道坚不可摧的防护网。
it技术分享just_free13 小时前
运维·分布式·ceph·云原生·容器·kubernetes·k8s
kubernetes K8S 挂载分布式存储 ceph目录一、Ceph简介二、Ceph核心组件介绍三、安装Ceph集群1初始化实验环境1.1、配置静态IP:
编程卡拉米13 小时前
分布式·rabbitmq
RabbitMQ——消息的可靠性处理在业务的开发中,我们通常将业务的非核心业务交给MQ来处理,比如支付,在支付过后,我们需要扣减余额,修改支付单状态,修改订单状态,发送短信提醒用户,给用户增加积分等等(可能真是场景并非这么简单,这里举个例子),在这套业务中,修改订单状态,发送短信提醒用户,给用户增加积分这三个业务在特定场景下并非是核心业务,所以把他放在MQ消息队列中进行处理,在非核心业务执行的时候,可能出现多个问题,导致数据不一致,比如用户买了东西,发现自己的钱已经扣了,但是页面显示的还是未支付状态,这种情况就非常严重了,造成这个现象的原因
Dylanioucn13 小时前
分布式·docker·微服务
【分布式微服务云原生】使用Docker体验不同Linux发行版Docker 允许用户在同一个宿主机上运行多种不同的Linux发行版,而共享同一个宿主机内核。这种方式不仅节省资源,还非常方便进行环境测试和开发。
明达技术13 小时前
分布式
MR30分布式IO模块:革新纸巾包装,引领智能化绿色生产新纪元EtherCAT(以太网控制自动化技术)协议以其高带宽、低延迟特性,在工业自动化领域占据重要地位。我们自主研发的MR30分布式IO模块作为EtherCAT协议的杰出应用,集成了多种输入输出功能,通过EtherCAT总线实现与主站的高效通信与控制,为纸巾包装行业带来革新。
loss_rose77713 小时前
分布式·rabbitmq
【RabbitMQ】RabbitMq消息丢失、重复消费以及消费顺序性的解决方案RabbitMq消息丢失主要是有三种情况:生产者消息未发送到服务端、服务端消息没有做持久化导致丢失、消费端未收到消息。解决方案依次如下:
isNotNullX14 小时前
大数据·分布式·架构·spark
spark计算引擎-架构和应用定义:Spark 是一个开源的分布式计算系统,它提供了一个快速且通用的集群计算平台。Spark 被设计用来处理大规模数据集,并且支持多种数据处理任务,包括批处理、交互式查询、机器学习、图形处理和流处理。
花千树-01014 小时前
分布式·zookeeper·dubbo
Dubbo 如何使用 Zookeeper 作为注册中心:原理、优势与实现详解Dubbo 是一个高性能的 Java 分布式服务框架,而 Zookeeper 常被用作 Dubbo 的服务注册中心。Zookeeper 提供了分布式一致性和协调服务,Dubbo 通过 Zookeeper 实现服务注册与发现功能,确保在分布式环境下服务实例的动态管理和可靠发现。
HUT_Tyne26514 小时前
分布式·zookeeper·云原生
Zookeeper1、环境准备ZooKeeper服务器是用Java创建的,它运行在JVM之上。需要安装JDK 7或更高版本。
Dylanioucn15 小时前
分布式·微服务·云原生
【分布式微服务云原生】Dockerfile命令详解Dockerfile 是一个文本文件,它包含了一系列的指令,用于构建一个 Docker 镜像。下面是 Dockerfile 中常用命令的详细解释和示例。
小码哥呀15 小时前
分布式·rabbitmq
RabbitMQ简介RabbitMQ是一个广泛使用的消息服务器,采用Erlang语言编写,是一种开源的实现 AMQP(高级消息队列协议)的消息中间件; RabbitMQ最初起源于金融系统,它的性能及稳定性都非常出色; AMQP协议(http://www.amqp.org),即 Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计; 我们学的协议有哪些:(http、ftp)
爬山算法16 小时前
分布式
分布式事务解决方案3阶段的优点要深入探讨三阶段提交(3PC)与两阶段提交(2PC)的优点,并提供Java代码演示,我们需要先了解它们的基本原理和关键差异。然后,我会尝试解释3PC的优点,并以Java伪代码的形式提供实现的示例。请注意,由于2PC和3PC主要在分布式系统或数据库事务管理中使用,完整的实现会涉及网络通信、错误处理等复杂逻辑,以下提供的将是简化的逻辑示例,用于说明3PC如何工作。
武子康18 小时前
java·大数据·分布式·clickhouse·flink·apache
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu上节我们完成了如下的内容:将数据从 Flink 下沉到 Kudu 的基本思路如下:StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();:初始化 Flink 的执行环境,这是 Flink 应用的入口。