分布式

wWYy.1 天前
分布式·rpc
基于Raft分布式Kv存储:RPC在这个项目里,RPC 可以理解为整个分布式 KV 系统的“远程通信层”。它负责让不同进程、不同端口上的对象能够互相调用方法。RPC 本身不实现 Raft 算法,也不存储 KV 数据;它负责把请求送过去、调用正确的方法,再把结果送回来。
Francek Chen11 小时前
大数据·hadoop·分布式·mapreduce
【大数据处理与分析】实验5:MapReduce初级编程实践【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
布鲁飞丝9 小时前
分布式·kafka
kafka 副本集设置和理解大家好,我是你们的老朋友——资深技术博主。今天我们来聊聊 Kafka 中一个非常核心但又容易被初学者忽略的概念:副本集。如果你用过 Kafka,肯定知道它是个高吞吐、高可用的消息队列,但高可用是怎么实现的?答案就藏在副本集(Replica)里。简单来说,副本集就是数据的一份“备份”,确保当某台机器挂了,数据不丢、服务不停。本文会用通俗的语言、结合实际代码,带你彻底搞懂副本集。## 什么是 Kafka 副本集?先打个比方:假设你写了一篇重要论文,只存在一台电脑里。如果电脑坏了,论文就没了。但如果你把论文复制
笨蛋不要掉眼泪7 小时前
java·分布式·rabbitmq
RabbitMQ消息队列:发送者的可靠性消息从生产者到消费者,经过以下流程:每一步都可能出问题:因此,可靠性保障需要 三管齐下:✅ 确保生产者一定把消息发送到 MQ
cyadyx8 小时前
分布式·rabbitmq
RabbitMQ 使用说明文档RabbitMQ 是一个开源的消息代理软件(Message Broker),用于在分布式系统中实现消息的异步传递。它基于 AMQP(高级消息队列协议)标准,支持多种编程语言,如 Python、Java、C# 等。
songgz9 小时前
jvm·分布式·vm
ZenithVM:从虚拟机到分布式操作系统内核1981 年,数据库先驱 Michael Stonebraker 发表了一篇振聋发聩的论文 "Operating System Support for Database Management",其中写道:
番茄炒鸡蛋加糖9 小时前
分布式
分布式 ID分布式系统全局唯一主键,用来替代单库自增 ID。 四大硬性要求:场景说明短信业务数据量大,短信流水表会做水平分表,比如按月份拆分sms_log_202607、sms_log_202608两张表。 每张独立表的自增主键都是从 1 开始自增。
独行侠影a1 天前
数据库·redis·分布式
APScheduler+Redis 分布式定时任务:解决多实例任务重复执行在实际项目开发中,定时任务几乎是标配:数据统计、报表生成、订单超时关闭、缓存刷新、消息重试…… 我们最常用的就是 APScheduler 这个 Python 定时任务框架。
香菜TTT1 天前
分布式·架构·kafka·linq
Kafka_深度解析_从架构原理到生产实践摘要:Apache Kafka 作为当今最流行的分布式流处理平台之一,已经成为现代数据架构的核心组件。本文将从 Kafka 的核心概念出发,深入剖析其底层架构、存储机制、高可用设计以及生产环境中的最佳实践,帮助你构建对 Kafka 的系统性认知。
zcmodeltech1 天前
服务器·数据库·分布式·stm32·单片机·嵌入式硬件
智能矿井沙盘模型多系统协同控制系统设计:基于STM32与Modbus RTU的感知-传输-控制一体化方案智能矿井沙盘模型涉及环境感知系统(甲烷/一氧化碳/风速/温度/粉尘/矿压等多类型传感器)、智能控制中心、井下通信网络(5G/WiFi6/UWB定位基站)、煤矿工作面实训装备等多个子系统的协同控制。一套完整的智能矿井沙盘控制系统,需要实现“环境感知层采集数据→网络传输层实时回传→智能控制层分析决策→执行层自动响应”的完整闭环。与煤矿设备模型(聚焦单体设备动作)不同,智能矿井沙盘控制系统的核心是多层协同与双向联动——地面调度中心指令下发、井下设备状态反馈、传感器数据实时映射,每个环节的控制逻辑必须与实际智能矿
wWYy.1 天前
分布式·rpc
基于Raft分布式Kv存储:RPC调用RPC 的调用过程可以分成三部分:服务注册、客户端发起调用、服务端处理并返回响应。下面以 Raft 节点 0 调用节点 1 的 AppendEntries 为例。
笨蛋不要掉眼泪1 天前
java·分布式·rabbitmq
RabbitMQ消息队列:SpringAMQPSpringAMQP 是 Spring 官方基于 RabbitMQ 提供的消息收发模板工具,它遵循 AMQP(Advanced Message Queuing Protocol)协议,具备跨语言特性,并对 SpringBoot 实现了自动装配,极大简化了开发流程。
发量惊人的中年网工1 天前
运维·网络·分布式·物联网
SD-WAN如何赋能工业物联网?打造工厂网络远程连接和数据传输新方案智能制造、工业互联网发展迅速,越来越多制造企业正在推进设备联网、生产数据采集和远程运维。但在实际落地过程中,工业物联并不像想象中简单。一边是分布在不同城市、不同园区甚至海外工厂的大量 PLC、机器人、数控设备;另一边是复杂的网络环境、不同工业协议以及高昂的维护成本。传统依赖专线和人工驻场的连接方式,正在难以满足企业对低成本、高稳定、易管理的网络需求。 如何让分散的工业设备像处于同一局域网一样稳定通信?如何降低跨地域设备管理成本?SD-WAN国内组网正在成为工业物联网升级的重要技术方案。
段一凡-华北理工大学1 天前
数据库·人工智能·分布式·搜索引擎·特征工程·高炉智能化
AI推动工业智能化转型~系列文章05:特征工程:工业 AI 的第一生产力工业 AI 界有一句被反复验证的箴言:“特征决定模型上限,算法只是逼近这个上限。” 在工业表格数据上,一个精心设计的特征体系可以让线性回归跑赢草率建模的深度网络。本期给出工业特征工程的完整方法论:特征构造的四层体系、物理驱动特征的构造范式、以及特征质量的三重检验。
斯普润布特1 天前
分布式·kafka
Kafka KRaft 三节点 ARM64 Docker 部署适用环境:Linux ARM64、Docker、KRaft 无 Zookeeper 架构、SASL_SSL 双向加密集群
笨蛋不要掉眼泪1 天前
java·分布式·rabbitmq
RabbitMQ消息队列:交换机机制在 RabbitMQ 中,交换机(Exchange) 扮演着“消息路由器”的角色。它接收生产者发送的消息,并根据既定规则将消息分发到一个或多个队列中。
zcmodeltech1 天前
服务器·分布式·stm32·嵌入式硬件·物联网·能源
智慧农业沙盘模型物联网控制系统设计:基于STM32与Modbus RTU的传感器-执行器闭环方案智慧农业沙盘模型涉及智能温室大棚、智慧大田、智能灌溉与水肥一体化、智慧养殖、农业物联网数字孪生等多个场景,涵盖空气温湿度传感器、土壤墒情传感器、光照传感器、CO₂浓度传感器、电动天窗、遮阳帘、风机湿帘、滴灌/喷灌电磁阀、水肥一体化泵组、北斗导航农机、植保无人机等多个执行器的协同控制与数据采集。一套完整的智慧农业沙盘物联网控制系统,需要实现“传感器采集→边缘计算→执行器响应→数据上云→数字孪生映射”的完整闭环。与工业场景的设备协同控制不同,智慧农业场景的核心控制逻辑是多变量耦合判断——温度高了开风机、土壤干
想你依然心痛1 天前
人工智能·分布式·物联网·区块链·智慧农业·harmonyos·开发实战
HarmonyOS 5.0智慧农业开发实战:构建分布式农业物联网与区块链农产品溯源系统如果赚钱能让我过得好一点,我不介意在二十几岁的时候这么拼命,因为我不知道未来的我,或者是三四十岁的我有了其他生活羁绊后还有没有拼命的资本。
L1624762 天前
分布式·kafka·rabbitmq
消息队列(MQ)总览:RabbitMQ & Kafka 完整手册本文整合 RabbitMQ 与 Kafka 的核心作用、单节点部署、集群部署、Docker 部署、基础操作,形成一份完整的查阅手册。
珠***格2 天前
网络·人工智能·分布式·架构·能源
分布式光伏电站:四可装置如何实现 “可观、可测、可控、可调”随着电网对分布式光伏并网管控日趋精细化、标准化,各类工商业、园区分布式光伏电站,不再只满足于“能并网、能发电”,而是必须达到电网调度“可观、可测、可控、可调”的硬性技术要求。大量存量光伏电站、多点分布式光伏项目,因缺少统一智能管控中枢,存在数据看不见、数据不准、设备管不了、出力调不动等问题,频繁面临并网验收不通过、调度限发、现场整改、合规扣分等问题,严重影响电站正常运营与投资收益。