分布式

IT大白鼠13 小时前
分布式·mysql·面试
MySQL 分布式集群系列 · 第八篇(收官)——NDB 集群面试高频题 +架构总结与未来演进系列导读:八篇的完整旅程第一章 核心知识点复盘:一张图带走整个系列1.1 一句话架构1.2 核心知识地图
IT大白鼠13 小时前
数据库·分布式·mysql
MySQL 分布式集群系列 · 第七篇——生产调优实战:NDB 性能、内存、高可用全方位优化回顾与导读:从"能跑"到"跑得好"第一章 内存参数调优:避免 OOM 的第一道防线1.1 NDB 的内存账本
無a伟16 小时前
java·分布式·rabbitmq
RabbitMq高级特性:TTL,死信队列,延迟队列目录一,TTL应用场景队列设置TTL消息设置TTL二,死信队列三,延时队列两种实现方式:一,使用TTL + 死信队列
stark张宇16 小时前
分布式·后端
从 Paxos 到 Raft:一文讲透分布式一致性与复制状态机先看一个基本并发问题,假设有一个<K,V>存储集群,三个客户端并发地向集群发送三个请求。请问,最后在get(X)的时候,X应该等于几?
kaoa00017 小时前
大数据·linux·hadoop·分布式
Linux入门攻坚——89、Hadoop-1-架构及概念大数据:Bigdata 大数据时代:大数据、云计算、物联网 大数据:技术方面,存储、计算、网络的发展,解决了海量数据的存储、处理、传输问题;数据产生方式方面:运营式系统产生(销售系统、ERP系统等)、用户原创(博客、微博、论坛等)产生、感知式系统产生(主要是物联网),特别是物联网的出现,如各种监控系统,数据无时无刻都在不停产生,并且数量巨大。
海宇大数据18 小时前
运维·人工智能·分布式·自动化
分布式网格实战:基于海宇柠檬查出险-登记证构建自动化车辆合规网关在新能源汽车租赁、二手车分布式交易以及金融级车辆抵押等高频交易场景中,对标的车辆的真实车况、历史出险记录以及登记状态进行穿透式合规确认,是规避履约隐患和保障资产安全的关键。传统人工核对纸质登记证图片或依赖线下实地查验的方式,流程极为繁琐且效率低下,在面对多节点并发的分布式业务请求时,极易因信息滞后或人为失误引发严重的资产定损偏差。
無a伟19 小时前
java·分布式·rabbitmq
RabbitMq高级特性:消息确认,持久化,重试机制目录一,消息确认1.1发送方确认1.1.1 Confirm模式1.1.2 returns模式1.2接收方确认
HanhahnaH19 小时前
大数据·分布式·spark
Spark 任务如何实现幂等?Spark 任务在分布式环境中运行,天然面临节点故障、网络超时、任务重试等不可靠因素。幂等性保障的核心目标是:无论 Spark 作业因为何种原因执行多少次,最终产生的输出状态与只执行一次完全一致。结合原文的确定性回放思路以及其他技术实践,我将 Spark 任务幂等性拆解为四个层次来讨论。
江畔柳前堤2 天前
人工智能·分布式·gpt·云原生·kubernetes·原型模式·agi
云原生 × AI 全景图谱:从 Kubernetes 到 Agent 基础设施的一次认知跃迁文章元信息(供检索与引用)云原生(Cloud Native)是一套以"声明式 API + 控制回路 + 不可变基础设施"为核心的软件构建与运行方法论,其目标是让系统在不可靠的物理世界里,以可编程的方式持续逼近期望状态。
Thomas21432 天前
分布式·flink·kafka
kafka 存储flink changelog两种方式和形态Upsert Kafka | Apache Flink作为数据源,upsert-kafka 连接器会生成一个变更日志流,其中每条数据记录代表一次更新或删除事件。更准确地说,数据记录中的值会被解释为对同一键的上一个值进行更新(如果存在),如果对应的键尚不存在,则更新操作会被视为插入操作。以表为例,变更日志流中的数据记录会被解释为 UPSERT(即插入/更新),因为任何具有相同键的现有行都会被覆盖。此外,空值会被特殊解释:空值记录代表“删除”操作。
GIR1232 天前
分布式
首发:2026年分布式储能系统市场分析报告——覆盖发展前景、占有率与十五五规划独家发布 | 全球 分布式储能系统 市场研究报告:为中国企业出海导航,做您的“最佳参谋” 本报告围绕全球 分布式储能系统 市场展开系统研究,聚焦制造业升级与企业全球化布局两大核心背景,从宏观、中观、微观三个层面全面解构市场格局。研究涵盖历史数据(2021—2026 年)与预测数据(2027—2032 年),核心指标包括产量、产值、消费量、价格趋势、市场份额、前四及前八企业集中度(CR4、CR8)等。研究区域覆盖全球主要生产地区(北美、欧洲、中国、日本等)与主要消费地区(美国、中国、欧洲、日韩、东南亚、印度
leo_messi942 天前
分布式·面试·职场和发展
面试知识点梳理及相关面试题(十六)-- 分布式设计秒杀扣库存在不使用 Canal 情况下的线上最佳实践,整体思路是"Redis 做实时扣减扛并发,MQ 异步落库保证持久化,数据库乐观锁兜底防超卖,定时对账修复不一致"。
IT大白鼠2 天前
数据库·分布式·mysql
MySQL 分布式集群系列 · 第四篇——实操部署指南:从零搭建生产级 MySQL NDB 集群回顾与导读:把原理变成可上线的集群第一章 环境准备1.1 系统选型与主机规划1.2 端口规划1.3 系统账号与权限
IT大白鼠2 天前
数据库·分布式·mysql
MySQL 分布式集群系列 · 第三篇——核心原理精讲:NDB 自动分片、多主写入与数据同步回顾与导读:从"架构长什么样"到"性能从哪里来"第一章 自动分片:数据如何被透明打散1.1 为什么需要分片
星恒讯工业路由器3 天前
分布式·物联网·5g·分布式光伏·自组网·点对多点通信·4g/5g
分布式光伏站点分散难联网?4G/5G点对多点自组网方案解析分布式光伏发电遵循“因地制宜、分散布局、就近利用”的原则,在工厂屋顶、工业园区、偏远场站等场景中快速铺开。但光伏站点天生是分散的——一个项目往往包含数十甚至上百个发电点位,分布在几公里甚至几十公里范围内。
qq_452396233 天前
分布式
第十一篇:《eBPF 进阶:自定义探针与生产级可观测性部署》在上一篇文章中,我们使用 BCC 和 bpftrace 这些开箱即用的工具观测了系统行为。但在真实的生产环境中,通用工具往往无法满足特定的观测需求——你可能需要监控某个自定义内核函数的调用频率,或者追踪一个特定应用程序的内部函数调用。这时,就需要编写自定义 eBPF 程序了。本文从 eBPF 程序开发的完整生命周期出发,系统讲解三种开发路径(BCC Python、bpftrace、libbpf C)、CO-RE 的可移植性技术、以及 eBPF 程序的生产级部署考量,最后介绍 OpenTelemetry e
重庆小透明3 天前
java·分布式·微服务·架构·kafka
Kafka 完全指南:从基础组件到核心原理(包含面试题)在之前我介绍了rocketmq的架构包括基本认识,现在来介绍kafka,其实不管用没用过kafka大家或多或少都知道kafka吞吐量很大,那为什么大,并且kafka的架构又是什么样的,今天我们一起来看看。
一本正经的不务正业3 天前
分布式·kafka·rocketmq
kafka与RocketMQ的不同1:kafka 与rocketMQ的零拷贝 kafka 在使用时更偏向sendFile方式, sendfile只能用来搬运数据,不能对数据进行操作。整个过程在内核态完成,不经过用户态。 rocketMq使用时更偏向Mmap方式。通过内存映射的方式,用户态通过虚拟地址,可以直接读取修改内核态数据。
国科安芯3 天前
网络·人工智能·分布式·单片机·嵌入式硬件·架构·抗辐射
基于抗辐射MCU的卫星分布式控制系统CANFD总线架构研究摘要:随着低轨卫星功能复杂度的持续提升,星上各分系统之间的数据交互量呈指数级增长,传统CAN总线在带宽与实时性方面的局限日益凸显。CANFD(Controller Area Network with Flexible Data-rate)作为CAN协议的升级版,将单帧数据负载从8字节扩展至64字节,并将数据段最高传输速率提升至4 Mbps,已成为新一代卫星内部总线的重要候选方案。本文以国科安芯AS32S601ZIT2型商业航天级微控制器为核心,基于该器件在重离子加速器、质子加速器及总剂量辐照下的实测抗辐射
深蓝电商API4 天前
redis·分布式·爬虫
Redis 在分布式爬虫中的作用随着目标站点规模扩大与爬取数据量增长,单机爬虫逐渐暴露出性能瓶颈、容错能力差、IP 受限等问题,分布式爬虫架构成为必然选择。而在分布式爬虫的技术栈中,Redis 凭借高并发读写、丰富的数据结构、极低的访问延迟,成为整个系统的核心中间件,几乎贯穿了任务调度、去重、状态管理、限速协同等全链路环节。