分布式

星恒讯工业路由器2 小时前
分布式·物联网·5g·分布式光伏·自组网·点对多点通信·4g/5g
分布式光伏站点分散难联网?4G/5G点对多点自组网方案解析分布式光伏发电遵循“因地制宜、分散布局、就近利用”的原则,在工厂屋顶、工业园区、偏远场站等场景中快速铺开。但光伏站点天生是分散的——一个项目往往包含数十甚至上百个发电点位,分布在几公里甚至几十公里范围内。
qq_452396233 小时前
分布式
第十一篇:《eBPF 进阶:自定义探针与生产级可观测性部署》在上一篇文章中,我们使用 BCC 和 bpftrace 这些开箱即用的工具观测了系统行为。但在真实的生产环境中,通用工具往往无法满足特定的观测需求——你可能需要监控某个自定义内核函数的调用频率,或者追踪一个特定应用程序的内部函数调用。这时,就需要编写自定义 eBPF 程序了。本文从 eBPF 程序开发的完整生命周期出发,系统讲解三种开发路径(BCC Python、bpftrace、libbpf C)、CO-RE 的可移植性技术、以及 eBPF 程序的生产级部署考量,最后介绍 OpenTelemetry e
重庆小透明3 小时前
java·分布式·微服务·架构·kafka
Kafka 完全指南:从基础组件到核心原理(包含面试题)在之前我介绍了rocketmq的架构包括基本认识,现在来介绍kafka,其实不管用没用过kafka大家或多或少都知道kafka吞吐量很大,那为什么大,并且kafka的架构又是什么样的,今天我们一起来看看。
一本正经的不务正业5 小时前
分布式·kafka·rocketmq
kafka与RocketMQ的不同1:kafka 与rocketMQ的零拷贝 kafka 在使用时更偏向sendFile方式, sendfile只能用来搬运数据,不能对数据进行操作。整个过程在内核态完成,不经过用户态。 rocketMq使用时更偏向Mmap方式。通过内存映射的方式,用户态通过虚拟地址,可以直接读取修改内核态数据。
国科安芯6 小时前
网络·人工智能·分布式·单片机·嵌入式硬件·架构·抗辐射
基于抗辐射MCU的卫星分布式控制系统CANFD总线架构研究摘要:随着低轨卫星功能复杂度的持续提升,星上各分系统之间的数据交互量呈指数级增长,传统CAN总线在带宽与实时性方面的局限日益凸显。CANFD(Controller Area Network with Flexible Data-rate)作为CAN协议的升级版,将单帧数据负载从8字节扩展至64字节,并将数据段最高传输速率提升至4 Mbps,已成为新一代卫星内部总线的重要候选方案。本文以国科安芯AS32S601ZIT2型商业航天级微控制器为核心,基于该器件在重离子加速器、质子加速器及总剂量辐照下的实测抗辐射
深蓝电商API1 天前
redis·分布式·爬虫
Redis 在分布式爬虫中的作用随着目标站点规模扩大与爬取数据量增长,单机爬虫逐渐暴露出性能瓶颈、容错能力差、IP 受限等问题,分布式爬虫架构成为必然选择。而在分布式爬虫的技术栈中,Redis 凭借高并发读写、丰富的数据结构、极低的访问延迟,成为整个系统的核心中间件,几乎贯穿了任务调度、去重、状态管理、限速协同等全链路环节。
凤山老林1 天前
spring boot·分布式·架构
高可用分布式任务调度架构:Spring Boot 集成 PowerJob 实战指南早些年业务量还没上来时,一个 @Scheduled 配上几行 Cron 表达式就能应付。等订单量破千万、数据同步链路拉长到几十个微服务后,传统调度框架的短板就全暴露出来了。硬编码依赖、分片靠人肉切、节点挂了全靠告警群吼……折腾几次后,我们干脆把底层调度底座换成了 PowerJob。这套东西在 Spring Boot 里接起来不复杂,但要真正在生产环境扛住高并发和故障,细节全在配置和代码规范里。今天就把我们线上跑了一年多、踩过的坑和调优经验摊开来讲。
海宇数据1 天前
人工智能·分布式·架构·自动化
零信任架构实战:基于海宇运营商近3个月平均账单构建自动化分布式租赁网关在智能手机、高端数码设备及新能源汽车的数字租赁业务场景中,如何准确判断承租人的真实资信实力是风控的核心挑战。在这个分布式数字租赁前置准入合规审查服务中,平台亟需一种高频、客观的维度来交叉验证客户的消费活跃度,以防范极高比例的履约隐患与低频非活跃账号带来的设备流失风险。传统依赖人工查阅或要求用户自行上传流水截图的审核流程极易造成漏查,且面对大量信息不匹配资质时往往无能为力,难以在毫秒级别实时防范信息偏差。
IT大白鼠1 天前
分布式·mysql·架构
MySQL 分布式集群系列 · 第二篇:架构深度拆解--NDB 三大核心节点回顾与导读:从"是什么"到"怎么工作"第一章 NDB 标准三层架构总览1.1 一个集群 = 三类角色1.2 一张拓扑图读懂三层架构
醉颜凉1 天前
分布式·架构·kafka·ar
Kafka ISR与AR深度解析:副本同步机制核心概念关键词:Kafka、ISR、AR、副本同步、Leader选举、高可用、数据一致性在Kafka的分布式架构中,副本机制是保证高可用和数据一致性的基石。而**ISR(In-Sync Replicas)和AR(Assigned Replicas)**则是理解副本同步机制的两个核心概念。
johnny2331 天前
分布式
大模型分布式训练理论和框架:DeepSpeed、Megatron、Torchrun分布式训练的本质:拆分任务、协同计算,不同策略的核心差异在于:拆什么、怎么协同。模型一致性问题:各节点都有基于自身数据算出的梯度?
倔强的石头1061 天前
数据库·分布式·时序数据库
高可用与无感扩容——分布式时序数据库选型指南当业务规模从单厂区扩展到集团级,或是设备接入量从几千台飙升至数十万台时,单机版的时序数据库必然会撞上性能天花板:磁盘空间写满、内存爆掉导致 OOM、单机硬件故障导致整个监控链路全线瘫痪。因此,分布式集群架构是海量时序数据管理的必然终局。然而,“伪分布式”和“真分布式”在后期的运维体验与可靠性上可谓天差地别。本文将带你深度剖析分布式时序数据库的选型要点,并全方位解析 Apache IoTDB 的集群架构设计。
fastjson_2 天前
大数据·分布式·spark
Spark 安装和使用HDFS 是大数据常用分布式存储,Hive 提供 HiveQL,不存储业务数据,数据存放于 HDFS第一代计算引擎:MapReduce:用廉价机器实现分布式大数据处理
spter。2 天前
分布式·kafka
从一次关注到最终一致:Canal、Outbox 与 Kafka 如何解决关系链双写问题知光是一个知识获取与分享社区。用户可以发布图文“知文”、浏览首页 Feed、进入详情页查看作者,也可以关注作者。在页面上,一次关注看起来只是把按钮从“关注”切换成“已关注”,后台却要同时回答几类问题:A 关注了谁、谁关注了 B、A 一共关注了多少人、B 一共有多少粉丝,以及下一次打开列表时怎样快速返回结果。
MC丶科2 天前
分布式·云原生·架构·serverless·service_mesh·软考架构师
软考架构师90天冲刺|DAY38·第二阶段综合测试-分布式与云原生在软考系统架构设计师考试中,分布式系统设计部分有几个必考理论:CAP/BASE定理、2PC/3PC协议、Paxos/Raft算法。让我们逐一深入理解。
hm宋2 天前
分布式·zookeeper·云原生
ZooKeeper 容灾切换免重启实践:域名化配置与客户端自动迁移一次 ZK 集群容灾切换演练,暴露出客户端"IP 固化 + 一次性注册"两个隐患。本文记录我们把 biz-cache-client 改造为支持域名容灾切换的完整过程:从对 ZooKeeper 3.4.14 / Curator 4.1.0 源码的逐条事实核验,到"被动 / 主动 / 自愈"三条路径的架构设计,再到关键实现的取舍与踩坑。改造零 API 变化、零必填配置,使用方只需把 zkServerAddr 从裸 IP 换成域名。
kruptos3 天前
开发语言·分布式·php·共识算法
分布式系统怎么“选主“?Raft 共识一次讲清一个分布式系统有 5 个节点,主节点突然挂了,谁来当新老大?如果两个节点同时宣称自己是老大,系统就"脑裂"了。Raft 是今天最流行的答案——它把"选主"变成一套清晰可验证的规则。今天讲透它。
小智老师PMP3 天前
开发语言·分布式·算法·职场和发展·产品经理
2026深度解析|PMP第八版与NPDP核心侧重点本质区别(管理类证书怎么选)在IT、工程、制造、国企央企等职场赛道,PMP、NPDP是认可度最高的两大管理类国际认证。很多职场人纠结:两者都是管理证书,到底有什么本质区别?自己适合考哪一个?能不能同时备考?
会周易的程序员3 天前
服务器·c++·分布式·raft·共识算法·共识·算力服务器
5Draft(五帝)测试报告报告日期:2026-09-05 | 测试版本:commit 7818ff1 | 报告人:5Draft 团队 项目地址:https://gitee.com/galaxy_0/5d-raft.git
想要打 Acm 的小周同学呀3 天前
分布式·kafka
Kafka消息队列出现挤压如何解决?如果 Kafka 中出现大量消息积压,消费速度长期低于生产速度,应该怎么处理?1先快速解决线上问题,看一下积压的是什么topic业务的数据,如果是日志、埋点、推荐系统的可以直接丢掉,让订单、支付等核心业务逻辑去跑。 本质是快速止血,减少业务的损失。