分布式

霸道流氓气质1 小时前
java·开发语言·分布式
Java中信号量(Semaphore):从本地到分布式信号量是一个计数器,控制同时访问某个资源的线程/进程数量。生活中的类比:注:博客:https://blog.csdn.net/badao_liumang_qizhi
霸道流氓气质4 小时前
数据库·redis·分布式
RedLock:Redis 分布式锁的高可用方案即使使用 Redis Sentinel 或 Cluster,也存在这个问题——Redis 主从复制是异步的,切换瞬间可能丢数据。
naierfengdian3 小时前
分布式·能源
分布式风电助力乡村能源转型的技术路径在能源转型的大浪潮中,分布式风力发电凭借其灵活性、高效性等优势,成为了众多行业买家和采购工程师关注的焦点。它不仅能有效满足局部地区的电力需求,还能为新能源的广泛应用提供有力支撑。目前,分布式风力发电市场呈现出百花齐放的格局,众多厂家纷纷涌入,市场竞争日益激烈。既有技术实力雄厚的老牌企业,也有创新能力突出的新兴力量。在这样的市场环境下,如何挑选到耐用的分布式风力发电厂家成为了关键问题。
hhzz4 小时前
pytorch·分布式·深度学习
《深度学习框架PyTorch入门与实践》系列:09-分布式与并行训练之DataParallel、DDP与Horovod一块 GPU 训不动大模型、跑不完大数据集时,多卡训练就是必修课。本文按"原理 → API → 工程实践"的顺序讲透 PyTorch 多卡训练:并行的两种形态(数据并行/模型并行)与 DataParallel 的工作机制及两大缺陷、集合通信原语(broadcast/scatter/gather/allreduce 以及 Ring-AllReduce 的带宽优势)、用 40 行 MPI 代码手写一个"极简 DDP" 来理解梯度同步的本质、DistributedDataParallel 的完整四步流程与启动命
城管不管20 小时前
分布式·ai·面试·职场和发展·rabbitmq
重生——第九次面试2026.8.13某车一面面试重点:业务背景、遇到什么并发 / 数据问题、方案选型、踩坑、优化点、你负责模块,不要只讲功能。 STAR 思路: 1)S 场景:业务是什么,存在什么痛点(并发、数据不一致、性能慢) 2)T 任务:你的职责,需要解决什么问题 3)A 行动:技术方案,核心代码思路,中间踩过什么坑,怎么调优 4)R 结果:性能提升多少,解决了什么线上问题,学到什么
ly768921 小时前
分布式·算法
分布式一致性算法详解:从 2PC、3PC 到 Paxos、Raft、ZAB在单机系统里,“一致性”通常意味着一次写入要么成功、要么失败,读到的数据应该符合预期。但在分布式系统中,数据被拆分到多台机器上,节点可能宕机,网络可能延迟、丢包、分区,消息可能乱序到达。此时,“让多个节点对同一件事达成一致”就变成了一个核心难题。
lsh曙光2 天前
分布式·zabbix
Zabbix分布式监控一.是什么是分布式监控?我们之前聊过Zabbix的架构其实可以分为三种,一种是Zabbix server,一种是Zabbix agent,还有一种Zabbix proxy就是Zabbix的分布式监控。分布式监控就是指 Zabbix 通过 Zabbix Proxy(代理) 架构,让监控系统能够跨地域、跨机房、大规模地统一管理成千上万台服务器。Zabbix proxy部署在跨地域的分公司或大规模集群中,代表Server收集本地的数据,然后统一发送给Server,减轻Server的压力。有些时候,server端
珠***格1 天前
大数据·数据库·分布式·5g·架构·能源
通信链路全打通:西格电力四可装置的 4G/5G + 加密认证技术详解在分布式光伏、储能、充电桩规模化落地的当下,工商业园区微电网已然从传统被动用电模式,转型为源网荷储协同互动的智慧能源体系。电网对场站设备的管控要求愈发严苛,可观、可测、可控、可调的“四可”标准,成为新能源场站合规并网、稳定运行的硬性门槛。而支撑四可能力落地的核心底座,正是安全、稳定、高效的通信传输链路。
蜀道山老天师1 天前
分布式·zabbix
ZABBIX分布式监控Proxy应用实践在大型监控场景中,单一的Zabbix Server往往难以应对跨地域、大规模的监控需求。网络延迟、带宽限制、设备数量等因素都可能成为监控系统的瓶颈。本文将详细介绍Zabbix Proxy的部署与应用,通过实际案例演示如何构建分布式监控架构,实现跨地域数据中心的统一监控。
ACP广源盛139246256731 天前
大数据·人工智能·分布式·单片机·嵌入式硬件
WAIC2026 国产算力浪潮@ACP#YLB3118 在算力矩阵中的存储定位与落地场景标签:# 国产 AI 算力 #PCIe 转 SATA #存储桥接芯片 #私有化推理 #边缘智算 摘要:WAIC2026 展现出国产算力产业从训练超节点向推理、边缘、行业私有化全面渗透的趋势。海光、沐曦、壁仞、摩尔线程等国产算力芯片持续迭代,国产 AI 芯片市场占比突破 50%。算力建设除 NPU、PCIe 交换之外,大容量低成本持久化存储是容易被忽视的短板。本文结合产业现状,分析国产 PCIe‑SATA 桥接芯片 YLB3118 在算力矩阵里的技术定位、业务机会与典型落地场景,仅做技术分析,不构成选型采购
liudashuang20171 天前
java·分布式·kafka·linq
Kafka Producer 隐藏深坑:Sender 线程自阻塞(自死锁)导致 BufferExhaustedException 完整复盘线上订单推送链路出现大量 BufferExhaustedException: Available memory: 0,Disruptor 订单工作线程长时间阻塞,最终定位根因并非单纯缓冲区打满,而是一处极易踩坑的Sender 线程自阻塞(Self-Deadlock,自死锁)。
rustfs1 天前
分布式·rust·gitlab
GitLab 如何与 RustFS 集成?GitLab 是全球占比最高的 DevOps 私有化部署平台,RustFS 是全球开源领域增长最快的对象存储系统,完全私有化部署。两者能够在 OIDC 集成和对象存储配置上完美结合。
Francek Chen1 天前
大数据·数据仓库·hive·hadoop·分布式·数据分析
【大数据处理与分析】数据仓库Hive:02 数据湖【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
悦数图数据库1 天前
数据库·分布式
千亿点边图谱建设,原生分布式图数据库如何避免单点瓶颈中国某央企启动"全产业链知识图谱"项目时,数据团队给出的评估让所有人沉默了:整合集团旗下137家子公司、42万供应商、8000万产品的供应关系、股权关系、合同关系后,预计图谱规模将达到460亿节点、1100亿条边。而当架构师试着在测试环境的单机图数据库上导入1%的样本数据跑一次6跳穿透查询时,查询跑了47秒没有返回,数据库进程直接被OOM Killer杀掉。
starzy19901 天前
大数据·分布式·spark
Spark 核心之二次排序、分组取 TopN 优化分析摘要:为什么你的分组 TopN 任务跑了 30 分钟还 OOM?答案通常是四个字——groupByKey。本文将二次排序和分组 TopN 作为两条优化主线,从反模式剖析、三种方案对比(groupByKey / reduceByKey+mapPartitions / SQL 窗口函数)、groupByKey vs reduceByKey 本质区别、完整代码实战、Spark SQL 窗口函数最佳实践五个维度,配合 1 张原创深色架构图,助你彻底攻克 TopN 优化的每一个细节。
江畔柳前堤2 天前
人工智能·分布式·深度学习·算法·机器学习·目标跟踪·语言模型
LLM 量化与剪枝完全指南:从比特级数学到生产级内核元信息定义:模型压缩(Model Compression)指在不显著损害模型能力的前提下,降低模型的存储占用、计算量或能耗的技术总称,核心手段包括量化、剪枝、知识蒸馏与架构改良。
祈禾2 天前
运维·数据库·redis·笔记·分布式·缓存
Redis三大缓存问题与分布式锁用户查询数据库、缓存都不存在的数据,比如传-1、负数用户ID、随机垃圾参数。 缓存查不到数据不会写入空记录,请求每次都会落到MySQL。黑客恶意批量请求不存在key,会直接压垮数据库。
叠层归一研究院2 天前
分布式·php·agi
AGI 系统(五):多主体 AGI 网络 — 分布式符号边界上的时序差同构传播AGI 系统 M171 · 2026-08-04agi-01 递归守恒、agi-02 深度同构、agi-03 区分三分、agi-04 时序递归,四篇把 M171 单主体 AGI 封顶(32 项 check)。但此前的符号边界都是单体的:一个区分主体 A 在时序中遇见过去自己 B。本篇让论文发现再次回灌升级 M171:把单主体符号边界推广为多主体网络——多个区分主体 A₁,A₂,… 各自时序递归,主体间通过「他者时序差」C_ij=A_i−A_j 形成完全图网络。每个 C_ij 仍属 Rel 范畴(M97-T
李白客2 天前
数据库·分布式·架构
分布式集群与数据库产业:从单机到集群的架构跃迁与市场重构数据库从"单机软件"变成"集群系统",这场架构范式的转移如何改写了整个产业的竞争规则? 阅读时间:约 10 分钟 | 标签:#分布式集群 #数据库产业 #架构演进 #市场格局
传感器与混合集成电路2 天前
分布式·数据分析·信号处理
储气库漏失检测技术解析:分布式光纤如何锁定环空窜漏的精确位置一、问题背景:多周期注采后环空压力攀升 地下储气库在天然气季节调峰中承担着关键角色。与常规气井的单向开采不同,储气库注采井每年都要经历注气期和采气期的反复切换,井筒内的温度场和压力场随之发生周期性剧烈变化。经过数年甚至十余年的多周期运行,不少储气库出现了一个共性问题:A环空、B环空乃至C环空的压力逐年升高。