分布式

ltl3 小时前
分布式
2PC 的真实失败模式:阻塞、脑裂与恢复原文发布于 quant67.com,转载请保留出处。Part VI · 分布式事务:最难的部分上一篇:数据再平衡
霸道流氓气质5 小时前
分布式
分布式系统设计:技术解析与实践单体应用中,synchronized 或 ReentrantLock 可以保证同一 JVM 内的线程安全。但在微服务多实例部署时,不同 JVM 之间这些锁完全失效:
ACP广源盛139246256738 小时前
大数据·人工智能·分布式·单片机·嵌入式硬件
蚂蚁百灵 Ling‑3.0‑flash 开源 + 昇腾 0‑Day 原生适配@ACP#GSV9001E 在国产算力矩阵中的机会与落地场景标签:#Ling‑3.0‑flash #昇腾 CANN #国产大模型 #GSV9001E #视频处理器 #Agent 多模态 #信创 AI 硬件 摘要:蚂蚁百灵 Ling‑3.0‑flash 正式开源,昇腾完成 0‑Day 原生适配,依托 CANN PyPTO 算子框架大幅缩短算子交付周期,“国产大模型‑国产算力” 软硬适配矩阵持续完善。行业研发重点普遍聚焦 NPU 推理吞吐、算子性能、模型调度,但是Agent 多模态输出、多路信号汇聚、AI 推理结果可视化上墙、多视图协同监看、低延迟画面处理这类整机显示
汽车仪器仪表相关领域12 小时前
分布式·功能测试·汽车·压力测试·可用性测试
KRYPTON坚固型IP67 EtherCAT总线数据采集模块:工业级分布式采集方案在汽车整车正向研发、新能源三电可靠性验证、工程机械野外耐久测试、轨道交通动态标定、特种工业装备工况监测等高端试验领域,数据采集的精准度、稳定性与场景适配性,直接决定试验数据有效性与研发结论准确性。现阶段绝大多数传统数据采集方案,普遍存在结构性短板:集中式采集机箱依赖长距离模拟线缆传输信号,工业现场电磁密布、设备变频干扰、行车高压器件辐射等多重因素叠加,极易造成信号杂讯、波形畸变、数据漂移失真;常规采集设备多为室内试验室轻量化设计,防护等级普遍仅IP20/IP40,无法耐受户外粉尘、雨水、高低温骤变、高频振
霸道流氓气质14 小时前
java·开发语言·分布式
Java中信号量(Semaphore):从本地到分布式信号量是一个计数器,控制同时访问某个资源的线程/进程数量。生活中的类比:注:博客:https://blog.csdn.net/badao_liumang_qizhi
霸道流氓气质16 小时前
数据库·redis·分布式
RedLock:Redis 分布式锁的高可用方案即使使用 Redis Sentinel 或 Cluster,也存在这个问题——Redis 主从复制是异步的,切换瞬间可能丢数据。
naierfengdian15 小时前
分布式·能源
分布式风电助力乡村能源转型的技术路径在能源转型的大浪潮中,分布式风力发电凭借其灵活性、高效性等优势,成为了众多行业买家和采购工程师关注的焦点。它不仅能有效满足局部地区的电力需求,还能为新能源的广泛应用提供有力支撑。目前,分布式风力发电市场呈现出百花齐放的格局,众多厂家纷纷涌入,市场竞争日益激烈。既有技术实力雄厚的老牌企业,也有创新能力突出的新兴力量。在这样的市场环境下,如何挑选到耐用的分布式风力发电厂家成为了关键问题。
hhzz16 小时前
pytorch·分布式·深度学习
《深度学习框架PyTorch入门与实践》系列:09-分布式与并行训练之DataParallel、DDP与Horovod一块 GPU 训不动大模型、跑不完大数据集时,多卡训练就是必修课。本文按"原理 → API → 工程实践"的顺序讲透 PyTorch 多卡训练:并行的两种形态(数据并行/模型并行)与 DataParallel 的工作机制及两大缺陷、集合通信原语(broadcast/scatter/gather/allreduce 以及 Ring-AllReduce 的带宽优势)、用 40 行 MPI 代码手写一个"极简 DDP" 来理解梯度同步的本质、DistributedDataParallel 的完整四步流程与启动命
城管不管1 天前
分布式·ai·面试·职场和发展·rabbitmq
重生——第九次面试2026.8.13某车一面面试重点:业务背景、遇到什么并发 / 数据问题、方案选型、踩坑、优化点、你负责模块,不要只讲功能。 STAR 思路: 1)S 场景:业务是什么,存在什么痛点(并发、数据不一致、性能慢) 2)T 任务:你的职责,需要解决什么问题 3)A 行动:技术方案,核心代码思路,中间踩过什么坑,怎么调优 4)R 结果:性能提升多少,解决了什么线上问题,学到什么
ly76891 天前
分布式·算法
分布式一致性算法详解:从 2PC、3PC 到 Paxos、Raft、ZAB在单机系统里,“一致性”通常意味着一次写入要么成功、要么失败,读到的数据应该符合预期。但在分布式系统中,数据被拆分到多台机器上,节点可能宕机,网络可能延迟、丢包、分区,消息可能乱序到达。此时,“让多个节点对同一件事达成一致”就变成了一个核心难题。
lsh曙光3 天前
分布式·zabbix
Zabbix分布式监控一.是什么是分布式监控?我们之前聊过Zabbix的架构其实可以分为三种,一种是Zabbix server,一种是Zabbix agent,还有一种Zabbix proxy就是Zabbix的分布式监控。分布式监控就是指 Zabbix 通过 Zabbix Proxy(代理) 架构,让监控系统能够跨地域、跨机房、大规模地统一管理成千上万台服务器。Zabbix proxy部署在跨地域的分公司或大规模集群中,代表Server收集本地的数据,然后统一发送给Server,减轻Server的压力。有些时候,server端
珠***格1 天前
大数据·数据库·分布式·5g·架构·能源
通信链路全打通:西格电力四可装置的 4G/5G + 加密认证技术详解在分布式光伏、储能、充电桩规模化落地的当下,工商业园区微电网已然从传统被动用电模式,转型为源网荷储协同互动的智慧能源体系。电网对场站设备的管控要求愈发严苛,可观、可测、可控、可调的“四可”标准,成为新能源场站合规并网、稳定运行的硬性门槛。而支撑四可能力落地的核心底座,正是安全、稳定、高效的通信传输链路。
蜀道山老天师2 天前
分布式·zabbix
ZABBIX分布式监控Proxy应用实践在大型监控场景中,单一的Zabbix Server往往难以应对跨地域、大规模的监控需求。网络延迟、带宽限制、设备数量等因素都可能成为监控系统的瓶颈。本文将详细介绍Zabbix Proxy的部署与应用,通过实际案例演示如何构建分布式监控架构,实现跨地域数据中心的统一监控。
ACP广源盛139246256731 天前
大数据·人工智能·分布式·单片机·嵌入式硬件
WAIC2026 国产算力浪潮@ACP#YLB3118 在算力矩阵中的存储定位与落地场景标签:# 国产 AI 算力 #PCIe 转 SATA #存储桥接芯片 #私有化推理 #边缘智算 摘要:WAIC2026 展现出国产算力产业从训练超节点向推理、边缘、行业私有化全面渗透的趋势。海光、沐曦、壁仞、摩尔线程等国产算力芯片持续迭代,国产 AI 芯片市场占比突破 50%。算力建设除 NPU、PCIe 交换之外,大容量低成本持久化存储是容易被忽视的短板。本文结合产业现状,分析国产 PCIe‑SATA 桥接芯片 YLB3118 在算力矩阵里的技术定位、业务机会与典型落地场景,仅做技术分析,不构成选型采购
liudashuang20172 天前
java·分布式·kafka·linq
Kafka Producer 隐藏深坑:Sender 线程自阻塞(自死锁)导致 BufferExhaustedException 完整复盘线上订单推送链路出现大量 BufferExhaustedException: Available memory: 0,Disruptor 订单工作线程长时间阻塞,最终定位根因并非单纯缓冲区打满,而是一处极易踩坑的Sender 线程自阻塞(Self-Deadlock,自死锁)。
rustfs2 天前
分布式·rust·gitlab
GitLab 如何与 RustFS 集成?GitLab 是全球占比最高的 DevOps 私有化部署平台,RustFS 是全球开源领域增长最快的对象存储系统,完全私有化部署。两者能够在 OIDC 集成和对象存储配置上完美结合。
Francek Chen2 天前
大数据·数据仓库·hive·hadoop·分布式·数据分析
【大数据处理与分析】数据仓库Hive:02 数据湖【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
悦数图数据库2 天前
数据库·分布式
千亿点边图谱建设,原生分布式图数据库如何避免单点瓶颈中国某央企启动"全产业链知识图谱"项目时,数据团队给出的评估让所有人沉默了:整合集团旗下137家子公司、42万供应商、8000万产品的供应关系、股权关系、合同关系后,预计图谱规模将达到460亿节点、1100亿条边。而当架构师试着在测试环境的单机图数据库上导入1%的样本数据跑一次6跳穿透查询时,查询跑了47秒没有返回,数据库进程直接被OOM Killer杀掉。
starzy19902 天前
大数据·分布式·spark
Spark 核心之二次排序、分组取 TopN 优化分析摘要:为什么你的分组 TopN 任务跑了 30 分钟还 OOM?答案通常是四个字——groupByKey。本文将二次排序和分组 TopN 作为两条优化主线,从反模式剖析、三种方案对比(groupByKey / reduceByKey+mapPartitions / SQL 窗口函数)、groupByKey vs reduceByKey 本质区别、完整代码实战、Spark SQL 窗口函数最佳实践五个维度,配合 1 张原创深色架构图,助你彻底攻克 TopN 优化的每一个细节。
江畔柳前堤3 天前
人工智能·分布式·深度学习·算法·机器学习·目标跟踪·语言模型
LLM 量化与剪枝完全指南:从比特级数学到生产级内核元信息定义:模型压缩(Model Compression)指在不显著损害模型能力的前提下,降低模型的存储占用、计算量或能耗的技术总称,核心手段包括量化、剪枝、知识蒸馏与架构改良。