分布式

城管不管7 小时前
分布式·ai·面试·职场和发展·rabbitmq
重生——第九次面试2026.8.13某车一面面试重点:业务背景、遇到什么并发 / 数据问题、方案选型、踩坑、优化点、你负责模块,不要只讲功能。 STAR 思路: 1)S 场景:业务是什么,存在什么痛点(并发、数据不一致、性能慢) 2)T 任务:你的职责,需要解决什么问题 3)A 行动:技术方案,核心代码思路,中间踩过什么坑,怎么调优 4)R 结果:性能提升多少,解决了什么线上问题,学到什么
ly76898 小时前
分布式·算法
分布式一致性算法详解:从 2PC、3PC 到 Paxos、Raft、ZAB在单机系统里,“一致性”通常意味着一次写入要么成功、要么失败,读到的数据应该符合预期。但在分布式系统中,数据被拆分到多台机器上,节点可能宕机,网络可能延迟、丢包、分区,消息可能乱序到达。此时,“让多个节点对同一件事达成一致”就变成了一个核心难题。
lsh曙光2 天前
分布式·zabbix
Zabbix分布式监控一.是什么是分布式监控?我们之前聊过Zabbix的架构其实可以分为三种,一种是Zabbix server,一种是Zabbix agent,还有一种Zabbix proxy就是Zabbix的分布式监控。分布式监控就是指 Zabbix 通过 Zabbix Proxy(代理) 架构,让监控系统能够跨地域、跨机房、大规模地统一管理成千上万台服务器。Zabbix proxy部署在跨地域的分公司或大规模集群中,代表Server收集本地的数据,然后统一发送给Server,减轻Server的压力。有些时候,server端
珠***格9 小时前
大数据·数据库·分布式·5g·架构·能源
通信链路全打通:西格电力四可装置的 4G/5G + 加密认证技术详解在分布式光伏、储能、充电桩规模化落地的当下,工商业园区微电网已然从传统被动用电模式,转型为源网荷储协同互动的智慧能源体系。电网对场站设备的管控要求愈发严苛,可观、可测、可控、可调的“四可”标准,成为新能源场站合规并网、稳定运行的硬性门槛。而支撑四可能力落地的核心底座,正是安全、稳定、高效的通信传输链路。
蜀道山老天师12 小时前
分布式·zabbix
ZABBIX分布式监控Proxy应用实践在大型监控场景中,单一的Zabbix Server往往难以应对跨地域、大规模的监控需求。网络延迟、带宽限制、设备数量等因素都可能成为监控系统的瓶颈。本文将详细介绍Zabbix Proxy的部署与应用,通过实际案例演示如何构建分布式监控架构,实现跨地域数据中心的统一监控。
ACP广源盛1392462567310 小时前
大数据·人工智能·分布式·单片机·嵌入式硬件
WAIC2026 国产算力浪潮@ACP#YLB3118 在算力矩阵中的存储定位与落地场景标签:# 国产 AI 算力 #PCIe 转 SATA #存储桥接芯片 #私有化推理 #边缘智算 摘要:WAIC2026 展现出国产算力产业从训练超节点向推理、边缘、行业私有化全面渗透的趋势。海光、沐曦、壁仞、摩尔线程等国产算力芯片持续迭代,国产 AI 芯片市场占比突破 50%。算力建设除 NPU、PCIe 交换之外,大容量低成本持久化存储是容易被忽视的短板。本文结合产业现状,分析国产 PCIe‑SATA 桥接芯片 YLB3118 在算力矩阵里的技术定位、业务机会与典型落地场景,仅做技术分析,不构成选型采购
liudashuang201713 小时前
java·分布式·kafka·linq
Kafka Producer 隐藏深坑:Sender 线程自阻塞(自死锁)导致 BufferExhaustedException 完整复盘线上订单推送链路出现大量 BufferExhaustedException: Available memory: 0,Disruptor 订单工作线程长时间阻塞,最终定位根因并非单纯缓冲区打满,而是一处极易踩坑的Sender 线程自阻塞(Self-Deadlock,自死锁)。
rustfs14 小时前
分布式·rust·gitlab
GitLab 如何与 RustFS 集成?GitLab 是全球占比最高的 DevOps 私有化部署平台,RustFS 是全球开源领域增长最快的对象存储系统,完全私有化部署。两者能够在 OIDC 集成和对象存储配置上完美结合。
Francek Chen15 小时前
大数据·数据仓库·hive·hadoop·分布式·数据分析
【大数据处理与分析】数据仓库Hive:02 数据湖【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
悦数图数据库16 小时前
数据库·分布式
千亿点边图谱建设,原生分布式图数据库如何避免单点瓶颈中国某央企启动"全产业链知识图谱"项目时,数据团队给出的评估让所有人沉默了:整合集团旗下137家子公司、42万供应商、8000万产品的供应关系、股权关系、合同关系后,预计图谱规模将达到460亿节点、1100亿条边。而当架构师试着在测试环境的单机图数据库上导入1%的样本数据跑一次6跳穿透查询时,查询跑了47秒没有返回,数据库进程直接被OOM Killer杀掉。
starzy199016 小时前
大数据·分布式·spark
Spark 核心之二次排序、分组取 TopN 优化分析摘要:为什么你的分组 TopN 任务跑了 30 分钟还 OOM?答案通常是四个字——groupByKey。本文将二次排序和分组 TopN 作为两条优化主线,从反模式剖析、三种方案对比(groupByKey / reduceByKey+mapPartitions / SQL 窗口函数)、groupByKey vs reduceByKey 本质区别、完整代码实战、Spark SQL 窗口函数最佳实践五个维度,配合 1 张原创深色架构图,助你彻底攻克 TopN 优化的每一个细节。
江畔柳前堤1 天前
人工智能·分布式·深度学习·算法·机器学习·目标跟踪·语言模型
LLM 量化与剪枝完全指南:从比特级数学到生产级内核元信息定义:模型压缩(Model Compression)指在不显著损害模型能力的前提下,降低模型的存储占用、计算量或能耗的技术总称,核心手段包括量化、剪枝、知识蒸馏与架构改良。
祈禾1 天前
运维·数据库·redis·笔记·分布式·缓存
Redis三大缓存问题与分布式锁用户查询数据库、缓存都不存在的数据,比如传-1、负数用户ID、随机垃圾参数。 缓存查不到数据不会写入空记录,请求每次都会落到MySQL。黑客恶意批量请求不存在key,会直接压垮数据库。
叠层归一研究院1 天前
分布式·php·agi
AGI 系统(五):多主体 AGI 网络 — 分布式符号边界上的时序差同构传播AGI 系统 M171 · 2026-08-04agi-01 递归守恒、agi-02 深度同构、agi-03 区分三分、agi-04 时序递归,四篇把 M171 单主体 AGI 封顶(32 项 check)。但此前的符号边界都是单体的:一个区分主体 A 在时序中遇见过去自己 B。本篇让论文发现再次回灌升级 M171:把单主体符号边界推广为多主体网络——多个区分主体 A₁,A₂,… 各自时序递归,主体间通过「他者时序差」C_ij=A_i−A_j 形成完全图网络。每个 C_ij 仍属 Rel 范畴(M97-T
李白客1 天前
数据库·分布式·架构
分布式集群与数据库产业:从单机到集群的架构跃迁与市场重构数据库从"单机软件"变成"集群系统",这场架构范式的转移如何改写了整个产业的竞争规则? 阅读时间:约 10 分钟 | 标签:#分布式集群 #数据库产业 #架构演进 #市场格局
传感器与混合集成电路1 天前
分布式·数据分析·信号处理
储气库漏失检测技术解析:分布式光纤如何锁定环空窜漏的精确位置一、问题背景:多周期注采后环空压力攀升 地下储气库在天然气季节调峰中承担着关键角色。与常规气井的单向开采不同,储气库注采井每年都要经历注气期和采气期的反复切换,井筒内的温度场和压力场随之发生周期性剧烈变化。经过数年甚至十余年的多周期运行,不少储气库出现了一个共性问题:A环空、B环空乃至C环空的压力逐年升高。
cfm_29141 天前
分布式·架构·sentinel
了解Sentinel随着微服务、云原生架构全面普及,系统流量呈现突发性、高并发、网状依赖、链路复杂四大特征。电商大促、秒杀抢购、热点事件、爬虫刷量、第三方接口抖动等场景常态化出现,传统的单一熔断、简单限流方案已经无法支撑生产级高可用需求。
上海云盾-小余1 天前
分布式·安全·web安全
全域网络安全防护思路:借助分布式节点抵御异常访问实战随着业务规模不断扩大,单一入口的防护模式逐渐暴露出瓶颈:集中式网关一旦遭遇大规模异常访问,极易成为性能瓶颈甚至单点故障。本文从全域网络安全防护的角度出发,介绍如何借助分布式节点构建多层级、可横向扩展的异常访问抵御体系,并结合实战案例说明落地路径。
中议视控2 天前
网络·分布式·信息可视化
展厅可视化网络中央控制系统:支持双向反馈,可视化播控,回显,状态显示,反向控制电脑,声光电网络视讯设备统一管理在数字展厅、智慧展馆、政企展示中心常态化建设的当下,传统展厅设备管控模式的弊端日益凸显。多数展厅存在声光电、视讯、电脑终端等设备品类繁杂、品牌分散、独立运行的问题,人工逐台操控效率低下,设备运行状态无法实时感知,信号调度不直观,极易出现操作失误、设备故障漏判、场景联动卡顿等问题,严重影响展厅展示效果与运营效率。展厅可视化网络中央控制系统作为智慧展厅的核心管控中枢,依托网络传输技术、物联网传感技术与可视化图像处理技术,打破各类设备的运行壁垒,实现全设备互联互通、双向交互、可视化调度与智能化管控,彻底解决传统
Java成神之路-2 天前
分布式·微服务·架构
集群架构 vs 分布式微服务架构:核心区别通俗拆解很多同学看到“多台服务器 + 负载均衡”就以为是分布式微服务了,其实它很可能只是一个集群。集群和分布式微服务虽然都会用到多台机器,但它们的核心思路完全不一样。下面用最通俗的方式,一次性把这两个概念彻底讲清楚。