分布式

KaiwuDB1 小时前
运维·数据库·分布式
KaiwuDB 分布式集群扩缩容,从原理到完整操作踩坑总结很多新手 DBA 会觉得扩缩容就是加机器删机器,实际远没有这么简单。分片迁移、副本、租约每一步出错,都可能造成业务抖动。
泡海椒2 小时前
数据库·分布式·sql
深度解析JQuick-SQL AST到逻辑计划转换机制|分布式SQL原理Meta 描述:本文围绕jquick-sql架构原理说明JQuickASTToLogicalPlanVisitor如何把强类型AST转化为逻辑计划,梳理Table Scan、Filter、Project、Join与GroupBy的组装顺序,连接Java分布式SQL引擎架构、SQL查询优化原理和后续gRPC分布式数据交换。
泡海椒5 小时前
数据库·分布式·sql
深度解析JQuick-SQL SQL解析与AST生成机制|分布式SQL原理Meta 描述:本文拆解jquick-sql架构原理中的SQL解析链路,说明Java分布式SQL引擎架构如何借助ANTLR生成强类型AST,并分析JQuickSQLExecutor、JQuickQueryNode与Visitor协作,为理解SQL查询优化原理及后续gRPC分布式数据交换奠定基础。
2603_954708317 小时前
大数据·人工智能·分布式·安全·架构
微能网协调控制箱的架构优势对能源管理的影响?园区能源管理水平的高低,本质取决于底层控制架构的能力上限。传统微电网采用两层云端集中架构、单一电力管控逻辑、固化硬件结构,导致能源管理长期面临数据碎片化、调度滞后被动、多能无法协同、合规管控薄弱、运维成本居高不下等难题。
方方洛8 小时前
人工智能·分布式·机器学习
ray教程-14-RayTune与超参搜索仓库地址:github.com/hhk-png/cyc…本章目标:搞清楚 Tune 的四个抽象(Tuner / TuneConfig / param_space / search_alg / scheduler)怎么组合、采样器和调度器该选哪个、 以及怎么把 trial 数量换算成 GPU·小时。 读完你应该能设计一次"预算可控、结论可信"的调参实验。
深圳市恒星物联科技有限公司9 小时前
分布式·架构
排水管网监测分层分布式架构:感知-传输-平台-应用详解排水管网点位分散、环境恶劣、业务多元,分层架构的本质是用清晰的职责切分应对复杂的业务场景:主流方案普遍采用"感知-传输-平台-应用"四层架构,配合"分布式采集、集中式管理"的运行模式——数据自下而上流动、指令自上而下执行。
chunyublog10 小时前
大数据·hadoop·分布式
FinalShell 远程连接 Hadoop 三节点集群教程VMware 虚拟机(Ubuntu 16.04 LTS)远程连接实训记录实训环境为 VMware 中部署的三台 Ubuntu 虚拟机(hadoop01、hadoop02、hadoop03),共同组成 Hadoop 分布式集群。日常操作中,若每次都要打开虚拟机的图形控制台,在多台节点之间切换很不方便。因此需要从宿主机(Windows)使用 SSH 客户端远程连接和管理三台节点。
泡海椒10 小时前
数据库·分布式·sql
深度解析JQuick-SQL 逻辑计划到物理计划生成机制|分布式SQL原理Meta 描述:本文基于jquick-sql架构原理解析JQuickPhysicalPlanGenerator如何把逻辑计划映射为可执行物理节点,涵盖Table Scan、Hash Join、Nested Loop Join、Hash Aggregate、Exchange与TopN,并说明Java分布式SQL引擎架构、SQL查询优化原理及gRPC分布式数据交换的衔接。
磁场转动100万匹11 小时前
大数据·分布式·spark
Spark Core 核心原理:从 RDD 到分布式计算Spark Core 是整个 Spark 生态的基石,SQL、Streaming、MLlib、GraphX 都构建在它之上。本篇把 Spark Core 的核心概念串成一条线:为什么需要 Spark → RDD 是什么 → 怎么算 → 怎么容错 → 集群怎么跑起来。一天搞定核心原理。
ZhengEnCi12 小时前
分布式·算法·排序算法
内存装不下怎么取 Top 100:外部排序与分布式 Top-K 的实测取舍全文摘要:取 Top-K 的瓶颈从来不是算法,是数据搬运。我把一亿条数据的外部排序实测跑了遍:阶段一生成 25 个 run 花 1.65 秒、写盘 381 MB,阶段二倒序多路归并只花 0.0001 秒、读 6.2 MB 就拿到前 100。结论是外部排序的成本几乎全在写盘,它卖的是「全序」;你只要前 100,就别为用不上的有序性付钱。
这个DBA有点耶1 天前
数据库·分布式·架构
分布式集群的“最后一公里”:分片集群与透明分布式集群的工程代价拆解大家好,我是小耶,写功课只是为了我踩过的坑,你们别再踩了!“我们准备上分布式集群了。”这句话在技术评审会上经常出现,但接下来讨论的内容,往往不是同一件事。
一条闲鱼_mytube1 天前
分布式·算法·wpf
分布式 ID 生成方案:雪花算法与号段模式问题域:分布式系统 / 分库分表后的主键生成 技术栈:语言无关。代码以 Go 举例,Java 生态对应 Leaf、UidGenerator、TinyID 难度:⭐⭐⭐⭐(需要了解分库分表与并发基础) 阅读时长:5 分钟看「速览」|20 分钟读全文|30 分钟含自测题
科学熊1 天前
java·开发语言·分布式
Java 分布式理论与高并发编程面试被问到 CAP 定理只能背"三者选二",写代码时用 synchronized 却挡不住分布式并发,缓存加了还是被击穿打垮数据库——这些问题的根源往往不是知识点缺失,而是知识点之间没有连成体系。
XMAIPC_Robot2 天前
人工智能·分布式·fpga开发·能源·rk3576+fpga
NXP i.MX95 + FPGA 异构计算平台 — 工业多域融合 AI 加速嵌入式控制解决方案标签:#i.MX95 #FPGA #工业异构 #边缘 AI #TSN #功能安全 #运动控制 #机器视觉 阅读对象:工控架构师、嵌入式驱动工程师、FPGA 开发、机器人 / 视觉方案负责人
方方洛2 天前
人工智能·分布式·机器学习
ray教程-13-RayTrain与分布式训练仓库地址:github.com/hhk-png/cyc…本章目标:搞清楚 Ray Train 在分布式训练里到底负责哪一段、 V2 默认开启之后写法变了什么、容错和抢占怎么工作, 以及什么时候该直接用 torchrun 而不是 Ray。 读完你应该能回答:Ray 是"训练框架"还是"进程编排器"?
黄俊懿2 天前
数据结构·数据库·分布式·缓存·架构·系统架构·1024程序员节
【架构师从入门到进阶】第七章:缓存和存储的优化思路——第一节:缓存概述本篇文章我们来学习分布式缓存,这是属于我们应用服务器性能优化的一大块。当我们的网站遇到性能瓶颈时,我们比较常用的一些解决方案中,还有一个非常重要的就是使用缓存。缓存在现在的互联网项目中,几乎无处不在。它既存在于浏览器中,也可以存在于网关中,也可以存在于负载均衡中,也可以存在于应用服务器,也可以存在于数据库当中。也就是说,几乎是方方面面都有缓存的身影。缓存既可以是对数据的缓存,也可以是对文件的缓存,也可以是对页面的缓存。合理的利用缓存对提升网站的性能意义重大。
红海云2 天前
大数据·分布式·spark
两台DGX Spark部署DeepSeek的实战边界两台 DGX Spark、一根高速线缆,再加一个量化模型,看起来就能搭出一台本地 DeepSeek 服务器。真正动手时,麻烦通常集中在三个地方:权重能否装下、推理框架能否执行、两台机器能否高效通信。
GlobalInfo3 天前
大数据·分布式·微服务·ai·相机
上新 | 全球及中国起重机摄像系统行业研究报告(2026版):市场现状、行业前景与占有率分析一、市场规模与产品定位:起重作业盲区视觉辅助的专用工业监控系统起重机摄像监控系统是指安装于塔式起重机、汽车起重机、履带起重机、桥式起重机、港口起重机及其他起重设备上的专用工业视频监控系统,主要用于在起重和物料搬运作业过程中提供实时视觉辅助。典型系统由工业摄像头、视频传输模块、驾驶室显示终端、供电组件、安装装置及相关图像处理软件构成,可根据作业要求安装在吊钩、起重臂末端、起重小车、驾驶室或多个关键监控位置。根据Global Info Research调研统计,预计2032年全球起重机摄像系统产值达到642百
方方洛3 天前
人工智能·分布式·机器学习
ray教程-11-可观测性与调试仓库地址:github.com/hhk-png/cyc…本章目标:把「出问题了怎么查」变成一套可执行的流程。 包含四层可观测性(状态/日志/指标/追踪)、每层的工具与坑, 一份按症状索引的排查手册,以及一个真实事故的复盘。
samforce3 天前
人工智能·分布式·微服务·架构·软件架构·结构认知
为什么微服务会退化成“分布式单体”?——软件架构里的嵌套率传导定律先说结论:软件架构里大多数被叫成“好设计”的东西,其实在做同一件事——把模块之间的嵌套率差(|ΔN|)锁在 1。相邻层通信(|ΔN|=1)效率最高;跨层调用(|ΔN|≥2)必然衰减;而同层互调(|ΔN|=0)看起来最省事,实际是最危险的耦合陷阱——分布式单体就是这么长出来的。