分布式

wifi___2 小时前
数据库·redis·分布式
Redis分布式锁在tryAcuire()的过程中,如果抢到了锁,会定时延长锁的有效期。 底层:不是 JDK ScheduledExecutorService,是 Netty 的 HashedWheelTimer(时间轮) 调度的异步定时任务。
方方洛5 小时前
人工智能·分布式·机器学习
ray教程-15-RayServe与LLM服务仓库地址:github.com/hhk-png/cyc…本章目标:把 Ray Serve 从「一个 HTTP 框架」讲到「LLM 推理的编排层」。 读完你应该能回答:Serve 的核心对象是什么、请求在集群里怎么走、 自动扩缩与路由策略怎么选、Ray Serve LLM 走到了哪一步、 以及哪些 API 已经死了、哪些还只是 beta。 版本号与 PR 号都标注来源;查不到出处的写「未确认」,不编。
m0_639906946 小时前
数据库·分布式·mysql
MySQL 实现分布式锁:悲观锁、乐观锁、唯一索引锁上一篇我们了解到分布式锁三大主流方案:MySQL、Redis、ZK。 MySQL 分布式锁是门槛最低的一种:不需要额外部署中间件,只要项目已经接入 MySQL,就能快速落地。很多后台管理系统、低并发定时任务防重场景都会优先选择它。
T量子永生8 小时前
android·分布式·云计算·源代码管理
Android SISO 分布式编译集群配置方案组件作用推荐方案Scheduler(调度节点)任务调度、负载均衡EngFlow / BuildBuddy / Bazel Remote
KaiwuDB21 小时前
运维·数据库·分布式
KaiwuDB 分布式集群扩缩容,从原理到完整操作踩坑总结很多新手 DBA 会觉得扩缩容就是加机器删机器,实际远没有这么简单。分片迁移、副本、租约每一步出错,都可能造成业务抖动。
泡海椒1 天前
数据库·分布式·sql
深度解析JQuick-SQL AST到逻辑计划转换机制|分布式SQL原理Meta 描述:本文围绕jquick-sql架构原理说明JQuickASTToLogicalPlanVisitor如何把强类型AST转化为逻辑计划,梳理Table Scan、Filter、Project、Join与GroupBy的组装顺序,连接Java分布式SQL引擎架构、SQL查询优化原理和后续gRPC分布式数据交换。
泡海椒1 天前
数据库·分布式·sql
深度解析JQuick-SQL SQL解析与AST生成机制|分布式SQL原理Meta 描述:本文拆解jquick-sql架构原理中的SQL解析链路,说明Java分布式SQL引擎架构如何借助ANTLR生成强类型AST,并分析JQuickSQLExecutor、JQuickQueryNode与Visitor协作,为理解SQL查询优化原理及后续gRPC分布式数据交换奠定基础。
2603_954708311 天前
大数据·人工智能·分布式·安全·架构
微能网协调控制箱的架构优势对能源管理的影响?园区能源管理水平的高低,本质取决于底层控制架构的能力上限。传统微电网采用两层云端集中架构、单一电力管控逻辑、固化硬件结构,导致能源管理长期面临数据碎片化、调度滞后被动、多能无法协同、合规管控薄弱、运维成本居高不下等难题。
方方洛1 天前
人工智能·分布式·机器学习
ray教程-14-RayTune与超参搜索仓库地址:github.com/hhk-png/cyc…本章目标:搞清楚 Tune 的四个抽象(Tuner / TuneConfig / param_space / search_alg / scheduler)怎么组合、采样器和调度器该选哪个、 以及怎么把 trial 数量换算成 GPU·小时。 读完你应该能设计一次"预算可控、结论可信"的调参实验。
深圳市恒星物联科技有限公司1 天前
分布式·架构
排水管网监测分层分布式架构:感知-传输-平台-应用详解排水管网点位分散、环境恶劣、业务多元,分层架构的本质是用清晰的职责切分应对复杂的业务场景:主流方案普遍采用"感知-传输-平台-应用"四层架构,配合"分布式采集、集中式管理"的运行模式——数据自下而上流动、指令自上而下执行。
chunyublog1 天前
大数据·hadoop·分布式
FinalShell 远程连接 Hadoop 三节点集群教程VMware 虚拟机(Ubuntu 16.04 LTS)远程连接实训记录实训环境为 VMware 中部署的三台 Ubuntu 虚拟机(hadoop01、hadoop02、hadoop03),共同组成 Hadoop 分布式集群。日常操作中,若每次都要打开虚拟机的图形控制台,在多台节点之间切换很不方便。因此需要从宿主机(Windows)使用 SSH 客户端远程连接和管理三台节点。
泡海椒1 天前
数据库·分布式·sql
深度解析JQuick-SQL 逻辑计划到物理计划生成机制|分布式SQL原理Meta 描述:本文基于jquick-sql架构原理解析JQuickPhysicalPlanGenerator如何把逻辑计划映射为可执行物理节点,涵盖Table Scan、Hash Join、Nested Loop Join、Hash Aggregate、Exchange与TopN,并说明Java分布式SQL引擎架构、SQL查询优化原理及gRPC分布式数据交换的衔接。
磁场转动100万匹1 天前
大数据·分布式·spark
Spark Core 核心原理:从 RDD 到分布式计算Spark Core 是整个 Spark 生态的基石,SQL、Streaming、MLlib、GraphX 都构建在它之上。本篇把 Spark Core 的核心概念串成一条线:为什么需要 Spark → RDD 是什么 → 怎么算 → 怎么容错 → 集群怎么跑起来。一天搞定核心原理。
ZhengEnCi1 天前
分布式·算法·排序算法
内存装不下怎么取 Top 100:外部排序与分布式 Top-K 的实测取舍全文摘要:取 Top-K 的瓶颈从来不是算法,是数据搬运。我把一亿条数据的外部排序实测跑了遍:阶段一生成 25 个 run 花 1.65 秒、写盘 381 MB,阶段二倒序多路归并只花 0.0001 秒、读 6.2 MB 就拿到前 100。结论是外部排序的成本几乎全在写盘,它卖的是「全序」;你只要前 100,就别为用不上的有序性付钱。
这个DBA有点耶2 天前
数据库·分布式·架构
分布式集群的“最后一公里”:分片集群与透明分布式集群的工程代价拆解大家好,我是小耶,写功课只是为了我踩过的坑,你们别再踩了!“我们准备上分布式集群了。”这句话在技术评审会上经常出现,但接下来讨论的内容,往往不是同一件事。
一条闲鱼_mytube2 天前
分布式·算法·wpf
分布式 ID 生成方案:雪花算法与号段模式问题域:分布式系统 / 分库分表后的主键生成 技术栈:语言无关。代码以 Go 举例,Java 生态对应 Leaf、UidGenerator、TinyID 难度:⭐⭐⭐⭐(需要了解分库分表与并发基础) 阅读时长:5 分钟看「速览」|20 分钟读全文|30 分钟含自测题
科学熊2 天前
java·开发语言·分布式
Java 分布式理论与高并发编程面试被问到 CAP 定理只能背"三者选二",写代码时用 synchronized 却挡不住分布式并发,缓存加了还是被击穿打垮数据库——这些问题的根源往往不是知识点缺失,而是知识点之间没有连成体系。
XMAIPC_Robot2 天前
人工智能·分布式·fpga开发·能源·rk3576+fpga
NXP i.MX95 + FPGA 异构计算平台 — 工业多域融合 AI 加速嵌入式控制解决方案标签:#i.MX95 #FPGA #工业异构 #边缘 AI #TSN #功能安全 #运动控制 #机器视觉 阅读对象:工控架构师、嵌入式驱动工程师、FPGA 开发、机器人 / 视觉方案负责人
方方洛3 天前
人工智能·分布式·机器学习
ray教程-13-RayTrain与分布式训练仓库地址:github.com/hhk-png/cyc…本章目标:搞清楚 Ray Train 在分布式训练里到底负责哪一段、 V2 默认开启之后写法变了什么、容错和抢占怎么工作, 以及什么时候该直接用 torchrun 而不是 Ray。 读完你应该能回答:Ray 是"训练框架"还是"进程编排器"?
黄俊懿3 天前
数据结构·数据库·分布式·缓存·架构·系统架构·1024程序员节
【架构师从入门到进阶】第七章:缓存和存储的优化思路——第一节:缓存概述本篇文章我们来学习分布式缓存,这是属于我们应用服务器性能优化的一大块。当我们的网站遇到性能瓶颈时,我们比较常用的一些解决方案中,还有一个非常重要的就是使用缓存。缓存在现在的互联网项目中,几乎无处不在。它既存在于浏览器中,也可以存在于网关中,也可以存在于负载均衡中,也可以存在于应用服务器,也可以存在于数据库当中。也就是说,几乎是方方面面都有缓存的身影。缓存既可以是对数据的缓存,也可以是对文件的缓存,也可以是对页面的缓存。合理的利用缓存对提升网站的性能意义重大。