分布式

moonsims1 小时前
人工智能·分布式·架构
基于Lattice Mesh的AI 的分布式共识与动态任务分配架构的无人机群“去中心化无声协同”技术和极低带宽下的韧性通信技术在传统无人机群(蜂群)中,通常依赖一个“母机”或地面站作为中央计算节点进行集中式调度。这种方式不仅延迟高,而且一旦中央节点被击落,整个集群就会陷入瘫痪。Lattice Mesh 采用的是基于边缘 AI 的分布式共识与动态任务分配架构。
一个骇客2 小时前
分布式·架构
批处理模型详解:从 MapReduce 到数据流引擎双十一狂欢的余温散尽,消费者在回味秒杀的快感,而电商平台的数据工程师却盯着 50 亿条订单明细和 2 亿条用户画像,愁得像面对一屋子散落的乐高零件。老板要三样东西:每个商品的销售额 Top 100、各会员等级的总消费、以及高风险用户订单清单用于风控。用几十行 Shell 管道想在天亮前跑完?那不是写脚本,那是写遗书。于是,批处理 (Batch Processing) 从单机脚本一路进化到分布式数据流引擎,每一步都写着“让数据乖乖听话”。
todoitbo2 小时前
人工智能·分布式·ai·jiuwenswarm
Agent_Swarm_分布式协作的通信编排与节点发现机制分析JiuwenSwarm 基于 openJiuwen 框架实现了多 Agent 分布式协作机制:A2X 注册中心提供动态节点发现与预占,共享工作空间定义协作边界,PyZMQ 传输层支撑跨节点通信,远程启动编排让 Teammate 在独立进程中运行。本文深入解析这套分布式协作体系的设计思路与核心实现。
Ze3G90nYt3 小时前
数据库·redis·分布式
Redis 分布式锁进阶第一百二十篇Redis 分布式锁进阶与生产级优化:从原理到高可用落地 在微服务与分布式架构中,Redis 分布式锁是解决跨进程资源竞争、防止重复提交、保证接口幂等性的核心方案。基础版 SETNX + EXPIRE 仅能满足简单场景,在高并发、长事务、集群部署等生产环境下,易出现死锁、误释放、锁失效、性能瓶颈等问题。本文从核心痛点切入,深度讲解 Redis 分布式锁的进阶优化方案,覆盖原子性、可靠性、高可用、性能调优全维度,助力打造生产级稳定锁服务。 一、基础分布式锁的核心缺陷 传统分布式锁通过 SETNX key v
段一凡-华北理工大学3 小时前
大数据·人工智能·hadoop·分布式·学习·架构·高炉炼铁
工业领域的Hadoop架构学习~系列文章19:能源行业Hadoop应用实践导言:能源行业是Hadoop大数据技术的重要应用领域,涵盖电力、石油、天然气、新能源等多个细分行业。本期深入讲解智能电网、油气生产优化、新能源运维等典型场景的Hadoop解决方案,从数据采集到智能分析,完整呈现能源大数据的落地实践。
giaz14n9X14 小时前
数据库·redis·分布式
Redis 分布式锁进阶第五十七篇Redis 分布式锁进阶与生产级优化:从原理到高可用落地 在微服务与分布式架构中,Redis 分布式锁是解决跨进程资源竞争、防止重复提交、保证接口幂等性的核心方案。基础版 SETNX + EXPIRE 仅能满足简单场景,在高并发、长事务、集群部署等生产环境下,易出现死锁、误释放、锁失效、性能瓶颈等问题。本文从核心痛点切入,深度讲解 Redis 分布式锁的进阶优化方案,覆盖原子性、可靠性、高可用、性能调优全维度,助力打造生产级稳定锁服务。 一、基础分布式锁的核心缺陷 传统分布式锁通过 SETNX key v
WyCAGy8ij14 小时前
数据库·redis·分布式
Redis 分布式锁进阶第二篇讲解Redis 分布式锁进阶与生产级优化:从原理到高可用落地 在微服务与分布式 架构中,Redis 分布式锁是解决跨进程资源竞争、防止重复提交、保证接口幂等性的核心方案。基础版 SETNX + EXPIRE 仅能满足简单场景,在高并发、长事务、集群部署 等生产环境下,易出现死锁、误释放、锁失效、性能瓶颈等问题。本文从核心痛点切入,深度讲解 Redis 分布式锁的进阶优化方案,覆盖原子性、可靠性、高可用、性能调优全维度,助力打造生产级稳定锁服务。
冰西瓜60017 小时前
人工智能·分布式·深度学习
深度学习的数学原理(四十二)—— 分布式训练衔接前序:第 35-38 篇完成了 Transformer 的训练流程(从手算到代码),第 40 篇拆解了推理过程的数学原理,第 41 篇用 KV Cache 优化了解码效率。但所有这些都建立在"单卡 GPU 装得下模型"的前提下。当模型从数百万参数膨胀到数十亿甚至数千亿参数时,单张 GPU 的显存和算力都不再够用——这时候就需要分布式训练。
WyCAGy8ij1 天前
数据库·redis·分布式
Redis 分布式锁进阶第四篇讲解Redis 分布式锁进阶与生产级优化:从原理到高可用落地 在微服务与分布式 架构中,Redis 分布式锁是解决跨进程资源竞争、防止重复提交、保证接口幂等性的核心方案。基础版 SETNX + EXPIRE 仅能满足简单场景,在高并发、长事务、集群部署 等生产环境下,易出现死锁、误释放、锁失效、性能瓶颈等问题。本文从核心痛点切入,深度讲解 Redis 分布式锁的进阶优化方案,覆盖原子性、可靠性、高可用、性能调优全维度,助力打造生产级稳定锁服务。
MrJson-架构师1 天前
java·开发语言·分布式
AgentScope Java 2.0:打造分布式、企业级智能体底座AgentScope 是一款开源的智能体应用开发框架,帮助开发者完成从大模型到智能体的构建与部署。继 Python、TypeScript 版本相继升级到 2.0 之后,AgentScope Java 2.0 正式发布——这是 AgentScope 多语言体系迈向 JVM 生态与企业级生产场景的重要一步。
先跑起来再说1 天前
分布式·go·gin
Go 排行榜系统的工程化实现:分布式锁、快照表与定时刷新本文基于「食友」校园美食点评平台的后端项目,分享排行榜系统的工程化设计,包括分布式锁控制并发、快照表实现读写分离、定时调度器热更新以及任务状态管理。
ACP广源盛139246256731 天前
大数据·人工智能·分布式·信息可视化·spark·电脑·音视频
GSV2231 三屏显示扩展芯片@ACP#RTX Spark AI 终端多屏协作专属解决方案随着英伟达 RTX Spark 3nm 端侧 AI 芯片量产落地,本地运行 200B 参数大模型、Cosmos 3 全模态物理 AI 模型成为消费级与专业级终端的标配能力。对于 AI 开发者、数字内容创作者、运维工程师、远程办公人员而言,单屏操作已经完全无法满足复杂的多任务并行需求:模型编译、实时推理监控、素材预览、参数调试、数据可视化等工作需要分区展示,多屏协作成为提升 AI 工作效率的核心刚需。
探客木木夕1 天前
网络·人工智能·分布式·边缘计算
分布式全球类脑智能网络架构设计构建 “大型服务器为主干、各终端为神经网络节点” 的分布式全球类脑智能网络 —— 即 “全球类脑矩阵”,属于下一代人工智能与算力网络融合的前沿基础创新命题。该技术构想的核心逻辑并非凭空创造,而是对现有 “云 - 边 - 端” 三级算力网络架构、端云协同联邦计算范式的类脑化融合升级:在网络架构层面,将传统中心化算力枢纽的部分决策、存储能力下沉至边缘节点,以 “骨干云池 - 边缘集群 - 端侧节点” 的三级分层协同架构重塑算力流量交互模式;在计算范式层面,把联邦学习作为核心协同机制,将知识蒸馏、多模态参数高效
周末也要写八哥2 天前
分布式
分布式技术之单机锁如你所知,随着分布式技术的不断发展以及广泛运用,分布式系统中的不同节点如何访问共享资源成了一个棘手问题,分布式锁是目前一个比较通用的方案。
Shan12052 天前
分布式
浅谈:分布式锁的系统分类根据锁资源本身的安全性,我们将分布式锁分为两个阵营:a)基于异步复制的分布式系统,例如mysql ,tair ,redis等;
阿文的代码库2 天前
分布式
干货分享——分布式锁的典型案例典型案例追求安全的场景:对于分布式架构通常会有一个 Master 角色负责调度资源,管理并在节点间去调度资源用 sourcer 表示,保证资源的均衡。manager 是管理 sourcer 的逻辑载体。因为涉及到数据一致性,无论是 Master 之间的分布式锁实现 HA ,还是不同的 manager 对 sourcer 的访问控制,这里对于分布式锁的需求就是绝对互斥性是第一位的。
珠***格2 天前
网络·数据库·人工智能·分布式·能源·边缘计算
实操落地|防逆流装置的安装规范、调试标准与故障处置防逆流装置作为光伏系统与电网协同的核心设备,其安装质量、调试精度直接决定防逆流控制效果,也直接影响光伏消纳效率与电网安全稳定运行。本文聚焦实操落地,详细拆解西格电力防逆流装置的安装规范、调试关键步骤及常见故障处置方法,为光伏开发商、运维人员提供可直接参考、可落地的实操指南,规避安装、调试中的常见误区,确保装置高效、稳定运行,适配光伏项目实操需求。
国科安芯2 天前
网络·分布式·单片机·架构·安全性测试
国科安芯推出商业航天级抗辐照全双工 RS485/422 收发器 ASC491S2YASC491S2Y 是厦门国科安芯科技有限公司自主研发的商业航天级全双工高速 RS485/RS422 收发器,专为工业长距离、高可靠、多点差分通信设计,全流程国产化,可实现进口替代。
zzz_23682 天前
分布式·面试·rabbitmq
【RabbitMQ】面试系列 · 第一期:基础认知与选型实战声明:本文所有案例基于虚拟教学项目 CloudMart(一个虚构的电商平台),该项目仅用于串联 RabbitMQ 知识点演示,不存在于任何生产环境。
SilentSamsara2 天前
开发语言·分布式·python·微服务·架构
Python 微服务全链路:gRPC + 链路追踪 + 服务网格接入REST 是微服务通信的"普通话"——适用范围广,学习门槛低。但在服务间高频调用(每秒万级)的场景下,JSON 文本序列化的字节开销和 HTTP/1.1 的队头阻塞就不再是可以忽略的成本了。gRPC 的 Protocol Buffers 二进制编码 + HTTP/2 多路复用,是高吞吐服务间通信的必然演进方向。而当微服务数量从 3 个增长到 30 个,一个请求可能经过 5~8 个服务才能完成——此时若没有分布式链路追踪,排查一次超时将变成逐服务翻日志的噩梦。