分布式

KAIWEILIUCC2 小时前
分布式·llm
Ray:高性能、易扩展的Python分布式计算框架在机器学习、数据科学和高性能计算领域,我们经常需要处理大规模的计算任务。传统的单机计算往往无法满足需求,而构建分布式系统又充满挑战。Ray作为一个现代化的分布式计算框架,以其简洁的API、强大的性能和丰富的生态系统,正在改变我们处理大规模计算任务的方式。本文将深入探讨Ray的核心概念、应用场景和最佳实践。
一路向北finish5 小时前
linux·运维·hadoop·分布式·centos
《CentOS 7 搭建 Hadoop 3.3.6 分布式集群:NFS 共享方案完整实操》这次实操从头到尾把 Hadoop 3.3.6 从单节点伪分布式,一步步扩容到三节点完全分布式集群,中间踩了好几个经典的入门坑——主机名解析失败、jps 命令找不到、NFS 权限不对、集群 ID 不一致等等。全程采用 NFS 共享 /home/hadoop 目录的方式同步安装包与配置文件,省了大量重复拷贝的功夫。这里把完整流程和踩坑排错的过程都记录下来,既方便自己复盘,也给刚入门的同学避避坑。
天涯明月19936 小时前
大数据·人工智能·分布式·架构·ray
Ray 架构解析——以动态任务图统一 AI 计算的分布式框架一次关于 Ray 分布式计算框架的架构梳理与工程取舍分析:从编程模型讲到系统分层、调度与容错,再延伸到架在 Ray Core 之上的上层生态。全文配有多张 Mermaid 示意图(架构图、时序图、决策流程图、ER 图等),可在支持 Mermaid 的 Markdown 渲染器中直接查看。
小张同学a.8 小时前
linux·运维·分布式·pacemaker·moosefs·sbd
MooseFS 分布式存储实战指南:部署、运维与 Pacemaker+SBD 高可用落地MooseFS 是开源、轻量、兼容 POSIX 的分布式文件系统,可以把多台普通服务器的磁盘整合为统一存储池,对外像本地文件一样挂载使用,无需改造上层业务代码。
BYSJMG9 小时前
大数据·hadoop·分布式·信息可视化·数据分析·课程设计
大数据毕业设计选题方向|【基于大数据的燃油消耗数据可视化与分析】Hadoop+PySpark+FP-Growth精彩专栏推荐订阅:在下方主页👇🏻👇🏻👇🏻👇🏻💖🔥作者主页:计算机毕设木哥🔥 💖
NJCloud1 天前
linux·运维·分布式·架构
MooseFS 分布式存储部署与高可用架构实践MooseFS 是一个开源的分布式文件系统,它可以把多台普通服务器的存储空间整合成一个统一的存储资源池,以解决海量数据存储、高可靠性和易扩展性等问题。
zcmodeltech1 天前
分布式·stm32·单片机·嵌入式硬件·交互
钢铁冶金沙盘模型控制系统设计与实现:高炉-连铸-热轧多工序联动方案一、引言 钢铁冶金沙盘模型覆盖钢铁厂模型、高炉模型、连铸生产线模型、热轧生产线模型、轧钢生产线模型、智能化钢铁生产线模型等多个品类,涉及焦化、烧结、炼铁、炼钢、连铸、轧钢等完整生产流程的精准还原。
小张同学a.1 天前
大数据·hadoop·分布式
Hadoop 分布式集群实战 1—— 集群搭建与在线扩容Apache Hadoop 是开源分布式存储 + 分布式计算大数据框架,核心由 HDFS、YARN、MapReduce 三大组件构成,面向海量离线批处理场景,适合 TB/PB 级 “一次写入、多次读取” 的数据处理。
肠畔码农1 天前
redis·分布式·架构
深度解密 Redis 分布式锁:从单机原子语义到集群架构博弈分布式锁是微服务架构下解决高并发资源互斥的核心组件。本文将晦涩的底层技术与“酒店房卡与共用打印机”的生活场景深度融合,带你彻底厘清 Redis 单线程原子语义、SET NX PX 演进过程、超时误删与主从丢锁等核心痛点,并结合 Redisson 生产级 Java 代码与面试高分话术,打造一份兼具硬核深度与通俗易懂的分布式锁全景指南。
JavaPub-rodert2 天前
分布式·zookeeper·eureka
为什么 ZooKeeper 选择 CP,而 Eureka 选择 AP?在 Java 后端面试里,只要聊到分布式系统,几乎绕不开一个问题:为什么 ZooKeeper 选择 CP,而 Eureka 选择 AP?
小的~~1 天前
redis·分布式·面试
面试被问分布式锁,我差点语塞…直到搞懂了Redis、ZooKeeper和etcd的“三国杀”昨天面试,聊到分布式锁,我本以为 SET NX PX 和 Lua 脚本已经够用了。结果面试官追问了一句:“那如果让你在 Redis、ZooKeeper 和 etcd 里选一个做分布式锁,你会怎么选?为什么金融级场景不推荐 RedLock?
武科大许志伟1 天前
人工智能·分布式·演化计算
从并行进化到分布式进化计算读 A Survey on Distributed Evolutionary Computation——读 A Survey on Distributed Evolutionary Computation
国科安芯2 天前
分布式·单片机·嵌入式硬件·安全·fpga开发·架构
ASL706S:让 MCU 不再“失忆跑飞“的守护芯片系统上电瞬间,电源电压尚未爬升到稳定值,若 MCU 此时就开始取指执行,PC 指针极易跑飞;运行中一旦电源跌落、受到强干扰或程序陷入死循环,系统也会陷入"卡死"状态。成熟的方案不是靠软件"祈祷",而是在硬件层放一个专职守护者——ASL706S。
阿无,2 天前
分布式·rabbitmq
RabbitMQ面试题如何解决
盛世宏博智慧档案2 天前
分布式·机房·温湿度
全国100个分布式机房环境温湿度智能监测系统建设方案企业全国分散式100个机房以太网温湿度监控系统方案添加图片注释,不超过 140 字(可选)一、方案概述 随着企业业务全国化布局推进,目前已形成全国100个分散式机房的部署格局,涵盖总部核心机房、各省市分支机构机房、边缘节点机房等不同类型,机房地域跨度广、点位分散、运维独立、无人值守占比高。机房温湿度是保障服务器、交换机、存储设备等IT硬件稳定运行的核心环境指标,温湿度超标极易引发设备过热宕机、电路板受潮短路、硬件老化加速、数据传输异常等问题,直接影响企业业务连续性与数据安全。 传统人工巡检、单机房独立监测
六bring个六2 天前
分布式·分布式软总线
分布式设备连接对端失败问题分析这个是之前open Harmony 6.1release项目测试发现的问题,测试的应用是音乐的分布式流传,他提交了这个问题单以后,现在版本更新到6.1 LTS版本,需要把这个老问题重新测试一下。但是我拿到这个问题以后人都傻眼了,就说了一句连接失败,失败现象、失败在哪一步是一句没说。没办法,只能协调两块海思V900板子烧录重新弄搞了一周。最后看到最初的现象-----问题依然在6.1lts存在,失败在弹出是否允许连接到对端设备的弹窗上。
天涯明月19932 天前
大数据·人工智能·分布式·ray
ray深度研究报告一份关于 Ray 分布式计算框架的架构梳理与工程取舍分析。内容覆盖编程模型、系统分层、调度与内存机制、容错设计,以及围绕 Ray Core 构建的上层生态。文中示意图使用 Mermaid 绘制(架构图、数据流图、调度决策图、容错流程图、ER 关系图等),可直接在支持 Mermaid 的 Markdown 渲染器中查看。
Rain的Java大神之路3 天前
java·分布式·后端·spring·spring cloud·架构·springcloud
介绍一下分布式事务一句话定义:分布式事务就是保证多个独立微服务 / 数据库操作的原子性,要么全部成功,要么全部回滚,最终达到数据一致性的机制 🔒
大菠萝爱上小西瓜3 天前
大数据·分布式·spark
【大数据实战】Spark 2.2.2 完全分布式集群搭建前言 在大数据生态体系中,Apache Spark 凭借其基于内存计算的高性能架构,已成为海量数据分布式处理的事实标准。 本文将手把手带大家在 Ubuntu 16.04 系统上搭建 Spark 2.2.2 完全分布式(Standalone)集群。整个集群由 3 台虚拟机组成(1 台 Master 节点 + 2 台 Slave 工作节点)。文章从最底层的网络环境配置、SSH 免密互信、JDK 部署,到 Spark 核心参数调优、集群一键同步分发、Web UI 监控验证,最后通过一个 1GB 真实大文件的 P
肠畔码农3 天前
分布式·rocketmq
深度解析 RocketMQ 消费端限流与重平衡(Rebalance):分布式队列分配与流控防雪崩本质RocketMQ 消费端的高可用与高吞吐,高度依赖 Rebalance(重平衡) 与 消费端限流 双机制的深度协同。Rebalance 通过心跳契约与本地自治算法,实现 MessageQueue 与消费者实例间的动态去中心化分配;而消费端限流则依托 ProcessQueue 内存水位线实施主动流控。两者共同构成了系统在弹性扩缩容与流量洪峰下的安全防线。