分布式

黄俊懿20 分钟前
java·服务器·数据库·分布式·性能优化·架构·系统架构
【架构师从入门到进阶】第六章:服务集群优化——第八节:线程数公式本篇文章我们来学习多线程中线程数的选择。这个也是困扰大家的一个问题,有的时候甚至说拍脑袋决定一个,其实这里面的答案,严格来说,没有准确的数字。但是大概也是有据可循,就是通过一些公式,也可以拿到一些数据来作为一个参考。
大菠萝爱上小西瓜3 小时前
大数据·分布式·spark
基于 Spark + Iceberg 湖仓一体的 Netflix 流媒体用户行为全链路数仓与 ALS 智能推荐决策系统(含穿透下钻大屏)作者:大数据与智能推荐架构师 标签:大数据 Apache Spark Apache Iceberg 数据仓库 推荐系统 协同过滤 Vue3 ECharts
吴建旭 智宅焕3 小时前
分布式·智能家居
智能家居售后服务体系的架构设计:分布式售后风险的集中式兜底方案一、背景/痛点分析售后服务是智能家居交付链条中不确定性最高的环节。产品可能出问题,使用端可能操作失误,现场环境可能变化,各类异常防不胜防。
lisanmengmeng13 小时前
分布式
Ganglia分布式集群监控系统安装手册Ganglia是UC Berkeley发起的一个开源集群监视项目。它主要是用来监控系统性能,如:CPU 、Memory、硬盘利用率, I/O负载、网络流量情况等。Ganglia通过图形化的方式展示每个节点的状态信息,这对合理调整、分配系统资源,提高系统整体性能起到重要作用。Ganglia包含三个核心组件:Ganglia Monitoring Daemon(gmond)、Ganglia Meta Daemon(gmetad)以及Ganglia PHP Web Frontend。
Smoothcloud润云20 小时前
大数据·人工智能·pytorch·分布式·深度学习·gpu算力
GPU算力平台推荐:新手租GPU时,镜像环境和显存应该怎么选?第一次使用GPU算力平台时,很多开发者只关注显卡型号,却忽略镜像、显存余量和数据盘。结果往往是实例已经启动,深度学习框架却无法调用GPU,或者模型刚加载就报显存不足。本文提供一套可执行的选型方法。
程序员大阳1 天前
大数据·分布式·集群·搭建·四节点
副队长大数据教程(6)--四节点分布式集群搭建在之前的教程中,我们已经完成了Hadoop伪分布式搭建,对搭建过程有了一个比较具体的认知。实际上在企业,还是需要搭建真正的多节点分布式集群,才能真正发挥Hadoop大数据处理能力。当然,具体需要多少个节点,还是由实际需求决定的。
马六六i1 天前
人工智能·分布式
目前知名的分布式Ai数智共享商城哪家好当下不少实体商家、康养机构、副业参与者想搭建分布式线上经营体系,却常陷入“传统平台抽成高、数据不自主、客源共享假噱头”的坑,我们专门筛选了市面合规经营、有落地案例的头部分布式数智商城品牌,从核心维度做实测对比,给大家提供可直接落地的选择参考。
大鹏说大话1 天前
分布式
分布式事务怎么选型?2PC、TCC、SAGA、本地消息表一次讲清分布式事务没有“最好”的方案,只有“最匹配业务”的方案。选型的本质不是选技术,而是选一致性、性能、复杂度、团队承载力之间的取舍。
Eloudy1 天前
人工智能·分布式·机器学习
ASTRA-sim 3.0:通过高保真GPU和基础设施建模进行下一级分布式机器学习模拟回到arXiv分布式机器学习(ML)是当今大规模人工智能应用的关键范式。随着模型推理成为一个重要的用例,延迟敏感的集体通信的忠实建模从未如此重要。因此,在今天,以高保真度捕获设备架构和建模控制和数据路径是必要的。为分布式ML基础设施提供一个共同的、详细的表示也至关重要。我们重温了有前途的开源、社区驱动的模拟器:ASTRA-sim。在这项工作中,我们确定了当前ASTRA-sim模拟器的局限性,并用新功能增强了它。为此,我们通过标准化的基础设施表示实现精细、高保真模拟,开辟了新的设计空间探索机会。我们建议以缓
泡海椒1 天前
分布式·sql·架构
JQuick-SQL 模块架构:从 SQL AST 到分布式执行Meta 描述:梳理 jquick-sql 的 core、parser、plan、proto、query、runtime 六个模块,理解 Java SQL 查询引擎的真实处理边界。
starzy19901 天前
分布式·kafka
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件摘要:一行 new KafkaProducer(props) 背后,是配置校验、序列化器/分区器/拦截器装配、32MB 发送缓冲、事务管理器与一条 Sender 守护线程的完整启动,却没有发起任何一次网络请求。本文基于 kafka-clients 3.9.x 源码,逐段拆解初始化全过程,并给出生产环境排查清单。
程序员大阳1 天前
大数据·hadoop·分布式·集群·配置·角色·逻辑
副队长大数据教程(7)--Hadoop 集群角色配置逻辑详解看了上一篇的实操,大家想必有一个疑问,集群某个节点作为什么角色运行,到底是怎么设定的。我们用一个实例,来解释下,如下规划:
蓝胖的四次元口袋1 天前
分布式·rabbitmq
RabbitMQ知识梳理(2)作者:没有四次元口袋的蓝胖 日期:2026-10-17 标签:RabbitMQ, 发布订阅, Fanout, Direct, Topic
xianyuCcCcCCCcc2 天前
分布式·ceph·架构
Ceph 分布式存储:核心架构与集群部署在云计算与大数据时代,存储系统面临着海量数据、高并发访问和高可靠性的挑战。Ceph 作为一款开源的分布式存储系统,凭借其高扩展性、高可用性和统一的存储接口(对象、块、文件),已成为云原生环境中不可或缺的存储基础设施。本文将深入剖析 Ceph 的核心架构,并详细讲解基于 Cephadm 的集群部署全过程,涵盖从环境准备到日常运维的每一个细节。
真上帝的左手2 天前
分布式·架构·应用架构
10. 软件设计&架构-分布式文件存储系统分布式文件存储是大型架构核心,下面详解分布式文件存储系统。HDFS(Hadoop Distributed File System)是 Hadoop 生态中的分布式文件系统,主要用于存储大规模数据集。
Thomas.Sir2 天前
分布式·spring cloud·seata
第30课:分布式事务解决方案 & Seata最终一致性实战适配版本:Seata 2.5.0、Spring Cloud Alibaba 2025.1.0.0、Spring Cloud 2025.1.3(Oakwood)、Spring Boot 4.0.8、Nacos Server 3.1.1、JDK 21 课程定位:微服务高阶阶段核心课,从分布式事务理论到Seata AT模式实战,构建跨服务数据一致性保障能力
donk13142 天前
javascript·分布式·react native·react.js·wpf·harmonyos
React Native for OpenHarmony 实战:三方库 react-native-circular-action-menu 的鸿蒙化适配指南本文记录把 react-native-circular-action-menu(圆形展开菜单)适配到 HarmonyOS 的完整过程。
蓝胖的四次元口袋2 天前
分布式·rabbitmq
RabbitMQ知识梳理(1)作者:没有四次元口袋的蓝胖 日期:2026-10-16 标签:RabbitMQ, 安装, HelloWorld, 工作模型
霸道流氓气质2 天前
spring boot·分布式·缓存
Redisson BloomFilter:分布式位图实现、误判率调优与缓存穿透三级防护的 Spring Boot 生产级实战注:博客:https://blog.csdn.net/badao_liumang_qizhi在缓存穿透场景中,恶意请求携带大量不存在的 ID(如 surveyId=-1、surveyId=99999999)持续访问,这些请求在 Redis 中必然 miss,然后全部涌向数据库。数据库的查询能力远低于 Redis,瞬间就会被拖垮。
流烟默2 天前
分布式·clickhouse
ClickHouse 集群建表实战:从引擎选择到本地表 / 分布式表落地一次把 MergeTree / ReplacingMergeTree / ReplicatedReplacingMergeTree 三者讲清,从引擎参数到"本地表 + 分布式表"的完整建表流程,并给出一套"从环境 + 业务倒推参数"的决策链。