分布式

叶总没有会8 小时前
分布式·rabbitmq
RabbitMQ高级前面我们已经学会了MQ的基本使用,但是我们真正到企业实际开发中,消息业务难免会出现问题,问题的出现主要再这下面三个方面:
ABB自动化11 小时前
大数据·分布式·系统架构·系统安全·模块测试·plc 控制器
ABB 500CIM06 (1MRB150077R0111) | REB500 通信接口介绍本手册技术手册包含应用和功能描述,并列出了功能块、逻辑图、输入和输出信号、设置参数和按功能分类的技术数据。本手册可用作工程设计阶段、安装和调试阶段以及正常服务期间的技术参考。
ZENERGY-众壹12 小时前
分布式·架构·光伏运维·能源数字化·电站监控
告别本地工控机:分布式光伏 SCADA 架构如何实现云边协同去年 5 月,我们在苏南跑一个 20MW 的分布式项目,资产方要求实现秒级监控。当时施工方为了省事,还是按地面站那套逻辑,在现场塞了个工业 PC 装本地 SCADA。结果上线不到一周,运维群里的告警就炸了:网络稍微一抖动,本地数据库就断连,云端看数据全是断档。这种“重本地、轻云端”的土办法,在分布式光伏爆发的今天,简直是运维人员的噩梦。
code_slave(码畜)12 小时前
spring boot·分布式·spring cloud·微服务·云原生·架构·读写分离
微服务架构落地:读写分离架构 —— 主从延迟引发的“刚开单查不到”灾难与破局大宗商品销采运储系统・六层架构连载(数据持久层)上一篇我们完成了数据持久层总览,明确了从单机到海量数据架构演进的必经之路。
JAVA_AI人工智能项目实战13 小时前
人工智能·分布式·语言模型·自然语言处理
分布式大模型训练_学习笔记训练大模型的三重瓶颈(显存/算力/时间)决定了单卡不可行,分布式训练是唯一路径。整份材料围绕一条主线展开:
星夜孤帆14 小时前
redis·分布式·缓存
Redis缓存击穿与分布式锁实战:专栏目录、源码与实验说明热门商品缓存一过期,为什么几十个请求会同时回源?加了本地锁后,部署两个实例为什么仍会查两次数据库?Redisson看门狗会不会保证业务永远只有一个执行者?这套三篇实战用同一个可运行工程逐步回答。
yyk3332415 小时前
大数据·分布式·spark
Spark介绍不是数据库,也不是HDFS那样的存储方案。它是计算层:任务调度、内存管理、容错恢复、与存储系统交互、分布式数据集API等。
成为你的宁宁15 小时前
分布式·jenkins
【基于 SSH 与 JNLP 协议的 Jenkins 分布式构建方案】提示:本文原创作品,良心制作,干货为主,简洁清晰,一看就会我的实验环境由于我目前已有一套配置完整、包含全流程 CI/CD 的 Jenkins 项目,本次将在现有项目基础上进行改造,搭建 Jenkins 分布式架构 现有项目:https://blog.csdn.net/m0_63756214/article/details/167388905?spm=1001.2014.3001.5501
PingCAP1 天前
数据库·分布式·架构
善战者无赫赫之功:消费金融核心系统的数据库选型与升级路径摘要:长银五八消费金融的核心系统数据库选型近年来,在金融国产化政策加速推进与普惠金融业务持续下沉的双重驱动下,持牌消费金融行业正经历从“规模驱动”向“技术驱动”的深度变革。随着业务量级的攀升和监管要求的收紧——包括实时监管报送、数据安全合规、国产化替代等硬性指标——底层基础设施的支撑能力已成为制约业务发展的关键变量。
库库的数据库笔记1 天前
大数据·数据库·分布式·mysql·oracle·金融·数据库架构
金融核心交易系统的数据库国产信创改造该如何做?2026年10月8日,《2026年数智金融信创研究报告》发布,预计今年金融信创市场规模达到3019亿元,同比增长22%。这个数字本身不算意外,真正值得注意的是报告里的另一句话,金融信创已经进入核心交易系统改造阶段。
爱吃火鸡面呀2 天前
大数据·分布式·spark
深入理解 Spark RDD:五大特性与实战解析在大数据处理领域,Apache Spark 凭借其内存计算、容错机制和丰富的算子体系,成为分布式计算的事实标准。而 RDD(弹性分布式数据集)作为 Spark 最核心的抽象,是理解整个 Spark 计算模型的关键。本文将从一段经典的 WordCount 代码出发,结合多个实战示例,深入剖析 RDD 的五大特性,帮助读者真正理解 Spark 底层的工作原理。
Norris Huang2 天前
分布式·flink·kafka
Kafka Connect 与 Flink CDC 写入 Iceberg:Upsert 的代价,以及 S3 Tables 的真正价值把数据库变更同步到 Iceberg,真正困难的不是把一条新记录写成 Parquet,而是处理一条 UPDATE 或 DELETE:
我就是不信2 天前
分布式
集群高并发环境下如何保证分布式唯一全局ID生成?在互联网业务高速发展的今天,单机数据库的自增主键已经无法满足高并发、大数据量场景下的需求。当系统从单体架构演进到分布式、微服务架构时,如何在不同节点、不同服务之间生成全局唯一的 ID,成为架构设计中必须解决的基础问题。
黄俊懿3 天前
java·服务器·数据库·分布式·性能优化·架构·系统架构
【架构师从入门到进阶】第六章:服务集群优化——第八节:线程数公式本篇文章我们来学习多线程中线程数的选择。这个也是困扰大家的一个问题,有的时候甚至说拍脑袋决定一个,其实这里面的答案,严格来说,没有准确的数字。但是大概也是有据可循,就是通过一些公式,也可以拿到一些数据来作为一个参考。
大菠萝爱上小西瓜3 天前
大数据·分布式·spark
基于 Spark + Iceberg 湖仓一体的 Netflix 流媒体用户行为全链路数仓与 ALS 智能推荐决策系统(含穿透下钻大屏)作者:大数据与智能推荐架构师 标签:大数据 Apache Spark Apache Iceberg 数据仓库 推荐系统 协同过滤 Vue3 ECharts
吴建旭 智宅焕3 天前
分布式·智能家居
智能家居售后服务体系的架构设计:分布式售后风险的集中式兜底方案一、背景/痛点分析售后服务是智能家居交付链条中不确定性最高的环节。产品可能出问题,使用端可能操作失误,现场环境可能变化,各类异常防不胜防。
lisanmengmeng3 天前
分布式
Ganglia分布式集群监控系统安装手册Ganglia是UC Berkeley发起的一个开源集群监视项目。它主要是用来监控系统性能,如:CPU 、Memory、硬盘利用率, I/O负载、网络流量情况等。Ganglia通过图形化的方式展示每个节点的状态信息,这对合理调整、分配系统资源,提高系统整体性能起到重要作用。Ganglia包含三个核心组件:Ganglia Monitoring Daemon(gmond)、Ganglia Meta Daemon(gmetad)以及Ganglia PHP Web Frontend。
Smoothcloud润云3 天前
大数据·人工智能·pytorch·分布式·深度学习·gpu算力
GPU算力平台推荐:新手租GPU时,镜像环境和显存应该怎么选?第一次使用GPU算力平台时,很多开发者只关注显卡型号,却忽略镜像、显存余量和数据盘。结果往往是实例已经启动,深度学习框架却无法调用GPU,或者模型刚加载就报显存不足。本文提供一套可执行的选型方法。
程序员大阳3 天前
大数据·分布式·集群·搭建·四节点
副队长大数据教程(6)--四节点分布式集群搭建在之前的教程中,我们已经完成了Hadoop伪分布式搭建,对搭建过程有了一个比较具体的认知。实际上在企业,还是需要搭建真正的多节点分布式集群,才能真正发挥Hadoop大数据处理能力。当然,具体需要多少个节点,还是由实际需求决定的。
马六六i3 天前
人工智能·分布式
目前知名的分布式Ai数智共享商城哪家好当下不少实体商家、康养机构、副业参与者想搭建分布式线上经营体系,却常陷入“传统平台抽成高、数据不自主、客源共享假噱头”的坑,我们专门筛选了市面合规经营、有落地案例的头部分布式数智商城品牌,从核心维度做实测对比,给大家提供可直接落地的选择参考。