技术栈
分布式
xianyuCcCcCCCcc
28 分钟前
运维
·
分布式
·
ceph
Ceph 分布式存储:集群配置与存储池管理
在 Ceph 分布式存储的运维中,集群配置的精准度决定了系统的性能上限与稳定性,而存储池(Pool)的合理规划则是保障数据安全与容量利用率的基石。很多初学者在部署完 Ceph 后,往往停留在使用默认配置的阶段。但在实际生产环境中,理解配置的生效优先级、Monitor 的 Paxos 仲裁机制、PG(放置组)的映射原理以及池的底层参数调优,是每个云原生存储工程师的必修课。
萧瑟余晖
3 小时前
分布式
·
spring
·
spring cloud
Spring Cloud分布式事务与链路追踪详解
定位:第 06 篇,讲透分布式事务问题与方案谱系(Seata 四模式、可靠消息)及链路追踪的原理与落地 适用版本:Spring Cloud 2023.x + Seata / Micrometer Tracing 说明:本篇只讲工程方案
汤姆宝库
3 小时前
分布式
预训练工程深拆:Scaling_Law、数据管线与分布式并行
训练一个千亿参数模型,在数学上只是优化一个交叉熵损失;在工程上,它同时是预算规划、数据科学、显存算术和通信拓扑的联合优化问题。这四个子问题彼此咬合:预算表决定数据量与参数量的配比,数据质量决定损失的下界,显存算术决定并行拓扑,而拓扑的通信效率决定那张千万美元的账单最终烧多久。本文按这个顺序逐层拆解。
pjj19854
3 小时前
大数据
·
分布式
·
spark
Spark RDD 核心知识详解:算子、依赖与执行模型
上一篇我们聊了 Spark 是什么、它有哪些模块、整体架构长什么样。这篇继续往里钻一层,专门讲 Spark 的核心抽象——RDD。你会搞清楚 RDD 到底是个什么东西、有哪些算子可以用、Spark 又是怎么把一个作业拆开来并行执行的。
浔溺
4 小时前
大数据
·
分布式
·
spark
Spark核心基石:RDD全方位深度解析(原理、算子、实战、优化)
在大数据计算领域,Spark 凭借内存级高速计算的优势,彻底颠覆了传统 MapReduce 离线计算的低效问题。而支撑 Spark 高性能、高容错、分布式计算的核心底层抽象,就是 RDD(Resilient Distributed Dataset,弹性分布式数据集)。
catino
5 小时前
分布式
·
rabbitmq
·
ruby
RabbitMQ详解
RabbitMQ 是基于 高级消息队列协议(AMQP)、Erlang 开发的开源消息中间件,优势在于消息路由灵活、投递可靠性高,适合业务告警、事件通知这类对消息可靠度要求高的场景。
爱吃火鸡面呀
5 小时前
大数据
·
分布式
·
spark
Spark RDD 创建与转换算子详解
本文通过五个完整的 PySpark 示例,系统讲解 RDD 的三种创建方式以及 Value 类型转换算子的核心用法,帮助读者快速掌握 Spark 编程的基础操作。
叶总没有会
21 小时前
分布式
·
rabbitmq
RabbitMQ高级
前面我们已经学会了MQ的基本使用,但是我们真正到企业实际开发中,消息业务难免会出现问题,问题的出现主要再这下面三个方面:
ABB自动化
1 天前
大数据
·
分布式
·
系统架构
·
系统安全
·
模块测试
·
plc 控制器
ABB 500CIM06 (1MRB150077R0111) | REB500 通信接口
介绍本手册技术手册包含应用和功能描述,并列出了功能块、逻辑图、输入和输出信号、设置参数和按功能分类的技术数据。本手册可用作工程设计阶段、安装和调试阶段以及正常服务期间的技术参考。
ZENERGY-众壹
1 天前
分布式
·
架构
·
光伏运维
·
能源数字化
·
电站监控
告别本地工控机:分布式光伏 SCADA 架构如何实现云边协同
去年 5 月,我们在苏南跑一个 20MW 的分布式项目,资产方要求实现秒级监控。当时施工方为了省事,还是按地面站那套逻辑,在现场塞了个工业 PC 装本地 SCADA。结果上线不到一周,运维群里的告警就炸了:网络稍微一抖动,本地数据库就断连,云端看数据全是断档。这种“重本地、轻云端”的土办法,在分布式光伏爆发的今天,简直是运维人员的噩梦。
code_slave(码畜)
1 天前
spring boot
·
分布式
·
spring cloud
·
微服务
·
云原生
·
架构
·
读写分离
微服务架构落地:读写分离架构 —— 主从延迟引发的“刚开单查不到”灾难与破局
大宗商品销采运储系统・六层架构连载(数据持久层)上一篇我们完成了数据持久层总览,明确了从单机到海量数据架构演进的必经之路。
JAVA_AI人工智能项目实战
1 天前
人工智能
·
分布式
·
语言模型
·
自然语言处理
分布式大模型训练_学习笔记
训练大模型的三重瓶颈(显存/算力/时间)决定了单卡不可行,分布式训练是唯一路径。整份材料围绕一条主线展开:
星夜孤帆
1 天前
redis
·
分布式
·
缓存
Redis缓存击穿与分布式锁实战:专栏目录、源码与实验说明
热门商品缓存一过期,为什么几十个请求会同时回源?加了本地锁后,部署两个实例为什么仍会查两次数据库?Redisson看门狗会不会保证业务永远只有一个执行者?这套三篇实战用同一个可运行工程逐步回答。
yyk33324
1 天前
大数据
·
分布式
·
spark
Spark介绍
不是数据库,也不是HDFS那样的存储方案。它是计算层:任务调度、内存管理、容错恢复、与存储系统交互、分布式数据集API等。
成为你的宁宁
1 天前
分布式
·
jenkins
【基于 SSH 与 JNLP 协议的 Jenkins 分布式构建方案】
提示:本文原创作品,良心制作,干货为主,简洁清晰,一看就会我的实验环境由于我目前已有一套配置完整、包含全流程 CI/CD 的 Jenkins 项目,本次将在现有项目基础上进行改造,搭建 Jenkins 分布式架构 现有项目:https://blog.csdn.net/m0_63756214/article/details/167388905?spm=1001.2014.3001.5501
PingCAP
2 天前
数据库
·
分布式
·
架构
善战者无赫赫之功:消费金融核心系统的数据库选型与升级路径
摘要:长银五八消费金融的核心系统数据库选型近年来,在金融国产化政策加速推进与普惠金融业务持续下沉的双重驱动下,持牌消费金融行业正经历从“规模驱动”向“技术驱动”的深度变革。随着业务量级的攀升和监管要求的收紧——包括实时监管报送、数据安全合规、国产化替代等硬性指标——底层基础设施的支撑能力已成为制约业务发展的关键变量。
库库的数据库笔记
2 天前
大数据
·
数据库
·
分布式
·
mysql
·
oracle
·
金融
·
数据库架构
金融核心交易系统的数据库国产信创改造该如何做?
2026年10月8日,《2026年数智金融信创研究报告》发布,预计今年金融信创市场规模达到3019亿元,同比增长22%。这个数字本身不算意外,真正值得注意的是报告里的另一句话,金融信创已经进入核心交易系统改造阶段。
爱吃火鸡面呀
2 天前
大数据
·
分布式
·
spark
深入理解 Spark RDD:五大特性与实战解析
在大数据处理领域,Apache Spark 凭借其内存计算、容错机制和丰富的算子体系,成为分布式计算的事实标准。而 RDD(弹性分布式数据集)作为 Spark 最核心的抽象,是理解整个 Spark 计算模型的关键。本文将从一段经典的 WordCount 代码出发,结合多个实战示例,深入剖析 RDD 的五大特性,帮助读者真正理解 Spark 底层的工作原理。
Norris Huang
2 天前
分布式
·
flink
·
kafka
Kafka Connect 与 Flink CDC 写入 Iceberg:Upsert 的代价,以及 S3 Tables 的真正价值
把数据库变更同步到 Iceberg,真正困难的不是把一条新记录写成 Parquet,而是处理一条 UPDATE 或 DELETE:
我就是不信
2 天前
分布式
集群高并发环境下如何保证分布式唯一全局ID生成?
在互联网业务高速发展的今天,单机数据库的自增主键已经无法满足高并发、大数据量场景下的需求。当系统从单体架构演进到分布式、微服务架构时,如何在不同节点、不同服务之间生成全局唯一的 ID,成为架构设计中必须解决的基础问题。