分布式

PingCAP11 小时前
数据库·分布式·架构
善战者无赫赫之功:消费金融核心系统的数据库选型与升级路径摘要:长银五八消费金融的核心系统数据库选型近年来,在金融国产化政策加速推进与普惠金融业务持续下沉的双重驱动下,持牌消费金融行业正经历从“规模驱动”向“技术驱动”的深度变革。随着业务量级的攀升和监管要求的收紧——包括实时监管报送、数据安全合规、国产化替代等硬性指标——底层基础设施的支撑能力已成为制约业务发展的关键变量。
库库的数据库笔记12 小时前
大数据·数据库·分布式·mysql·oracle·金融·数据库架构
金融核心交易系统的数据库国产信创改造该如何做?2026年10月8日,《2026年数智金融信创研究报告》发布,预计今年金融信创市场规模达到3019亿元,同比增长22%。这个数字本身不算意外,真正值得注意的是报告里的另一句话,金融信创已经进入核心交易系统改造阶段。
爱吃火鸡面呀17 小时前
大数据·分布式·spark
深入理解 Spark RDD:五大特性与实战解析在大数据处理领域,Apache Spark 凭借其内存计算、容错机制和丰富的算子体系,成为分布式计算的事实标准。而 RDD(弹性分布式数据集)作为 Spark 最核心的抽象,是理解整个 Spark 计算模型的关键。本文将从一段经典的 WordCount 代码出发,结合多个实战示例,深入剖析 RDD 的五大特性,帮助读者真正理解 Spark 底层的工作原理。
Norris Huang20 小时前
分布式·flink·kafka
Kafka Connect 与 Flink CDC 写入 Iceberg:Upsert 的代价,以及 S3 Tables 的真正价值把数据库变更同步到 Iceberg,真正困难的不是把一条新记录写成 Parquet,而是处理一条 UPDATE 或 DELETE:
我就是不信20 小时前
分布式
集群高并发环境下如何保证分布式唯一全局ID生成?在互联网业务高速发展的今天,单机数据库的自增主键已经无法满足高并发、大数据量场景下的需求。当系统从单体架构演进到分布式、微服务架构时,如何在不同节点、不同服务之间生成全局唯一的 ID,成为架构设计中必须解决的基础问题。
黄俊懿2 天前
java·服务器·数据库·分布式·性能优化·架构·系统架构
【架构师从入门到进阶】第六章:服务集群优化——第八节:线程数公式本篇文章我们来学习多线程中线程数的选择。这个也是困扰大家的一个问题,有的时候甚至说拍脑袋决定一个,其实这里面的答案,严格来说,没有准确的数字。但是大概也是有据可循,就是通过一些公式,也可以拿到一些数据来作为一个参考。
大菠萝爱上小西瓜2 天前
大数据·分布式·spark
基于 Spark + Iceberg 湖仓一体的 Netflix 流媒体用户行为全链路数仓与 ALS 智能推荐决策系统(含穿透下钻大屏)作者:大数据与智能推荐架构师 标签:大数据 Apache Spark Apache Iceberg 数据仓库 推荐系统 协同过滤 Vue3 ECharts
吴建旭 智宅焕2 天前
分布式·智能家居
智能家居售后服务体系的架构设计:分布式售后风险的集中式兜底方案一、背景/痛点分析售后服务是智能家居交付链条中不确定性最高的环节。产品可能出问题,使用端可能操作失误,现场环境可能变化,各类异常防不胜防。
lisanmengmeng2 天前
分布式
Ganglia分布式集群监控系统安装手册Ganglia是UC Berkeley发起的一个开源集群监视项目。它主要是用来监控系统性能,如:CPU 、Memory、硬盘利用率, I/O负载、网络流量情况等。Ganglia通过图形化的方式展示每个节点的状态信息,这对合理调整、分配系统资源,提高系统整体性能起到重要作用。Ganglia包含三个核心组件:Ganglia Monitoring Daemon(gmond)、Ganglia Meta Daemon(gmetad)以及Ganglia PHP Web Frontend。
Smoothcloud润云3 天前
大数据·人工智能·pytorch·分布式·深度学习·gpu算力
GPU算力平台推荐:新手租GPU时,镜像环境和显存应该怎么选?第一次使用GPU算力平台时,很多开发者只关注显卡型号,却忽略镜像、显存余量和数据盘。结果往往是实例已经启动,深度学习框架却无法调用GPU,或者模型刚加载就报显存不足。本文提供一套可执行的选型方法。
程序员大阳3 天前
大数据·分布式·集群·搭建·四节点
副队长大数据教程(6)--四节点分布式集群搭建在之前的教程中,我们已经完成了Hadoop伪分布式搭建,对搭建过程有了一个比较具体的认知。实际上在企业,还是需要搭建真正的多节点分布式集群,才能真正发挥Hadoop大数据处理能力。当然,具体需要多少个节点,还是由实际需求决定的。
马六六i3 天前
人工智能·分布式
目前知名的分布式Ai数智共享商城哪家好当下不少实体商家、康养机构、副业参与者想搭建分布式线上经营体系,却常陷入“传统平台抽成高、数据不自主、客源共享假噱头”的坑,我们专门筛选了市面合规经营、有落地案例的头部分布式数智商城品牌,从核心维度做实测对比,给大家提供可直接落地的选择参考。
大鹏说大话3 天前
分布式
分布式事务怎么选型?2PC、TCC、SAGA、本地消息表一次讲清分布式事务没有“最好”的方案,只有“最匹配业务”的方案。选型的本质不是选技术,而是选一致性、性能、复杂度、团队承载力之间的取舍。
Eloudy3 天前
人工智能·分布式·机器学习
ASTRA-sim 3.0:通过高保真GPU和基础设施建模进行下一级分布式机器学习模拟回到arXiv分布式机器学习(ML)是当今大规模人工智能应用的关键范式。随着模型推理成为一个重要的用例,延迟敏感的集体通信的忠实建模从未如此重要。因此,在今天,以高保真度捕获设备架构和建模控制和数据路径是必要的。为分布式ML基础设施提供一个共同的、详细的表示也至关重要。我们重温了有前途的开源、社区驱动的模拟器:ASTRA-sim。在这项工作中,我们确定了当前ASTRA-sim模拟器的局限性,并用新功能增强了它。为此,我们通过标准化的基础设施表示实现精细、高保真模拟,开辟了新的设计空间探索机会。我们建议以缓
泡海椒3 天前
分布式·sql·架构
JQuick-SQL 模块架构:从 SQL AST 到分布式执行Meta 描述:梳理 jquick-sql 的 core、parser、plan、proto、query、runtime 六个模块,理解 Java SQL 查询引擎的真实处理边界。
starzy19903 天前
分布式·kafka
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件摘要:一行 new KafkaProducer(props) 背后,是配置校验、序列化器/分区器/拦截器装配、32MB 发送缓冲、事务管理器与一条 Sender 守护线程的完整启动,却没有发起任何一次网络请求。本文基于 kafka-clients 3.9.x 源码,逐段拆解初始化全过程,并给出生产环境排查清单。
程序员大阳3 天前
大数据·hadoop·分布式·集群·配置·角色·逻辑
副队长大数据教程(7)--Hadoop 集群角色配置逻辑详解看了上一篇的实操,大家想必有一个疑问,集群某个节点作为什么角色运行,到底是怎么设定的。我们用一个实例,来解释下,如下规划:
蓝胖的四次元口袋3 天前
分布式·rabbitmq
RabbitMQ知识梳理(2)作者:没有四次元口袋的蓝胖 日期:2026-10-17 标签:RabbitMQ, 发布订阅, Fanout, Direct, Topic
xianyuCcCcCCCcc3 天前
分布式·ceph·架构
Ceph 分布式存储:核心架构与集群部署在云计算与大数据时代,存储系统面临着海量数据、高并发访问和高可靠性的挑战。Ceph 作为一款开源的分布式存储系统,凭借其高扩展性、高可用性和统一的存储接口(对象、块、文件),已成为云原生环境中不可或缺的存储基础设施。本文将深入剖析 Ceph 的核心架构,并详细讲解基于 Cephadm 的集群部署全过程,涵盖从环境准备到日常运维的每一个细节。
真上帝的左手3 天前
分布式·架构·应用架构
10. 软件设计&架构-分布式文件存储系统分布式文件存储是大型架构核心,下面详解分布式文件存储系统。HDFS(Hadoop Distributed File System)是 Hadoop 生态中的分布式文件系统,主要用于存储大规模数据集。