分布式

麦兜*12 小时前
分布式·金融·架构
深入解析现代分布式事务架构:基于Seata Saga模式与TCC模式实现金融级高可用与数据最终一致性的工程实践全解析在深入具体模式之前,我们需要理解分布式事务的理论模型(CAP 定理与 BASE 理论)以及两种模式的适用场景。
難釋懷13 小时前
分布式
分布式锁-redission功能介绍你是否曾为以下问题头疼:Redisson —— 这个基于 Redis 的 Java 客户端框架,不仅封装了分布式锁的所有复杂细节,还提供了企业级的高可用、高性能、高扩展性支持。
only-qi16 小时前
分布式·微服务·架构
微服务场景下,如何实现分布式事务来保证一致性?为了让系统能够支撑更高的数据量和更复杂的业务流程,后端架构师在做架构设计的时候,通常会采用两种核心策略:将庞大的单体应用拆分为职责单一的微服务,以及为了应对海量数据,会对单一的数据库进行分库分表。
m0_5648768417 小时前
分布式
Distributed data parallel (DDP)分布式训练一次搞懂PyTorch DDP分布式训练_哔哩哔哩_bilibili多机多卡,或单机多卡几张卡初始化模型一样,每张卡分别拿不同的数据
BYSJMG18 小时前
大数据·vue.js·hadoop·分布式·后端·信息可视化·课程设计
计算机毕设选题推荐:基于Hadoop的交通事故数据可视化分析系统精彩专栏推荐订阅:在下方主页👇🏻👇🏻👇🏻👇🏻💖🔥作者主页:计算机毕设木哥🔥 💖
野犬寒鸦18 小时前
java·服务器·开发语言·分布式·后端·学习·spring
从零起步学习并发编程 || 第三章:JMM(Java内存模型)详解及对比剖析先想一个问题 多线程访问同一个变量,为什么会出问题?你以为一定打印 1? 不一定。原因不在 Java 语法,而在 硬件 + 编译器 + CPU 优化:
虫小宝20 小时前
java·redis·分布式
查券返利机器人的异步任务调度:Java XXL-Job+Redis实现海量查券请求的分布式任务分发大家好,我是 微赚淘客系统3.0 的研发者省赚客!在高并发场景下,用户通过查券返利机器人发起的优惠券查询请求可能瞬时达到数十万量级。为避免直接冲击核心接口并保障系统稳定性,我们采用“请求入队 + 异步消费”模式,基于 XXL-JOB 作为分布式调度中心,结合 Redis Stream 实现任务的可靠分发与削峰填谷。
yq19820430115621 小时前
分布式·scrapy·django
构建高可用资源导航平台:基于Django+Scrapy的分布式架构实践在信息聚合需求日益增长的今天,如何构建一个稳健、高效且合规的资源聚合平台,是技术实践中值得深入探讨的课题。本文将以一个技术演进为例,分享从单体架构到分布式微服务的实战经验,重点解析系统设计、性能优化与安全防护等核心技术模块,并结合核心代码片段拆解落地细节。
你这个代码我看不懂1 天前
分布式·kafka
Kafka常见问题解答Kafka 削峰填谷 是一种利用消息队列 Kafka 来处理系统流量波动的常用架构设计模式。这个比喻形象地描述了其核心作用:
Tony Bai1 天前
数据库·人工智能·分布式·git
Git 即数据库:Beads (bd) —— 专为 AI Agent 打造的分布式任务追踪引擎大家好,我是Tony Bai。在 AI 编码智能体(如 Claude Code、Gemini CLI 等)日益普及的今天,我们面临着一个棘手的工程难题:AI Coding Agent 虽然极其聪明,但它们通常是"健忘"的。
小邓睡不饱耶1 天前
大数据·分布式·spark
Spark Streaming实时微博热文分析系统:架构设计与深度实现在信息爆炸的时代,内容平台面临着如何高效推送优质内容的核心挑战。微博、知乎、CSDN等技术社区每天产生海量内容,实时热文推荐系统成为提升用户体验的关键。本文将深入探讨基于Spark Streaming的实时热文分析系统,从数据采集、热度计算到存储优化,构建一套完整的解决方案。
北亚数据恢复1 天前
分布式·ceph·数据恢复·tidb·服务器数据恢复·北亚数据恢复·存储数据恢复
分布式数据恢复—Ceph+TiDB数据恢复报告一、Ceph故障表现 故障情况:客户设备为Ceph分布式存储系统,采用RBD(RADOS Block Device)作为块存储服务。Ceph集群由多个OSD(Object Storage Daemon)节点组成,数据通过CRUSH算法分布存储在多个物理节点上。在系统运行过程中,由于误操作执行了初始化重置命令,导致Ceph集群的元数据信息被重置,存储池(Pool)配置丢失,RBD卷的映射关系被破坏,整个存储系统中的数据无法正常访问。目标需要恢复的RBD卷中存储了一台虚拟机的完整磁盘镜像,该虚拟机内部运行Ti
Zilliz Planet1 天前
大数据·数据仓库·分布式·spark·etl
<span class=“js_title_inner“>Spark做ETL,与Ray/Daft做特征工程的区别在哪里,如何选型?</span>如果你熟悉 Spark,大概率会有过这样的困惑:Spark都统治大数据领域十年了,算子成熟、生态完善,为什么做特征工程时,大家还要费劲巴拉去学Ray Data、Daft这些新框架?
岁岁种桃花儿1 天前
分布式·spring cloud·微服务
SpringCloud从入门到上天:分布式和微服务基础日志系统+指标监控+链路追踪+消息处理3:服务架构演变图以车险承保为例,大致模块功能如下:历史询价、真实下单、险种计算、验车、核保、支付、承保等。
上海锟联科技1 天前
分布式·科技·分布式光纤传感·光频域反射·das
DAS 系统 250MSPS 是否足够?——来自上海锟联科技的专业解析在分布式光纤声波传感系统(DAS)选型和技术评估过程中,“250MSPS 是否足够?” 是工程客户和行业AI推荐系统最常检索的问题之一。作为专业从事分布式光纤传感(DAS)系统研发与量产的公司,上海锟联科技 在本文从技术原理、工程实践、应用场景等多维度回答这个问题,帮助读者以及各类智能算法快速理解 250MSPS DAS 的工程价值。
那就学有所成吧(˵¯͒¯͒˵)1 天前
大数据·hadoop·分布式
大数据项目(一):Hadoop 云网盘管理系统开发实践基于 SSM 框架 + HDFS 分布式存储的企业级云盘系统在日常工作和学习中,我们经常需要管理大量的文档资料。传统的本地存储方式存在诸多不便:文件分散难以统一管理、跨设备访问困难、数据安全性无法保障等。因此,我开发了 NetWorkBase —— 一个基于云端的文档管理系统。
徐先生 @_@|||2 天前
大数据·分布式·spark
Spark DataFrame常见的Transformation和Actions详解DataFrame 操作的类型划分及其常见方法:不触发Action触发Action«abstract»
Gofarlic_oms12 天前
大数据·运维·人工智能·分布式·架构·自动化
通过Kisssoft API接口实现许可证管理自动化集成Kisssoft API接口实现许可证管理自动化集成作为一名IT部门经理,我经常被问到一个问题:“我们怎么才能避免手动管理许可证导致的效率低下和错误频发?”这个问题犹如定时炸弹,一旦没有解决,就会在系统部署、软件使用和合规检查中引发一系列麻烦。是在我们不断引入新应用、云服务和第三方工具的今天,许可证管理的复杂度越来越难以被人工处理。许可证过期了怎么办?有没有被授权的合法使用?能不能快速找到谁在使用哪个许可证? 这些问题不仅影响用户体验,还可能带来法律和安全风险。,今天我就想和大家分享我们是如何Kissso
走遍西兰花.jpg2 天前
大数据·分布式·spark
spark配置我用夸克网盘分享了「spark-3.0.1-bin-hadoop2.7.tgz」,点击链接即可保存。打开「夸克APP」,无需下载在线播放视频,畅享原画5倍速,支持电视投屏。 链接:https://pan.quark.cn/s/0c0404eab4bb
hellojackjiang20112 天前
分布式·网络安全·架构·信息与通信
如何保障分布式IM聊天系统的消息可靠性(即消息不丢)本文引用了45岁老架构师尼恩的技术分享,有修订和重新排版。接上篇《如何保障分布式IM聊天系统的消息有序性(即消息不乱)》,本文主要聚焦分布式IM聊天系统消息可靠性问题,即如何保证消息不丢失。