分布式

杨运交5 小时前
数据库·redis·分布式
[060][调度模块]Redisson vs Redis 原生锁:两种分布式锁实现深度对比本文章代码: gitee , gitcode , github同一个调度框架内同时提供了基于 Redis 原生命令的锁服务和基于 Redisson 的锁服务。本文从功能特性、使用复杂度、可靠性角度对比两者的差异,并给出选型建议。
heimeiyingwang10 小时前
分布式·架构
【架构实战】分布式事务:从CAP定理到Seata实战,一文讲透跨服务数据一致性昨天聊了微服务架构下的 API 网关和认证授权,有个核心问题一直没展开:跨服务的数据一致性。一个典型的事故场景:下单服务减了库存,微服务 A 通知支付服务收款,用户支付成功后,发货服务要生成物流单。如果中间任何一步失败了,怎么处理?库存减了但钱没收、钱收了但货没发——这些"半成品状态"是企业级系统里最让人头大的问题。
lakernote14 小时前
分布式·kafka·linq
图解 Kafka Consumer 常用 API:poll、seek、pause、wakeup 到底在控制什么?版本基线:Apache Kafka 4.3.x、Java Client 4.3.x。本文讨论 Java KafkaConsumer API,示例默认使用 Consumer Group、手工提交 offset,并以同步业务处理为基线。
hopsky20 小时前
数据库·分布式·kafka
kafka 对发送端的容错处理当 Kafka 消息累计发送失败达到上限或重试机制无法解决问题时,系统通常会通过以下几种机制来进行处理和兜底:
数据库小学妹18 小时前
分布式·分布式数据库·数据库架构·集群·分库分表·主从集群·集群与分布式
集群与分布式啥区别?从主从集群到分布式实战大家好,我是数据库小学妹 👋我踩过的坑,你别再踩。朋友小林做社区团购,他的订单库从一台破服务器,一路升级到分布式,整整用了三年。三年里,同一个问题他问了我三次:“集群与分布式,现在要不要上?”
江畔柳前堤18 小时前
大数据·人工智能·分布式·目标检测·机器学习·语言模型·架构
AgentScope 设计与原理全解:从消息原语到分布式智能体工程底座最后更新:2026年8月17日 | 基于 AgentScope 2.0(Python/TS)及 AgentScope Java 2.0 GA 版本撰写
萧瑟余晖18 小时前
java·开发语言·分布式
Java深入解析篇三十四之分布式事务分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。在微服务架构中,一个业务操作往往需要跨多个服务、多个数据库才能完成,传统的本地事务(ACID)无法直接保证跨服务的数据一致性。
零域码客18 小时前
redis·分布式·缓存·并发控制·后端架构
Redis 双刃剑:缓存与分布式锁的本质区别Redis 是后端开发中最常用的中间件之一,但很多开发者对它的两个核心用途 —— 缓存和分布式锁 —— 经常混淆。本文从问题本质出发,清晰拆解二者的定义、原理、适用场景和协作方式,帮你建立准确的认知。
ltl1 天前
分布式
3D 并行深度:数据 / 张量 / 流水 / 序列 / ZeRO原文发布于 quant67.com,转载请保留出处。单卡 80GB HBM 理论上只能放约 40B 个 FP16 参数;70B 模型光权重就约 140GB,还没算梯度、优化器和激活。 要训 DeepSeek-V3 这样的 671B MoE,必须把模型切成几千片,让几千张 GPU 像一台机器一样工作。 切分的艺术,就是并行的艺术。
FserSuN2 天前
大数据·分布式·spark
回顾Spark的概念与应用本文基于 Spark 3.x 版本(生产环境使用 Spark 3.2+,Python 3.9)。以下概念和优化方案均以 Spark 3.x 为基础,部分特性(如 AQE 自适应执行、pandas_udf 的 @pandas_udf 装饰器语法)在 Spark 2.x 中不可用或 API 不同。
IT机器猫2 天前
java·spring boot·分布式·spring cloud·log4j·rabbitmq·springamqp
RabbitMQ基础二消息从生产者发送到Exchange,再到Queue,再到消费者,有三种消息丢失的可能性:为保证MQ的(消息)可靠性,解决以上三种消息丢失问题,就需要保证消息传递的每个步骤的可靠性即可,主要从三方面解决:确保生产者一定把消息发送到MQ、确保MQ不会将消息弄丢、确保消费者一定要处理消息
水无痕simon2 天前
分布式·rabbitmq·ruby
3 RabbitMQ基础Connection(连接) 客户端与 RabbitMQ Broker 之间建立的一条 TCP 连接。
画中有画3 天前
分布式·架构
分布式锁架构方案选型与实践在电商交易系统中,库存扣减是最典型的并发资源争抢场景。以秒杀活动为例,当数万用户同时抢购少量商品时,系统面临的核心挑战是超卖风险——多个并发请求同时查询库存并扣减,导致库存扣减数超过实际库存量。
starzy19902 天前
大数据·分布式·架构·spark
SparkSQL 数据源与底层架构深度剖析摘要:SparkSQL 作为 Apache Spark 生态中最核心的模块之一,不仅提供了统一的 SQL 查询入口,更承载了 DataFrame/Dataset API 的全部执行能力。本文从数据源接入机制入手,深入 Catalyst 优化器四阶段流水线、WholeStageCodegen 代码生成、Tungsten 执行引擎等核心组件,结合源码级追踪,全面剖析 SparkSQL 底层架构设计。无论你是日常写 SQL 的数据工程师,还是需要调优 Spark 作业的架构师,这篇文章都会让你对 SparkSQ
番茄炒鸡蛋加糖3 天前
分布式·rabbitmq
RabbitMQ 全套复盘 + Nacos+ES+MyBatis-Plus 梳理在短信项目里:上万条批量营销短信不会直接同步调用第三方通道,而是先丢进 MQ,消费者慢慢消费,防止瞬间流量打垮服务。
零域码客3 天前
分布式·postgresql·sqlite·wal·架构设计·后端开发·数据库选型
从 SQLite 到 PostgreSQL:轻量单机到分布式架构选型、避坑与迁移全解析在本地工具、小型单体应用、轻量服务开发场景中,SQLite 凭借零部署、零运维、开箱即用的特性,成为使用率极高的嵌入式关系型数据库。对于低并发、小数据量的单机项目,SQLite 可以极大提升开发效率、降低落地成本。
ltl3 天前
分布式
2PC 的真实失败模式:阻塞、脑裂与恢复原文发布于 quant67.com,转载请保留出处。Part VI · 分布式事务:最难的部分上一篇:数据再平衡
霸道流氓气质3 天前
分布式
分布式系统设计:技术解析与实践单体应用中,synchronized 或 ReentrantLock 可以保证同一 JVM 内的线程安全。但在微服务多实例部署时,不同 JVM 之间这些锁完全失效:
ACP广源盛139246256733 天前
大数据·人工智能·分布式·单片机·嵌入式硬件
蚂蚁百灵 Ling‑3.0‑flash 开源 + 昇腾 0‑Day 原生适配@ACP#GSV9001E 在国产算力矩阵中的机会与落地场景标签:#Ling‑3.0‑flash #昇腾 CANN #国产大模型 #GSV9001E #视频处理器 #Agent 多模态 #信创 AI 硬件 摘要:蚂蚁百灵 Ling‑3.0‑flash 正式开源,昇腾完成 0‑Day 原生适配,依托 CANN PyPTO 算子框架大幅缩短算子交付周期,“国产大模型‑国产算力” 软硬适配矩阵持续完善。行业研发重点普遍聚焦 NPU 推理吞吐、算子性能、模型调度,但是Agent 多模态输出、多路信号汇聚、AI 推理结果可视化上墙、多视图协同监看、低延迟画面处理这类整机显示
汽车仪器仪表相关领域4 天前
分布式·功能测试·汽车·压力测试·可用性测试
KRYPTON坚固型IP67 EtherCAT总线数据采集模块:工业级分布式采集方案在汽车整车正向研发、新能源三电可靠性验证、工程机械野外耐久测试、轨道交通动态标定、特种工业装备工况监测等高端试验领域,数据采集的精准度、稳定性与场景适配性,直接决定试验数据有效性与研发结论准确性。现阶段绝大多数传统数据采集方案,普遍存在结构性短板:集中式采集机箱依赖长距离模拟线缆传输信号,工业现场电磁密布、设备变频干扰、行车高压器件辐射等多重因素叠加,极易造成信号杂讯、波形畸变、数据漂移失真;常规采集设备多为室内试验室轻量化设计,防护等级普遍仅IP20/IP40,无法耐受户外粉尘、雨水、高低温骤变、高频振