分布式

肠畔码农16 小时前
分布式·架构
深入分布式事务内核:从 2PC/XA 到 Seata AT 模式的架构演进与权衡在微服务与分布式架构下,保证跨服务、跨数据库的数据强一致性是系统设计的核心挑战。本文深入剖析分布式事务的底层演进逻辑,重点拆解基于数据库内核的 2PC/XA 协议(含 Prepare、Commit 与 Rollback 完整状态机推演及回滚防丢失机制)以及主流开源方案 Seata AT 模式 的物理模型、状态机运转本质与失效机制。不仅从理论上揭示了从传统两阶段提交的同步阻塞到 Seata AT 非侵入式 Undo Log 与全局锁的演进过程,更结合“用户注册送积分”这一经典业务场景,全面推演了 2PC/X
ai小陈17 小时前
服务器·人工智能·pytorch·分布式·深度学习·ai·gpu算力
PyTorch多GPU分布式训练实战:从单卡脚本迁移到DDP当单卡无法容纳模型,或者大模型训练耗时过长时,开发者通常会考虑多 GPU。但“多插几张卡”并不等于训练速度自动翻倍。多卡之间需要同步梯度、交换数据,如果代码结构、通信或数据加载没有处理好,GPU数量增加后反而可能出现利用率下降。
伟大的大威18 小时前
大数据·分布式·spark
三台 DGX Spark 部署 DeepSeek V4 Flash NVFP4:从零到可用教程适用对象:第一次接触多机大模型、Docker、RoCE 或 NCCL 的管理员。 目标模型:DeepSeek-V4-Flash-NVFP4。 目标结果:三台 DGX Spark 共同提供一个 OpenAI-compatible API,而不是三份模型副本。 当前验证日期:2026-08-16(Asia/Shanghai)。
阿里云云原生18 小时前
分布式·阿里云·云原生·kafka
企业级实时数据平台建设:利用存算分离 Kafka 实现低成本、高可靠入湖作者:费红健本文整理自 Apache 2026 技术分享《实时湖仓管道:分离式 Kafka 中的原生入湖与内嵌计算》。
国科安芯19 小时前
网络·人工智能·分布式·单片机·嵌入式硬件·架构·抗辐射加固
星载CANFD总线通信网络中抗辐射微控制器MCU的失效机理与容错设计研究现代卫星平台电子系统普遍采用分布式架构设计,将姿态控制、电源管理、热控、测控等分系统功能分散至多个电子单元实现,各单元之间通过标准数据总线互联构成完整的星载信息网络。控制器局域网(Controller Area Network, CAN)总线因其差分传输的抗电磁干扰特性、非破坏性仲裁的冲突解决机制以及简洁的两线制物理层拓扑,已成为航天器内部通信的主流总线标准之一。随着航天任务对数据传输带宽需求的持续增长,CANFD(CAN with Flexible Data-rate)协议在保持CAN总线核心仲裁机制的
zcmodeltech19 小时前
网络·分布式·stm32·单片机·嵌入式硬件·交互
污水处理设备沙盘模型控制系统设计与实现:多单元协同联动方案一、引言 污水处理设备沙盘模型、污水处理厂沙盘模型、水处理工艺沙盘模型、城市污水处理模型、工业废水处理模型等,是污水处理厂展厅、环保技术交流、环境工程教学培训的重要载体。
roman_日积跬步-终至千里19 小时前
大数据·分布式·spark
Spark 资源配置与 Shuffle 故障排查生产手册本文沉淀 Linkis 0.9.3 对接公司定制版 Spark 2.4.5/YARN 时的生产经验。该发行版包含上游 Spark 2.4.5 未必具备的 AQE 实现,涉及 AdaptiveSparkPlanExec、ShuffleQueryStage 的结论不能直接套用到未经确认的上游版本。本文重点回答:
roman_日积跬步-终至千里20 小时前
大数据·分布式·spark
常驻 Spark 引擎的稳定性风险:从一次 Linkis 任务失败说起在交互式查询场景中,如果每条 SQL 都重新启动 Spark Application,资源申请、Driver 启动和 executor 分配会带来明显延迟。
JAVA面经实录91720 小时前
分布式·面试·kafka
Kafka面试题标准答案(面试背诵版)(1)高吞吐高性能:依托顺序磁盘写入、操作系统页缓存、零拷贝技术、批量消息发送与压缩机制,极大减少IO损耗,单机可支撑几十万QPS,吞吐能力远超传统消息中间件。
hh95021 小时前
运维·分布式·负载均衡·adg·agent plan·adg成都社区
Agent Plan x DeepSeek Harness:分布式Agent集群调度与负载均衡随着人工智能技术的飞速发展,大语言模型(Large Language Model, LLM)在各个领域展现出了强大的能力。从自然语言理解到代码生成,从数据分析到创意写作,LLM正在重塑我们与计算系统交互的方式。然而,单一的LLM实例在处理复杂任务时仍然存在诸多局限:上下文窗口有限、推理能力受限、无法并行处理多个请求、单节点计算资源瓶颈等。
2401_894915531 天前
java·服务器·前端·数据库·人工智能·分布式·搜索引擎
GEO 优化源码全解析:从搜索引擎到 AI 引擎的底层改写逻辑随着大语言模型和 AI 搜索的普及,内容的分发入口正在从传统搜索引擎逐步转向 AI 引擎。GEO(Generative Engine Optimization,生成式引擎优化)正是在这一背景下出现的新方向。本文将从源码层面拆解 GEO 优化的底层改写逻辑,帮助读者理解 AI 引擎如何理解、抽取并重组网页内容,以及如何通过结构化改写提升内容在 AI 引擎中的可见度。
董可伦1 天前
大数据·分布式·spark
Spark 数据倾斜:原因、定位与处理方法前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站:https://www.captainai.net/dongkelun
夕除1 天前
数据库·分布式
redis--007秒杀下单会生成优惠券订单,存入tb_voucher_order订单表。 数据库自增 ID 存在缺陷bit 位结构:
清风与日月2 天前
分布式·c#·.net·.netcore
Yitter.IdGenerator:高性能分布式唯一ID生成器详解在分布式系统架构中,生成全局唯一的ID是一个基础而关键的问题。无论是数据库主键、订单号、消息ID还是日志追踪,都需要一个可靠、高性能的唯一ID生成方案。
FfHUCisI2 天前
redis·分布式·golang
Golang Redis 分布式锁单机应用里,sync.Mutex 就能保护临界区。但在微服务集群中,多个进程——甚至跨机器——同时操作共享资源(减库存、抢优惠券、定时任务去重),单机锁就无能为力了。这时候需要一个所有节点都能访问的"协调器"来做锁仲裁,Redis 就是最常见的实现载体。
陈皮波比茶2 天前
分布式·rabbitmq
RabbitMQ 消息队列MQ全称 Message Queue(消息队列),是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。
敖行客 Allthinker2 天前
ide·分布式
分布式远程研发团队,借助云 IDE 统一开发环境越来越多企业采用异地办公、外包协作、多分部联合开发的模式,分布式研发成为常态。传统本地开发方案高度依赖开发者个人设备配置,不同操作系统、运行时版本、第三方组件很容易引发兼容性故障。
磐链科技2 天前
分布式
交场景下的钱包开发痛点:并发交易与消息推送的分布式一致性技术方案交场景下的钱包开发痛点:并发交易与消息推送的分布式一致性技术方案 元链科技:社交场景天然具备高并发与强互动属性。春节期间一场红包活动带来的瞬时请求洪峰,足以让传统单体钱包架构瞬间崩溃。在“发红包-抢红包-拆红包-到账”的极短链路中,并发交易和消息推送的分布式一致性,是社交钱包开发者必须直面的核心命题。
程序员与背包客_CoderZ3 天前
c语言·开发语言·数据库·c++·分布式·分布式数据库·rocksdb
高性能分布式KV存储引擎RocksDB入门与C/C++编码实战RocksDB常见的应用场景:分布式数据库的本地存储,如TiKV等,每个分布式节点采用RocksDB存储分片数据。
汽车仪器仪表相关领域3 天前
大数据·数据库·分布式·功能测试·汽车·压力测试·可用性测试
ZDT‑I伺服电机测试系统:四象限动态加载ZDT‑I伺服电机测试系统依据伺服电机通用试验规范搭建,采用四象限回馈式电力加载架构,可全真模拟伺服电机空载、负载、过载、制动回馈、频繁启停、高低速瞬态切换等全工况运行状态,集成高精度多参量同步采集、闭环温控调控、多级安全防护、自动化无人试验、合规报告输出能力,一站式完成伺服电机与驱动器成套性能验证,广泛服务于伺服传动研发企业、自动化装备主机厂、第三方检测机构及科研院校,华南区域由广州文明机电提供方案定制、现场安装调试、分层实操培训、计量校准与长期技术运维全周期服务。