分布式

hopsky5 小时前
数据库·分布式·kafka
kafka 对发送端的容错处理当 Kafka 消息累计发送失败达到上限或重试机制无法解决问题时,系统通常会通过以下几种机制来进行处理和兜底:
数据库小学妹3 小时前
分布式·分布式数据库·数据库架构·集群·分库分表·主从集群·集群与分布式
集群与分布式啥区别?从主从集群到分布式实战大家好,我是数据库小学妹 👋我踩过的坑,你别再踩。朋友小林做社区团购,他的订单库从一台破服务器,一路升级到分布式,整整用了三年。三年里,同一个问题他问了我三次:“集群与分布式,现在要不要上?”
江畔柳前堤3 小时前
大数据·人工智能·分布式·目标检测·机器学习·语言模型·架构
AgentScope 设计与原理全解:从消息原语到分布式智能体工程底座最后更新:2026年8月17日 | 基于 AgentScope 2.0(Python/TS)及 AgentScope Java 2.0 GA 版本撰写
萧瑟余晖3 小时前
java·开发语言·分布式
Java深入解析篇三十四之分布式事务分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。在微服务架构中,一个业务操作往往需要跨多个服务、多个数据库才能完成,传统的本地事务(ACID)无法直接保证跨服务的数据一致性。
零域码客4 小时前
redis·分布式·缓存·并发控制·后端架构
Redis 双刃剑:缓存与分布式锁的本质区别Redis 是后端开发中最常用的中间件之一,但很多开发者对它的两个核心用途 —— 缓存和分布式锁 —— 经常混淆。本文从问题本质出发,清晰拆解二者的定义、原理、适用场景和协作方式,帮你建立准确的认知。
ltl14 小时前
分布式
3D 并行深度:数据 / 张量 / 流水 / 序列 / ZeRO原文发布于 quant67.com,转载请保留出处。单卡 80GB HBM 理论上只能放约 40B 个 FP16 参数;70B 模型光权重就约 140GB,还没算梯度、优化器和激活。 要训 DeepSeek-V3 这样的 671B MoE,必须把模型切成几千片,让几千张 GPU 像一台机器一样工作。 切分的艺术,就是并行的艺术。
FserSuN1 天前
大数据·分布式·spark
回顾Spark的概念与应用本文基于 Spark 3.x 版本(生产环境使用 Spark 3.2+,Python 3.9)。以下概念和优化方案均以 Spark 3.x 为基础,部分特性(如 AQE 自适应执行、pandas_udf 的 @pandas_udf 装饰器语法)在 Spark 2.x 中不可用或 API 不同。
IT机器猫1 天前
java·spring boot·分布式·spring cloud·log4j·rabbitmq·springamqp
RabbitMQ基础二消息从生产者发送到Exchange,再到Queue,再到消费者,有三种消息丢失的可能性:为保证MQ的(消息)可靠性,解决以上三种消息丢失问题,就需要保证消息传递的每个步骤的可靠性即可,主要从三方面解决:确保生产者一定把消息发送到MQ、确保MQ不会将消息弄丢、确保消费者一定要处理消息
水无痕simon1 天前
分布式·rabbitmq·ruby
3 RabbitMQ基础Connection(连接) 客户端与 RabbitMQ Broker 之间建立的一条 TCP 连接。
画中有画3 天前
分布式·架构
分布式锁架构方案选型与实践在电商交易系统中,库存扣减是最典型的并发资源争抢场景。以秒杀活动为例,当数万用户同时抢购少量商品时,系统面临的核心挑战是超卖风险——多个并发请求同时查询库存并扣减,导致库存扣减数超过实际库存量。
starzy19902 天前
大数据·分布式·架构·spark
SparkSQL 数据源与底层架构深度剖析摘要:SparkSQL 作为 Apache Spark 生态中最核心的模块之一,不仅提供了统一的 SQL 查询入口,更承载了 DataFrame/Dataset API 的全部执行能力。本文从数据源接入机制入手,深入 Catalyst 优化器四阶段流水线、WholeStageCodegen 代码生成、Tungsten 执行引擎等核心组件,结合源码级追踪,全面剖析 SparkSQL 底层架构设计。无论你是日常写 SQL 的数据工程师,还是需要调优 Spark 作业的架构师,这篇文章都会让你对 SparkSQ
番茄炒鸡蛋加糖2 天前
分布式·rabbitmq
RabbitMQ 全套复盘 + Nacos+ES+MyBatis-Plus 梳理在短信项目里:上万条批量营销短信不会直接同步调用第三方通道,而是先丢进 MQ,消费者慢慢消费,防止瞬间流量打垮服务。
零域码客2 天前
分布式·postgresql·sqlite·wal·架构设计·后端开发·数据库选型
从 SQLite 到 PostgreSQL:轻量单机到分布式架构选型、避坑与迁移全解析在本地工具、小型单体应用、轻量服务开发场景中,SQLite 凭借零部署、零运维、开箱即用的特性,成为使用率极高的嵌入式关系型数据库。对于低并发、小数据量的单机项目,SQLite 可以极大提升开发效率、降低落地成本。
ltl3 天前
分布式
2PC 的真实失败模式:阻塞、脑裂与恢复原文发布于 quant67.com,转载请保留出处。Part VI · 分布式事务:最难的部分上一篇:数据再平衡
霸道流氓气质3 天前
分布式
分布式系统设计:技术解析与实践单体应用中,synchronized 或 ReentrantLock 可以保证同一 JVM 内的线程安全。但在微服务多实例部署时,不同 JVM 之间这些锁完全失效:
ACP广源盛139246256733 天前
大数据·人工智能·分布式·单片机·嵌入式硬件
蚂蚁百灵 Ling‑3.0‑flash 开源 + 昇腾 0‑Day 原生适配@ACP#GSV9001E 在国产算力矩阵中的机会与落地场景标签:#Ling‑3.0‑flash #昇腾 CANN #国产大模型 #GSV9001E #视频处理器 #Agent 多模态 #信创 AI 硬件 摘要:蚂蚁百灵 Ling‑3.0‑flash 正式开源,昇腾完成 0‑Day 原生适配,依托 CANN PyPTO 算子框架大幅缩短算子交付周期,“国产大模型‑国产算力” 软硬适配矩阵持续完善。行业研发重点普遍聚焦 NPU 推理吞吐、算子性能、模型调度,但是Agent 多模态输出、多路信号汇聚、AI 推理结果可视化上墙、多视图协同监看、低延迟画面处理这类整机显示
汽车仪器仪表相关领域3 天前
分布式·功能测试·汽车·压力测试·可用性测试
KRYPTON坚固型IP67 EtherCAT总线数据采集模块:工业级分布式采集方案在汽车整车正向研发、新能源三电可靠性验证、工程机械野外耐久测试、轨道交通动态标定、特种工业装备工况监测等高端试验领域,数据采集的精准度、稳定性与场景适配性,直接决定试验数据有效性与研发结论准确性。现阶段绝大多数传统数据采集方案,普遍存在结构性短板:集中式采集机箱依赖长距离模拟线缆传输信号,工业现场电磁密布、设备变频干扰、行车高压器件辐射等多重因素叠加,极易造成信号杂讯、波形畸变、数据漂移失真;常规采集设备多为室内试验室轻量化设计,防护等级普遍仅IP20/IP40,无法耐受户外粉尘、雨水、高低温骤变、高频振
霸道流氓气质3 天前
java·开发语言·分布式
Java中信号量(Semaphore):从本地到分布式信号量是一个计数器,控制同时访问某个资源的线程/进程数量。生活中的类比:注:博客:https://blog.csdn.net/badao_liumang_qizhi
霸道流氓气质3 天前
数据库·redis·分布式
RedLock:Redis 分布式锁的高可用方案即使使用 Redis Sentinel 或 Cluster,也存在这个问题——Redis 主从复制是异步的,切换瞬间可能丢数据。
naierfengdian3 天前
分布式·能源
分布式风电助力乡村能源转型的技术路径在能源转型的大浪潮中,分布式风力发电凭借其灵活性、高效性等优势,成为了众多行业买家和采购工程师关注的焦点。它不仅能有效满足局部地区的电力需求,还能为新能源的广泛应用提供有力支撑。目前,分布式风力发电市场呈现出百花齐放的格局,众多厂家纷纷涌入,市场竞争日益激烈。既有技术实力雄厚的老牌企业,也有创新能力突出的新兴力量。在这样的市场环境下,如何挑选到耐用的分布式风力发电厂家成为了关键问题。