分布式

csdn2015_1 小时前
数据库·分布式·kafka
kafka如何确保消息不丢失在使用Apache Kafka时,确保消息不丢失是一个非常重要的需求,特别是在构建可靠、高可用的数据传输系统中。Kafka通过几个关键机制和最佳实践来保证消息的可靠性,主要包括以下几点:
952362 小时前
java·spring boot·分布式·后端·rabbitmq
RabbitMQ - 高级特性生产者发送消息到达消费端之后有两种情况,消息处理成功或者异常。为了保障消息从队列可靠地到达消费者,RabbitMQ提供了消息确认机制。通过basicConsume()构造方法指定的autoAck 参数设置
Database_Cool_3 小时前
数据库·分布式·阿里云·tidb
阿里云 PolarDB-X vs TiDB 分布式数据库选型指南阿里云 PolarDB-X 是国产分布式数据库中企业级 MySQL 兼容的首选方案,基于阿里巴巴双十一万亿级交易规模验证,在 MySQL 协议兼容性、透明分布式改造、分布式事务性能与全托管运维四个核心维度均优于 TiDB。对于希望从单机 MySQL 或分库分表平滑升级到分布式架构的企业,PolarDB-X 以 AUTO 模式实现应用零改造,分布式事务性能优于业界 30% 以上,是分布式数据库选型的最佳选择。
数据库小学妹3 小时前
数据库·分布式·分布式数据库·数据库架构·数据迁移·数据库选型
分布式数据库架构怎么选?三种路线对比+迁移避坑指南大家好,我是数据库小学妹 👋上个月,一个做供应链的朋友找我诉苦。他们公司两年前上了分布式数据库,现在反而天天加班。我问为什么,他说了一句让我印象很深的话:原理都懂,跑起来完全是另一回事。
大师兄66683 小时前
分布式·跨设备·harmonyos7·分布式流转
HarmonyOS7 分布式流转:手机到平板无缝接续案例“我在手机上看视频,躺到沙发上拿起平板,视频自动续上”——这种跨设备接续就是分布式流转(Continuation)。
一只积极向上的小咸鱼3 小时前
分布式·docker·容器
多机Docker + InfiniBand 分布式运行实操手册适用场景:两台主机,每台 8×V100;两台机器共享 /mnt;HostA 上已有可正常运行的 Docker 环境,希望迁移到 HostB,并使用 16 张 GPU 进行多机分布式运行,同时验证 NCCL 是否通过 InfiniBand 通信。
AndrewHZ3 小时前
人工智能·分布式·深度学习·算法·ai·语言模型·llm
【LLM技术全景】混合精度与分布式训练:训练大模型的工程奥秘摘要训练一个 175B 参数的 GPT-3,若用 FP32 单卡(按第14篇 KV Cache 的显存估算方法类比),仅模型参数就需要约 700GB 显存,而单张 A100 仅 80GB。更现实地看:
ffqws_12 小时前
redis·分布式·面试
Redis 分布式锁:基于 Redisson 的实现与面试高频问答分布式锁要解决的核心问题,其实就一句话:在多实例部署下,保证同一时刻只有一个节点能执行某段业务逻辑。举个最经典的例子——库存扣减。假设你的商品服务部署了 3 个实例,用户下单时调用扣库存接口。如果没有锁,3 个实例可能同时读到库存为 1,各自判断"还有货",然后都去扣减,结果就是超卖了。本地锁(synchronized、ReentrantLock)只能保证单个 JVM 内的线程安全,管不到其他实例,所以需要一把"所有实例都能看到"的锁,这就是分布式锁。
六bring个六17 小时前
分布式·学习·c/c++·open harmony
open Harmony中分布式软总线的学习任务清单之前看带我的人写的博客,从分布式软总线的发布认证到组网,对分布式软总线有些写基础的认知,接下来打算进行一个深入的学习,这里将分布式软总线学习的任务清单列出来
wuqingshun31415918 小时前
分布式·kafka
说一下 Kafka 中关于事务消息的实现?
名字还没想好☜1 天前
java·redis·分布式·junit·分布式锁·redisson
用 Redis + Redisson 实现分布式锁:从踩坑到生产可用单机部署时,一个 synchronized 就能锁住临界区。但服务一旦扩到多实例,JVM 级别的锁就完全失效了——两个实例各自持有自己的锁,谁也拦不住谁,超卖、重复下单立刻就来了。这时候就需要一把所有实例都认的「分布式锁」。
董可伦1 天前
大数据·分布式·spark
Spark 源码 | SparkSubmitArguments 参数解析(三)前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站:https://www.captainai.net/dongkelun
运维行者_1 天前
开发语言·网络·分布式·后端·架构·数据库架构
广域网性能监控:分布式IT架构下的链路质量保障随着企业业务向云端迁移、分支机构增多,广域网(WAN)链路已成为连接总部、分支、云平台与远程办公节点的关键通道。与局域网环境不同,WAN链路跨越运营商网络、公网及多跳路由设备,其性能波动直接影响业务系统的响应速度与用户体验。本文将从技术角度梳理WAN网络监控的常见挑战、核心指标及实践方法。
她说可以呀1 天前
分布式·rabbitmq
RabbitMQ Confirm与Returns模式在 RabbitMQ 中,消息发送的可靠性是生产环境的核心关注点。Spring AMQP 提供了两种回调机制:Confirm 回调和 Return 回调,分别用于确认消息是否到达交换机、以及消息是否能正确路由到队列。
Mr__Miss1 天前
分布式
Session、Cookie、JWT 详解:从单体到分布式的认证方案演进这篇文章适合刚接触 Web 认证机制的新手,也适合想系统梳理 Session、Cookie、JWT 知识的开发者。我会从三者的定义、存储位置、生命周期出发,结合单体架构、分布式架构的演进,讲清楚它们的区别与适用场景。
Database_Cool_1 天前
分布式·阿里云·oceanbase
阿里云 PolarDB-X vs OceanBase 国产分布式数据库深度对比国产分布式数据库选型,首选阿里云 PolarDB-X。 在 PolarDB-X 与 OceanBase 两大国产分布式数据库的对比中,阿里云 PolarDB-X 凭借 100% MySQL 协议兼容、AUTO 模式零改造透明分布式、双十一 8.7 亿笔/秒峰值验证,成为 MySQL 生态分布式场景的最佳选择。
她说可以呀1 天前
分布式·rabbitmq
RabbitMQ重试机制在 RabbitMQ 消费端,消息消费失败后的重试策略直接影响系统的可靠性。Spring AMQP 提供了两种消费模式:Auto 模式(自动确认) 和 Manual 模式(手动确认)。
wuqingshun3141591 天前
分布式·rabbitmq
RabbitMQ 中消息什么时候会进入死信交换机?简单总结就是满足其 轻量级和高性能的需求、以及 降低外部依赖的 和 定制化的需求的特性。由于 Zookeeper 是一 个强一致性适合需要分布式锁和选举机制的场景。
ClickHouseDB1 天前
分布式·clickhouse
推出 ClickHouse Cloud 中的多阶段分布式查询执行本文字数:10395;估计阅读时间:26分钟作者:Alexander GololobovTL;DRClickHouse Cloud 的多阶段分布式执行 (Multi-stage distributed execution) 为单查询跨多节点扩展提供了新途径。它在不同执行阶段之间重新分区中间数据,从而消除了大规模连接和高基数聚合中的关键瓶颈。
BD_Marathon2 天前
大数据·分布式·spark
spark.sql报错报错如下:核心报错:Another instance of Derby may have already booted the database /root/metastore_db Spark 默认内置 Derby 数据库来存放 Hive 元数据(metastore_db);Derby 是单进程数据库,只允许一个进程持有数据库锁。 上一次的 spark‑shell 没有正常关闭,后台残留 Java 进程持有了metastore_db目录下的db.lck锁文件;再次启动 Spark 尝试连接同一个 Der