分布式

短剑重铸之日17 分钟前
java·redis·分布式·后端·缓存·redission·看门狗机制
《7天学会Redis》特别篇: Redis分布式锁有网友提了这几个需求,这里,我整理了特别篇发出来 《7天学会Redis》特别篇: 如何保证缓存与数据库的数据一致性? 《7天学会Redis》特别篇: Redis分布式锁
重生之绝世牛码3 小时前
大数据·linux·运维·服务器·分布式·kafka·软件安装
Linux软件安装 —— kafka集群安装(SASL密码验证)参考本人此篇文章:Linux软件安装 —— JDK安装参考本人此篇文章:Linux软件安装 —— zookeeper集群安装
填满你的记忆3 小时前
java·数据库·redis·分布式·缓存
【从零开始——Redis 进化日志|Day5】分布式锁演进史:从 SETNX 到 Redisson 的完美蜕变前言:当 synchronized 不再有效兄弟们,欢迎来到 Redis 进化日志的第五天。在前四天里,我们夯实了 Redis 的基础(数据结构、持久化、高可用)。今天,我们要聊一个后端开发中极具分量的话题——分布式锁。
無森~4 小时前
分布式·zookeeper·云原生
ZooKeeper1.活锁。活锁定义:在程序里,由于某些条件的发生碰撞,导致重新执行,再碰撞=》再执 行,如此循环往复,就形成了活锁。活锁的危害:多个线程争用一个资源,但是没有任何一个 线程能拿到这个资源。(死锁是有一个线程拿到资源,但相互等待互不释放造成死锁),活锁 是死锁的变种。补充:活锁更深层次的危害,很耗尽Cpu资源(在做无意义的调度)。
小北方城市网4 小时前
java·spring boot·redis·分布式·后端·python·缓存
SpringBoot 集成 MinIO 实战(对象存储):实现高效文件管理在后端开发中,文件存储是高频需求 —— 如用户头像、商品图片、文档附件等,传统本地存储存在扩展性差、集群部署不便、数据易丢失等问题。MinIO 作为开源高性能对象存储服务,兼容 S3 协议,支持分布式部署、高可用存储、权限管控,可轻松实现文件的上传、下载、预览、删除等功能,是企业级文件管理的首选方案,广泛应用于电商、办公、社交等场景。
Blossom.1184 小时前
人工智能·分布式·python·深度学习·神经网络·机器学习·迁移学习
大模型分布式训练通信优化:从Ring All-Reduce到分层压缩的实战演进摘要:本文深度揭秘大模型分布式训练中的通信瓶颈与优化体系。通过Ring All-Reduce的拓扑感知改进、梯度压缩算法(PowerSGD+EF21)的融合实现、以及通信-计算重叠的流水线设计,在千卡集群上训练175B模型时,通信耗时占比从68%降至12%,吞吐量提升4.7倍。提供完整的PyTorch通信原语改造、NCCL调优、分层压缩代码,已在某云厂商大模型平台稳定训练6个月,支持万卡级扩展,单卡有效算力达理论峰值的82%。
码农水水4 小时前
java·开发语言·spring boot·分布式·面试·php·wpf
得物Java面试被问:大规模数据的分布式排序和聚合图表代码复制下载全屏java复制下载java复制下载scala复制下载篇幅限制下面就只能给大家展示小册部分内容了。整理了一份核心面试笔记包括了:Java面试、Spring、JVM、MyBatis、Redis、MySQL、并发编程、微服务、Linux、Springboot、SpringCloud、MQ、Kafc
爱吃提升5 小时前
分布式·爬虫
分布式爬虫的核心原理详细介绍分布式爬虫的核心是将单台机器的爬虫任务拆解为多个子任务,分发到多台节点机器并行执行,通过“任务调度、数据共享、统一去重”解决单台机器爬取速度慢、易被封禁、存储能力有限的问题。
無森~5 小时前
大数据·hadoop·分布式
Hadoop序列化与反序列化序列化定义:就是把内存中的对象,转换为字节序列,以便于存储到磁盘或网络传输,此过程被称为序列化。反序列化定义:将字节序列或磁盘中的持久化字节数据,转换为内存中的对象的过程。
数据知道5 小时前
数据库·分布式·postgresql
PostgreSQL实战:详细讲述UUID主键,以及如何生成无热点的分布式主键本文将深入剖析 UUID 作为主键的利弊,系统讲解 PostgreSQL 中 UUID 的使用方式,并重点介绍如何生成无热点、高性能的分布式主键,涵盖 UUIDv7、ULID、KSUID、Snowflake 等现代方案,结合实际配置、性能对比与最佳实践,帮助开发者构建可扩展、高并发的数据库架构。
小宋10215 小时前
java·分布式·kafka
Kafka 自动发送消息 Demo 实战:从配置到发送的完整流程(java)很多业务场景需要定时或批量把数据推送到 Kafka,比如报警系统、日志采集、数据同步等。为了让测试更简单、更可控,我们搭了一个“自动发送 Kafka 消息”的小型 Demo。它的目标非常明确:
Lansonli5 小时前
大数据·分布式·spark
大数据Spark(七十七):Action行动算子first、collect和collectAsMap使用案例文章目录Action行动算子first、collect和collectAsMap使用案例一、first使用案例
马达加斯加D6 小时前
分布式·spring·缓存
缓存 --- Redis缓存的一致性缓存一致性(Cache Consistency)是分布式系统与高并发架构中的经典核心问题,其核心目标是保证缓存(数据副本)与数据库(真实数据源)的数据同步。在实际业务场景中,强一致性会显著牺牲系统性能,因此绝大多数互联网业务优先追求最终一致性——即允许短期内数据存在不一致,但经过合理时间后,数据能自动恢复同步。
a努力。6 小时前
java·开发语言·分布式·python·面试·职场和发展
得物Java面试被问:Netty的ByteBuf引用计数和内存释放java复制下载java复制下载java复制下载篇幅限制下面就只能给大家展示小册部分内容了。整理了一份核心面试笔记包括了:Java面试、Spring、JVM、MyBatis、Redis、MySQL、并发编程、微服务、Linux、Springboot、SpringCloud、MQ、Kafc
xiaobaishuoAI18 小时前
大数据·人工智能·分布式·深度学习·wpf·geo
分布式事务实战(Seata 版):解决分布式系统数据一致性问题(含代码教学)在分布式系统中,跨服务调用场景(如订单创建→库存扣减→支付扣钱)会导致数据一致性问题 —— 若某一步操作失败,已执行的操作无法回滚,会出现「订单创建成功但库存未扣减」「库存扣减成功但支付失败」等数据不一致问题。分布式事务的核心是保证跨服务操作的原子性:要么全部成功,要么全部失败。
程序猿阿伟1 天前
分布式
《异步分布式训练提速关键:梯度压缩的收敛稳定性操控指南》梯度传输的带宽消耗始终是制约效率的关键枢纽,而梯度压缩作为突破这一瓶颈的核心手段,其真正的技术难点从未停留在压缩比例的提升,而是如何在极致削减数据传输量的同时,守住收敛稳定性的底线。很多实践者容易陷入“压缩率越高越好”的认知误区,却忽视了异步环境下各节点计算节奏差异、梯度更新延迟等因素与压缩操作的叠加效应,往往导致模型训练出现震荡加剧、收敛曲线平缓甚至倒退的问题,这种问题在千万级以上参数模型的长周期训练中表现得尤为明显,不少团队耗费大量算力资源,最终却因梯度压缩策略不当导致训练半途而废。真正的技术深耕者会
廋到被风吹走1 天前
数据库·分布式·mongodb
【数据库】【MongoDB】全栈深度指南:文档模型到分布式集群MongoDB 作为领先的文档型数据库,以其灵活的文档模型、强大的聚合管道和原生分布式架构著称。本文将从文档模型设计哲学到分片集群架构,构建完整的 MongoDB 技术体系。
陌路201 天前
分布式·网络协议·rpc
RPC分布式通信(3)--RPC基础框架接口MprpcApplication是 RPC 框架的 “管家”,核心作用:单例模式:全局唯一实例,避免重复初始化;
陌路201 天前
分布式·网络协议·rpc
RPC分布式通信(1)--分布式通信讲解RPC(远程过程调用)是一种分布式通信协议,核心目标是让本地程序像调用本地函数一样,调用远程服务器上的函数 / 方法,无需关心底层的网络传输、数据序列化、寻址等细节。
西***63471 天前
分布式
三大一体化音视频管理平台:技术特性与场景落地全解析依托现代音视频技术发展趋势与实际应用需求,以高清混合矩阵为基础平台,一款适配多领域场景的综合管理平台系列产品即将投入市场。该系列包含分布式交互管理平台、图像综合管理平台及视频综合管理平台三类产品,各自聚焦核心功能突破,针对不同行业痛点提供解决方案,在多领域形成成熟应用场景。