分布式

ZePingPingZe5 分钟前
分布式·微服务
TCC—最终一致性分布式事务方案及【案例】2PC/3PC可以在不同层次实现,这是理解分布式事务的关键。特点:特点:特点:TCC是一种典型的解决分布式事务问题的方案,主要用来解决【跨服务调用场景】下的分布式事务问题。
alonewolf_999 分钟前
分布式·消息队列·rabbitmq·ruby
RabbitMQ高级功能全面解析:队列选型、死信队列与消息分片实战指南RabbitMQ 3.8+版本引入了三种队列类型,各自适用于不同的业务场景。合理选择队列类型是优化系统性能的关键。
hellojackjiang20111 小时前
分布式·架构·即时通讯·im开发
如何保障分布式IM聊天系统的消息有序性(即消息不乱)本文引用了45岁老架构师尼恩的技术分享,有修订和重新排版。分布式IM聊天系统中,IM消息怎么做到不丢、不重、还按顺序到达?
burning_maple2 小时前
分布式·后端·中间件
设计数据密集型应用阅读笔记数据存储工具与数据处理工具类别之间的界限变得越来越模糊数据存储可以被当成消息队列用(Redis),消息队列则带有类似数据库的持久保证(Apache Kafka)
陌路203 小时前
分布式·tcp/ip·rpc
RPC分布式通信(6)---调用方自动封装请求数据、从 ZK 获取服务地址、建立 TCP 连接发送请求、接收并解析响应RPC 调用方的核心使命是:让开发者像调用本地方法一样调用远程方法,底层自动完成以下工作:封装符合协议的 RPC 请求数据(解决 TCP 粘包 / 拆包);
alonewolf_993 小时前
分布式·消息队列·rabbitmq
RabbitMQ快速上手与核心概念详解MQ(Message Queue,消息队列) 是一种在不同应用程序之间传递数据的中间件。它由两部分组成:
陌路203 小时前
分布式·zookeeper·rpc
RPC分布式通信(4)--Zookeeper在 RPC 分布式通信中,Zookeeper 主要解决以下核心问题:服务注册:服务提供者启动时,将自己的地址(IP + 端口)、服务名称等信息注册到 Zookeeper 的指定节点下(如/rpc/services/HelloService/192.168.1.100:8080)。
廋到被风吹走3 小时前
分布式·缓存·架构
【分布式缓存】分布式缓存架构全解析:从 Redis Cluster 到多级缓存策略分布式缓存是高性能系统的核心支柱,本文将深入剖析 Redis Cluster 架构、JedisCluster 客户端分片机制以及缓存预热/更新/删除三大核心策略,并结合生产级实战经验构建完整解决方案。
敏叔V58720 小时前
分布式
联邦学习与大模型:隐私保护下的分布式模型训练与微调方案在数据隐私日益重要的今天,联邦学习与大模型的结合正成为解决隐私保护与模型性能平衡的关键技术路径。这一创新方案如何在保护用户数据隐私的同时,实现大规模模型的分布式训练与微调?
短剑重铸之日21 小时前
java·redis·分布式·后端·缓存·redission·看门狗机制
《7天学会Redis》特别篇: Redis分布式锁有网友提了这几个需求,这里,我整理了特别篇发出来 《7天学会Redis》特别篇: 如何保证缓存与数据库的数据一致性? 《7天学会Redis》特别篇: Redis分布式锁
重生之绝世牛码1 天前
大数据·linux·运维·服务器·分布式·kafka·软件安装
Linux软件安装 —— kafka集群安装(SASL密码验证)参考本人此篇文章:Linux软件安装 —— JDK安装参考本人此篇文章:Linux软件安装 —— zookeeper集群安装
填满你的记忆1 天前
java·数据库·redis·分布式·缓存
【从零开始——Redis 进化日志|Day5】分布式锁演进史:从 SETNX 到 Redisson 的完美蜕变前言:当 synchronized 不再有效兄弟们,欢迎来到 Redis 进化日志的第五天。在前四天里,我们夯实了 Redis 的基础(数据结构、持久化、高可用)。今天,我们要聊一个后端开发中极具分量的话题——分布式锁。
無森~1 天前
分布式·zookeeper·云原生
ZooKeeper1.活锁。活锁定义:在程序里,由于某些条件的发生碰撞,导致重新执行,再碰撞=》再执 行,如此循环往复,就形成了活锁。活锁的危害:多个线程争用一个资源,但是没有任何一个 线程能拿到这个资源。(死锁是有一个线程拿到资源,但相互等待互不释放造成死锁),活锁 是死锁的变种。补充:活锁更深层次的危害,很耗尽Cpu资源(在做无意义的调度)。
小北方城市网1 天前
java·spring boot·redis·分布式·后端·python·缓存
SpringBoot 集成 MinIO 实战(对象存储):实现高效文件管理在后端开发中,文件存储是高频需求 —— 如用户头像、商品图片、文档附件等,传统本地存储存在扩展性差、集群部署不便、数据易丢失等问题。MinIO 作为开源高性能对象存储服务,兼容 S3 协议,支持分布式部署、高可用存储、权限管控,可轻松实现文件的上传、下载、预览、删除等功能,是企业级文件管理的首选方案,广泛应用于电商、办公、社交等场景。
Blossom.1181 天前
人工智能·分布式·python·深度学习·神经网络·机器学习·迁移学习
大模型分布式训练通信优化:从Ring All-Reduce到分层压缩的实战演进摘要:本文深度揭秘大模型分布式训练中的通信瓶颈与优化体系。通过Ring All-Reduce的拓扑感知改进、梯度压缩算法(PowerSGD+EF21)的融合实现、以及通信-计算重叠的流水线设计,在千卡集群上训练175B模型时,通信耗时占比从68%降至12%,吞吐量提升4.7倍。提供完整的PyTorch通信原语改造、NCCL调优、分层压缩代码,已在某云厂商大模型平台稳定训练6个月,支持万卡级扩展,单卡有效算力达理论峰值的82%。
码农水水1 天前
java·开发语言·spring boot·分布式·面试·php·wpf
得物Java面试被问:大规模数据的分布式排序和聚合图表代码复制下载全屏java复制下载java复制下载scala复制下载篇幅限制下面就只能给大家展示小册部分内容了。整理了一份核心面试笔记包括了:Java面试、Spring、JVM、MyBatis、Redis、MySQL、并发编程、微服务、Linux、Springboot、SpringCloud、MQ、Kafc
爱吃提升1 天前
分布式·爬虫
分布式爬虫的核心原理详细介绍分布式爬虫的核心是将单台机器的爬虫任务拆解为多个子任务,分发到多台节点机器并行执行,通过“任务调度、数据共享、统一去重”解决单台机器爬取速度慢、易被封禁、存储能力有限的问题。
無森~1 天前
大数据·hadoop·分布式
Hadoop序列化与反序列化序列化定义:就是把内存中的对象,转换为字节序列,以便于存储到磁盘或网络传输,此过程被称为序列化。反序列化定义:将字节序列或磁盘中的持久化字节数据,转换为内存中的对象的过程。
数据知道1 天前
数据库·分布式·postgresql
PostgreSQL实战:详细讲述UUID主键,以及如何生成无热点的分布式主键本文将深入剖析 UUID 作为主键的利弊,系统讲解 PostgreSQL 中 UUID 的使用方式,并重点介绍如何生成无热点、高性能的分布式主键,涵盖 UUIDv7、ULID、KSUID、Snowflake 等现代方案,结合实际配置、性能对比与最佳实践,帮助开发者构建可扩展、高并发的数据库架构。
小宋10211 天前
java·分布式·kafka
Kafka 自动发送消息 Demo 实战:从配置到发送的完整流程(java)很多业务场景需要定时或批量把数据推送到 Kafka,比如报警系统、日志采集、数据同步等。为了让测试更简单、更可控,我们搭了一个“自动发送 Kafka 消息”的小型 Demo。它的目标非常明确: