技术栈
分布式
雨言yyds
7 小时前
分布式
·
kafka
Kafka
Kafka 是一个分布式流处理平台,由 LinkedIn 开发并开源,主要用于构建实时数据管道和流式应用。其核心特性包括高吞吐、低延迟、可扩展性和持久性。
学到头秃的suhian
11 小时前
java
·
数据库
·
redis
·
分布式
·
缓存
Redis分布式锁
什么是分布式锁?分布式锁:满足分布式系统或者集群模式下多进程可见并且互斥的锁。分布式锁,一般会依托第三方组件来实现,而利用Redis实现则是工作中应用最多的一种。今天,就让我们从最基础的步骤开始,依照分布式锁的特性,层层递进,步步完善,将它优化到最优,让大家完整地了解如何用Redis来实现一个分布式锁。
若水不如远方
11 小时前
分布式
·
后端
·
算法
分布式一致性原理(四):工程化共识 —— Raft 算法
上一篇我们从集合交集定律推导出了多数派机制,并在此基础上推演了 Basic Paxos 和 Multi-Paxos 的 Leader 优化思想。但我们也提到,Paxos 的原论文只给出了核心思想,留下了大量工程空白:Leader 怎么选?日志怎么复制?故障怎么恢复?
三水不滴
12 小时前
spring boot
·
分布式
·
后端
千万级数据批处理实战:SpringBoot + 分片 + 分布式并行处理方案
在开发中,千万级数据的批量清洗、同步、迁移、统计是非常常见的场景。传统的单线程或单节点批处理方案不仅耗时长达数天,还存在资源利用率低、容错性差、扩展性弱等问题,严重影响业务迭代效率。本文将深度拆解并实战一套基于 SpringBoot + 批处理分片 + 分布式协调 的高性能并行处理方案,通过将大任务拆解为小分片,充分利用分布式集群资源,实现千万级数据处理从 “天级” 到 “小时级” 的性能跃升,实现高性能并行处理.
笨蛋不要掉眼泪
12 小时前
分布式
·
架构
从单体到分布式:一次完整的架构演进之旅
最初的系统架构极其简单:用户通过域名访问服务器,服务器上运行着包含所有功能的应用程序,背后连接着单一的数据库。
会算数的⑨
12 小时前
java
·
人工智能
·
分布式
·
后端
·
学习
·
spring
·
saa
Spring AI Alibaba 学习(三):Graph Workflow 深度解析(下篇)
📌 系列文章📖 前言一、什么是 DeepResearch?1.1 概念起源与演变1.2 从 RAG 到 DeepResearch 的技术演进
认真的薛薛
12 小时前
数据库
·
分布式
·
mysql
数据库-日志管理、备份恢复与主从同步
第一种日志:通用日志第二种日志:错误日志第三种日志:二进制日志第四种日志:慢查询日志注意:做binlog日志数据恢复时,会临时将sql_log_bin功能关闭
invicinble
13 小时前
分布式
·
gateway
分布式组件的全域认识和操作--gateway
我们对gateway这个技术栈,产生什么样的认识,才算真 正的理解,会使用gateway。1.如何搭建一个gateway项目,并且注册到gateway里面
Andy Dennis
13 小时前
分布式
分布式ID方案学习
在单机应用时代,为数据生成一个唯一标识(ID)是如此简单——数据库的自增主键(AUTO_INCREMENT)足以胜任。它有序、高效,仿佛一个永不重复的流水线。
三点水-here
13 小时前
分布式
·
rdma
·
nccl
·
moe
·
流水线并行
·
张量并行
·
专家并行
04 - 分布式大模型推理实战:TP/PP/EP并行策略深度解析
本文是《大模型推理框架深度解析》系列的第四篇,详解张量并行、流水线并行与专家并行的原理与配置。当你的模型从7B扩展到70B、405B,单卡显存已经无法满足需求时,分布式推理成为必然选择。但面对TP、PP、EP等各种并行策略,很多开发者感到困惑:
Coder_Boy_
13 小时前
java
·
spring boot
·
分布式
·
微服务
从单体并发工具类到分布式并发:思想演进与最佳实践
理清「单体并发工具类的核心思想」如何渐进式演进到「分布式并发场景」,并提炼出通用的设计思维——本质是把单机内的“线程级协作规则”升级为“集群节点级协作规则”,核心思想(限流、同步、汇总、安全)完全复用,仅将“本地工具”替换为“分布式协调工具”,同时解决分布式场景的新问题(网络延迟、节点故障、数据一致性)。
礼拜天没时间.
15 小时前
linux
·
hadoop
·
分布式
·
docker
·
容器
Docker 部署分布式 Hadoop(超详细实战版)
在传统方式下部署 Hadoop:需要准备多台虚拟机手动配置网络、主机名、SSH 免密重复安装 JDK、Hadoop
百块富翁
1 天前
java
·
分布式
·
系统架构
可管控、不重复TraceId解决方案
一、名词解释 TraceId: 追踪Id,一般用在分布式系统中,用于标识一次完整请求的唯一id。在分布式系统中,由于每个服务,组件等都可能部署多台(用到分布式技术的基本也是大型系统),要确定一次请求经过了哪些服务,日志捞取,性能检测等等没有标识无异于大海捞针,这时候就需要一个唯一标识将整个链路串联起来,这就是TraceId。 扩展: 1.系统唯一中立标识 由于TraceId的粒度为每次请求,并且唯一不重复,也可以作为系统唯一中立通传标识,其他各种业务需要实现通传的功能时,可在此标识上扩展,如灰度标识等,以
最贪吃的虎
1 天前
java
·
linux
·
运维
·
windows
·
分布式
·
后端
·
架构
windows上如何可视化访问并远程操作linux系统上运行的浏览器或者linux可视化桌面
在混合操作系统环境中,从 Windows 远程访问 Linux 系统的图形界面或特定应用如浏览器已成为常见需求。这不仅能提高工作效率,还能实现跨平台协作。例如,在 Windows 主机上操作 Linux 服务器的 Firefox 浏览器浏览网页,或直接控制 Linux 桌面进行开发/管理。
没有bug.的程序员
1 天前
redis
·
分布式
·
缓存
·
高并发
·
cluster
·
数据分片
分布式缓存深潜:Redis Cluster 物理内核、数据分片算法博弈与高并发实战指南
前言:在内存的极速世界中构建规模化确定性在分布式系统的宏大演进中,缓存始终是抗住海量并发冲击、保卫底层数据库不被流量洪峰冲垮的“第一道防线”。然而,随着互联网业务规模从单机 10G 内存需求演进到 TB 级别,单节点 Redis 在物理内存上限、单线程处理瓶颈以及网络带宽吐吞量面前显得捉襟见肘。
组合缺一
1 天前
java
·
人工智能
·
分布式
·
ai
·
llm
·
solon
·
mcp
OpenSolon v3.9.3, v3.8.5, v3.7.5, v3.6.8 年货版发布
OpenSolon 是新一代,Java 企业级应用开发框架。从零开始构建(No Java-EE),有灵活的接口规范与开放生态。采用商用友好的 Apache 2.0 开源协议,是“杭州无耳科技有限公司”开源的根级项目,是 Java 应用开发的生态基座(可替换美国博通公司的 Spring 生态)。
一只鱼丸yo
1 天前
分布式
·
系统架构
·
共识算法
分布式系统的心脏:Raft共识算法原理深度解析
在分布式系统中,如何让多个节点就某个值达成一致是一个核心难题。当一个节点说"选A",另一个节点说"选B",第三个节点宕机时,系统该如何决策?这就是分布式共识问题。
a28528
2 天前
前端
·
分布式
分布式WEB应用中会话管理的变迁之路
优质博文:IT-BLOG-CNSession一词直译为“会话”,意指有始有终的一系列动作/消息。Session是Web应用蓬勃发展的产物之一,在Web应用中隐含有“面向连接”和“状态保持”两个含义,同时也指代了Web服务器与客户端之间进行状态保持的解决方案。
玄〤
2 天前
java
·
分布式
·
spring cloud
·
微服务
·
架构
·
rabbitmq
RabbitMQ高级篇总结(黑马微服务课day11)(包含黑马商城业务改造)
本文总结了黑马课程中的MQ高级篇的内容,从而对RabbitMQ中的进阶的使用技巧有更好的理解 MQ入门篇的内容: MQ入门篇
倚肆
2 天前
java
·
分布式
·
后端
·
kafka
Kafka 生产者与消费者配置详解
可靠性优先:性能调优:资源控制:偏移量管理:性能与稳定性:容错处理:生产者指标:消费者指标:JVM 指标: