分布式

月落归舟7 小时前
分布式·系统架构
从单机到分布式:互联网系统架构演进全流程任何大型互联网平台都不是一步建成分布式架构,而是伴随着用户流量、数据量的增长,一步步迭代优化而来。从最原始的单机小系统,到具备 CDN、多级缓存、分库分表、搜索引擎、消息队列、微服务的成熟分布式架构,每一次架构升级,都是为了解决当下业务暴露出的性能、容量、高可用瓶颈。本文结合架构发展以及对应图解,梳理系统架构迭代的全过程
折哥的程序人生 · 物流技术专研9 小时前
分布式·微服务·校招·分布式事务·cap·java面试·最终一致性
Java面试通关⑭:分布式理论与架构全集分布式架构是中高级开发分水岭、大厂面试核心拉分模块,微服务、集群部署、分布式事务、一致性问题全部基于分布式理论。多数开发者长期写单体业务,对分布式基础理论、一致性协议、分布式事务、限流熔断降级一无所知,无法应对架构面试与分布式项目开发。本篇从零拆解分布式核心理论、CAP/BASE、一致性算法、分布式事务、高可用架构,打通分布式架构思维,进阶中高级后端开发。
小李云雾2 天前
redis·分布式·程序人生·elasticsearch·项目实战
二阶段项目抖粉智算项目总结抖粉智算短视频AI营销服务平台是二阶段开发的完整商业化实战项目,面向短视频创作者、带货运营与MCN团队,是一套覆盖前端界面、后端业务、AI能力接入、中间件部署、容器化上线的全链路SaaS产品架构。
搬砖柯8 小时前
分布式·测试工具·性能优化·开源·自动化·httpx
系列12-接口压测怎么做成平台能力?自研 httpx 引擎、分布式 Worker 与 Locust 选型对照团队做性能测试,常见两条路:BrickCore 选第三条:复用接口自动化用例(ApiTestCase)+ asyncio/httpx 自研压测引擎,可选 Perf Worker 水平加并发。
格子软件20 小时前
java·vue.js·分布式·vue·geo
2026年GEO贴牌代理:分布式多级分账状态机源码深度解构2026 年,随着企业级 SEO 与内容分发系统向分布式架构全面迁移,GEO 贴牌代理模块面临着高并发下的数据一致性严峻挑战。在日均千万级内容发布与收录查询的场景中,传统的单库事务方案已完全失效,分账流程的重复挂载、数据幻读以及状态机流转错乱成为制约系统吞吐量的核心瓶颈。本文将深入拆解一套自研的分布式多级分账状态机内核,分享如何在 Spring Boot 3.x 技术栈下,通过无锁化设计与异步事件驱动,实现 TPS 突破 5 万的生产级落地实践。
Evand J1 天前
开发语言·分布式·matlab·定位·导航·wsn
【论文复现】MATLAB例程,存在测距误差的WSN无锚点分布式自定位,《WSN中存在测距误差的无锚点分布式自定位方法》原创代码,请勿翻卖本程序复现论文《WSN 中存在测距误差的无锚点分布式自定位方法》的核心思想:在无锚点无线传感器网络中,仅利用邻居节点间带误差的 RSS 测距值建立全局测距残差目标函数,并使用最速下降法迭代修正节点相对坐标。程序最后通过二维刚体配准把相对坐标对齐到真实坐标系,用于评价定位误差。 在二维区域内随机生成传感器节点,并根据通信半径构建节点间邻接关系;随后对可通信节点之间的真实距离加入有界随机测距误差,形成带噪声的相对距离观测。在定位求解阶段,程序先利用基于最短路径距离的多维尺度分析(MDS)生成
格子软件1 天前
java·vue.js·人工智能·spring boot·分布式·vue
2026年分布式GEO代理流量调度:源码级状态机防重挂实战随着 2026 年企业级 GEO 优化需求的持续深化,多级代理的流量分发与结算体系正面临前所未有的高并发挑战。在分布式环境下,一次 GEO 代理任务的创建可能触发多个下游服务的状态变更,而网络抖动或服务超时极易导致“任务重挂”——即同一代理任务被重复执行,造成资源浪费、数据不一致甚至账户积分透支。传统基于数据库行锁的防重方案在数千 TPS 的冲击下早已力不从心,Redis 分布式锁的误释放与死锁问题更是让无数架构师夜不能寐。本文将从底层状态机模型出发,彻底拆解一套生产级防重挂方案,为格子GEO优化系统的高
2301_801184751 天前
分布式·zookeeper·kafka
kafka-zookeeperjdk-kafka-zookeeper都解压后,配置java环境变量cd kafka/binnohup bin/zookeeper-server-start.sh config/zookeeper.properties &
Database_Cool_3 天前
数据库·分布式·阿里云
共享存储数据库详解:阿里云 PolarDB 存储计算分离架构优势共享存储数据库(Shared-Storage Database)是指多个计算节点通过高速网络共享同一份底层存储数据的数据库架构,与 Shared-Nothing 分布式数据库(每节点拥有独立数据分片)形成鲜明对比。阿里云 PolarDB 作为云原生数据库领导者,兼容 MySQL/PostgreSQL/Oracle,基于自研 PolarStore 分布式共享存储实现了存储计算分离架构,支持 1 主 + 15 只读节点共享同一份数据、最高 100TB+ 存储独立扩容、毫秒级复制延迟、秒级故障切换。在共享存储数
格子软件1 天前
java·vue.js·人工智能·分布式·架构·vue·geo
2026年分布式GEO代理架构:多租户动态数据源隔离与流控源码解构2026 年,随着企业 GEO 优化需求向分布式、多租户方向演进,传统单机关键词拓词与内容创作引擎已无法承载高并发下的动态数据源切换与资源隔离。在生产环境下,当数百个代理同时进行 AI 批量文章生成与定时发布时,数据源连接池耗尽、线程上下文错乱、内存泄漏等问题频繁触发,严重影响了 格子GEO优化 系统的稳定性。本文将从底层源码角度,深度拆解一种基于 Spring Boot 3.x 与 MyBatis-Plus 的多租户动态数据源隔离方案,并分享流控与并发锁的极端边界排查经历。
nbsaas-boot1 天前
分布式·微服务·架构
微服务架构下的分布式事务解决方案深度对比与实战选型随着单体架构向微服务架构的全面演进,原本依托于本地数据库事务即可轻松解决的跨业务数据一致性问题,迅速演变为系统架构设计的核心痛点。在微服务化拆分后,一次完整的业务请求往往需要跨越多个物理隔离的数据库与服务节点,传统的本地事务机制在此场景下完全失效。如何在保证系统高并发、高可用的前提下,实现跨服务的数据一致性,成为每一位架构师与高级研发工程师必须直面的挑战。
大明者省1 天前
笔记·分布式·架构
四大模态大模型训练体系全解析(架构+范式+分布式+算力成本·)当前大模型领域已形成 “主干向 Transformer 收敛、细节按模态定制” 的整体格局:文本大模型是纯 Transformer 架构的原生应用,图像、语音、视频则基于自身数据特性(空间结构、时序关联、维度高低)对 Transformer 做针对性改造,配套差异化的训练范式、分布式工程方案与算力成本模型。
livemetee1 天前
分布式·kafka
关于【Kafka高可用配置】Kafka 作为分布式消息队列的“王者”,以其极高的吞吐量和优秀的持久化能力著称。但在实际生产环境中,如果配置或使用不当,很容易出现消息丢失、消息重复、消息积压、频繁 Rebalance 等严重问题。
TTBIGDATA1 天前
大数据·hadoop·分布式·kafka·ambari·hdp·ambari plus
【Ambari Plus】11.Kafka 安装Kafka 用来承载消息发布订阅和流式数据管道。它依赖 ZooKeeper,本篇环境已经提前安装并启动了三节点 ZooKeeper,所以可以直接进入 Kafka 安装。
李昊哲小课1 天前
大数据·hadoop·分布式·ubuntu·hdfs·mapreduce
Ubuntu26.04 搭建 Hadoop3.5.0 完全分布式nodejs python scala maven 是为 其他集群和开发环境准备的 如果只是搭建hadoop集群可以忽略
newbe365241 天前
前端·人工智能·分布式·github·aigc·wpf
我们如何使用 impeccable 优化前端界面设计与实现稳定性很多团队做 UI 时都有同个痛点:设计语言靠经验,交互细节靠记忆,最后产物容易“能用但不稳”。在 HagiCode monorepo 里,impeccable 不是当成“灵感工具”用,而是被放进一套可执行、可校验、可回归的工程链路里:
清心歌2 天前
分布式·seata
Seata AT 模式简单学习及总结Seata 分布式事务核心三角色,定义缩写:TM (Transaction Manager,事务管理器)
无小道2 天前
数据库·redis·分布式·主从
Redis——主从复制目录配置主从架构Redis 搭建主从架构的三种方式断开主从结构主从架构的拓扑结构一主一从拓扑一主多从拓扑
rebibabo2 天前
java·分布式·kafka·学习笔记·副本·分区·异步日志
Java基础(番外) | Kafka 入门:分区、副本与消费者组原理📚 本系列系统梳理了 Java 开发的详细知识点,从基础语法到工程实践层层递进,内容详实成体系,建议先收藏再慢慢阅读,方便日后随时回顾查阅。
swg3213212 天前
分布式·kafka
Kafka基于ZK和KRaft的设计原理与差异KRaft = Kafka + Raft,核心目标:移除 ZooKeeper,内置 Raft 共识协议管理全集群元数据,把控制平面完全收归 Kafka 自身,分为角色分层、Raft 共识层、元数据存储层、元数据同步链路、故障转移、三种部署拓扑六大核心模块。