分布式

方方洛10 小时前
人工智能·分布式·机器学习
ray教程-13-RayTrain与分布式训练仓库地址:github.com/hhk-png/cyc…本章目标:搞清楚 Ray Train 在分布式训练里到底负责哪一段、 V2 默认开启之后写法变了什么、容错和抢占怎么工作, 以及什么时候该直接用 torchrun 而不是 Ray。 读完你应该能回答:Ray 是"训练框架"还是"进程编排器"?
黄俊懿17 小时前
数据结构·数据库·分布式·缓存·架构·系统架构·1024程序员节
【架构师从入门到进阶】第七章:缓存和存储的优化思路——第一节:缓存概述本篇文章我们来学习分布式缓存,这是属于我们应用服务器性能优化的一大块。当我们的网站遇到性能瓶颈时,我们比较常用的一些解决方案中,还有一个非常重要的就是使用缓存。缓存在现在的互联网项目中,几乎无处不在。它既存在于浏览器中,也可以存在于网关中,也可以存在于负载均衡中,也可以存在于应用服务器,也可以存在于数据库当中。也就是说,几乎是方方面面都有缓存的身影。缓存既可以是对数据的缓存,也可以是对文件的缓存,也可以是对页面的缓存。合理的利用缓存对提升网站的性能意义重大。
红海云17 小时前
大数据·分布式·spark
两台DGX Spark部署DeepSeek的实战边界两台 DGX Spark、一根高速线缆,再加一个量化模型,看起来就能搭出一台本地 DeepSeek 服务器。真正动手时,麻烦通常集中在三个地方:权重能否装下、推理框架能否执行、两台机器能否高效通信。
GlobalInfo1 天前
大数据·分布式·微服务·ai·相机
上新 | 全球及中国起重机摄像系统行业研究报告(2026版):市场现状、行业前景与占有率分析一、市场规模与产品定位:起重作业盲区视觉辅助的专用工业监控系统起重机摄像监控系统是指安装于塔式起重机、汽车起重机、履带起重机、桥式起重机、港口起重机及其他起重设备上的专用工业视频监控系统,主要用于在起重和物料搬运作业过程中提供实时视觉辅助。典型系统由工业摄像头、视频传输模块、驾驶室显示终端、供电组件、安装装置及相关图像处理软件构成,可根据作业要求安装在吊钩、起重臂末端、起重小车、驾驶室或多个关键监控位置。根据Global Info Research调研统计,预计2032年全球起重机摄像系统产值达到642百
方方洛1 天前
人工智能·分布式·机器学习
ray教程-11-可观测性与调试仓库地址:github.com/hhk-png/cyc…本章目标:把「出问题了怎么查」变成一套可执行的流程。 包含四层可观测性(状态/日志/指标/追踪)、每层的工具与坑, 一份按症状索引的排查手册,以及一个真实事故的复盘。
samforce2 天前
人工智能·分布式·微服务·架构·软件架构·结构认知
为什么微服务会退化成“分布式单体”?——软件架构里的嵌套率传导定律先说结论:软件架构里大多数被叫成“好设计”的东西,其实在做同一件事——把模块之间的嵌套率差(|ΔN|)锁在 1。相邻层通信(|ΔN|=1)效率最高;跨层调用(|ΔN|≥2)必然衰减;而同层互调(|ΔN|=0)看起来最省事,实际是最危险的耦合陷阱——分布式单体就是这么长出来的。
每天一道题2 天前
分布式·kafka
Kafka 是如何工作的?从 Broker、Partition、Offset 到 Consumer Group在微服务系统中,Kafka 经常和 Redis、MySQL 一起出现。例如一个电商系统,用户支付成功之后,除了需要修改订单状态,还可能需要发送短信、更新销售统计、记录用户行为。
用户1494484813203 天前
分布式·后端
为什么大厂很少直接用 2PC/TCC?聊聊分布式事务在真实业务里的落地套路如果你去面试 Java 后端,分布式事务几乎是必考题。面试官期待你流利地背出 XA、2PC、3PC、TCC、Seata 的流程和优缺点。
code_slave(码畜)3 天前
数据库·spring boot·分布式·spring cloud·微服务·架构·分库分表
微服务架构落地:分库分表实战(下) —— 分布式主键、跨分片查询与分页聚合防坑大宗商品销采运储系统・六层架构连载(数据持久层)上一篇我们完成了分库分表的“上篇”:讲了切分策略(垂直/水平),用“基因法”解决了路由痛点,并梳理了不停机平滑扩容的步骤。
德迅云安全-上官3 天前
分布式·tcp/ip·安全
新一代智能分布式云接入:应用加速守护 TCP 业务安全与体验在游戏、APP、微端、内嵌 Web 等 TCP 类业务的运营过程中,网络延迟波动、DDoS 与 CC 攻击、服务器真实 IP 暴露、业务中断掉线,一直是困扰企业发展的核心难题。传统高防产品往往部署繁琐、成本高昂,面对突发大流量攻击时常出现防护瓶颈,难以兼顾安全防御与用户访问体验。新一代智能分布式云接入系统 ——应用加速(客户端安全),依托 SD‑WAN 跨域创新技术,打通专线穿透,搭配高速通道能力,为 TCP 端类业务构建起 “安全防护 + 网络加速 + 业务稳定” 一体化解决方案。
凯凯姜3 天前
分布式
分布式定时任务重复执行与故障恢复某金融系统每天凌晨需要为大量用户计算收益,并更新账户余额。随着业务规模扩大,系统部署了多个工作节点,由调度中心分配任务。
Sayai3 天前
大数据·运维·分布式·kafka·消息队列
Kafka 磁盘空间治理实战:retention 保留策略、log.dirs 在线扩容、分区跨盘迁移与不停机整体换盘消息队列 Kafka 用得越久,磁盘水位告警来得越勤:日志类 topic 日增几十 GB、大分区全挤在一块盘上、系统盘被 server.log 慢慢吃光。本文把生产环境沉淀的四类存储治理手段整理成一套完整 SOP——保留策略让数据"删得快"、数据目录扩容让集群"装得下"、分区跨盘迁移让磁盘"搬得平"、整体换盘让硬件"换得走",全部支持滚动操作不停机,附踩坑清单。命令在 Kafka 2.5 与 3.9 集群上均验证过。
爱吃牛肉的大老虎3 天前
数据库·redis·分布式
Redis之分布式 Session问题平常做的项目都是在一台应用系统,并且所有的操作都在一台 Tomcat 服务器上,并不会引发 Session共享 的问题,所以并不会对系统产生影响,但是当部署多个微服务的时候,再搭配 Nginx 进行负载均衡时,如果不处理分布式 Session 问题,那么在系统中访问不同功能时就会频繁出现用户登录的操作
阿标在干嘛3 天前
数据库·分布式
分布式锁的“场景适配“:我们为什么在部分链路中选择了数据库乐观锁?2026年初,在优化立达标讯政策数据更新链路时,团队内部展开了一场关于"并发控制方案"的讨论。一方认为:"必须用分布式锁!Redis或ZooKeeper,保证强一致性!" 另一方提出:"我们的部分链路是写冲突频率低、数据量可控的场景,是否可以考虑数据库乐观锁?"
磐链科技3 天前
分布式·web3·区块链
Web3区块链开发需要哪些核心技术?解析分布式网络、数字钱包与跨链交互方案Web3区块链开发需要哪些核心技术?解析分布式网络、数字钱包与跨链交互方案一、Web3区块链开发的技术背景
爱吃火鸡面呀3 天前
分布式·spark
PySpark 入门实战:从 DataFrame 到 SQL、DSL 与窗口函数PySpark 是 Spark 的 Python 接口,它让我们可以用熟悉的 Python 语法操作分布式数据集。本文从一个最简单的 JSON 读取示例出发,逐步带你掌握 DataFrame 的创建、SQL 查询、DSL 风格操作、窗口函数以及炸裂函数等核心用法。无论你是刚接触大数据的新手,还是想快速回顾 PySpark 常用 API 的开发者,这篇文章都能给你一份可直接运行的实战参考。
德迅--文琪3 天前
分布式·tcp/ip·安全
新一代智能分布式云接入:应用加速守护 TCP 业务安全与体验在游戏、APP、微端、内嵌 Web 等 TCP 类业务的运营过程中,网络延迟波动、DDoS 与 CC 攻击、服务器真实 IP 暴露、业务中断掉线,一直是困扰企业发展的核心难题。传统高防产品往往部署繁琐、成本高昂,面对突发大流量攻击时常出现防护瓶颈,难以兼顾安全防御与用户访问体验。新一代智能分布式云接入系统 ——应用加速(客户端安全),依托 SD‑WAN 跨域创新技术,打通专线穿透,搭配高速通道能力,为 TCP 端类业务构建起 “安全防护 + 网络加速 + 业务稳定” 一体化解决方案。
凯凯姜3 天前
分布式
高并发秒杀库存超卖电商平台举办秒杀活动,初始库存为 1000 件。技术架构:活动过程中出现以下问题:核心目标:保证库存不超卖、订单不重复、库存操作可恢复,并让异常情况下的数据最终达到一致。
一条泥憨鱼3 天前
redis·分布式·lua
【Redis | 黑马点评】分布式锁;Lua脚本;Redisson与看门狗 |源码万字详解秒杀优惠券记录在 tb_seckill_voucher,下单记录写入 tb_voucher_order。从 seckillVoucher 的判断可以确认以下规则:
stark张宇4 天前
redis·分布式·mysql
库存扣减的“锁”事:悲观锁、乐观锁、分布式锁从秒杀高并发切入,按锁的作用范围梳理单机 Go 锁、MySQL 行锁/版本锁、Redis/ZK/etcd 分布式锁;说明进程内锁跨机无效、数据库锁易阻塞、分布式锁解决跨节点互斥,并给出分层选型思路。