分布式

赞奇科技Xsuperzone2 小时前
大数据·分布式·spark
【首发】DGX Spark 三机互连跑 Qwen3-235B-A22B-FP8!往期我们测试了1台 DGX Spark 运行 gps-oss-120b FP4 模型,近期我们的技术伙伴测试了3台集群运行 Qwen3-235B-A22B-FP8 模型,现在来为大家带来第一手的实测性能分析。
苏州知芯传感5 小时前
网络·分布式·3d·mems·激光·微振镜
环境智能的触角:MEMS微振镜赋能分布式光纤传感网络在构建“环境智能”的宏大蓝图中,分布式光纤传感网络犹如覆盖千里的“神经末梢”,能持续感知温度、应变、振动、声音等物理量的空间分布与时间演化。然而,传统系统在灵活性、空间分辨率和多功能集成方面面临瓶颈。MEMS微振镜技术的引入,正以其独特的动态光束操控能力,为这些静默的光纤神经网络装上可主动调控的“智能触角”,开启感知能力升级的新篇章。
小坏讲微服务6 小时前
java·spring boot·分布式·后端·spring cloud·微服务·架构
Spring Boot 4.0 与 Spring Cloud Alibaba 2025 整合完整指南Spring Cloud全栈实战:手撸企业级项目,从入门到架构师!本文将详细介绍如何在 Spring Boot 4.0 中整合 Spring Cloud Alibaba 2025 最新版本。Spring Cloud Alibaba 为分布式应用开发提供了一站式解决方案,包含服务发现、配置管理、流量控制等核心功能。
数智化架构师-Aloong9 小时前
java·开发语言·分布式·系统架构
⚡️ PowerJob深度解析:Java生态下高并发分布式调度的终极选择作者:Aloong | 十年一线架构师,现任某互联网大厂架构师,主导多个亿级用户项目架构设计,在分布式系统、高并发架构、性能优化等领域有丰富实战经验。
a***592610 小时前
分布式·rabbitmq
RabbitMQ高级特性----生产者确认机制题记:在Java微服务开发中,对于一个功能需要调用另一个服务下的功能才能实现的情况,我们通常会使用异步调用取代同步调用,进而实现增强业务的可拓展性和实现故障隔离以及流量削峰填谷的目的。而消息队列就是异步调用的解决方案之一。不过在使用消息队列实现异步调用的时候,可能会出现消息无法传递到位进而导致业务信息出现差异的情况,因此消息的传递的可靠性就显得尤为重要。
LDG_AGI12 小时前
人工智能·pytorch·分布式·python·深度学习·算法·spark
【推荐系统】深度学习训练框架(六):PyTorch DDP(DistributedDataParallel)数据并行分布式深度学习原理我来详细解释PyTorch DDP(DistributedDataParallel)的原理。DDP采用数据并行策略,核心思想是:
BD_Marathon13 小时前
linux·分布式·zookeeper
【Zookeeper】Zookeeper内部的数据模型zk中的数据是保存在节点上的,节点就是znode,多个znode之间构成一颗树的目录结构Zookeeper的数据模型是什么样子呢?它很像数据结构当中的树,也很像文件系统的目录
w***z5013 小时前
分布式
分布式多卡训练(DDP)踩坑多卡训练最近在跑yolov10版本的RT-DETR,用来进行目标检测。单卡训练语句(正常运行):多卡训练语句:
h***593313 小时前
分布式
分布式与集群,二者区别是什么?分布式系统是由多个独立的计算机节点组成的系统,这些节点通过网络协作完成任务。每个节点都有自己的独立计算能力和存储能力,可以独立运行。分布式系统的目标是提高系统的可靠性、可扩展性和性能。
lucky_syq14 小时前
大数据·分布式·python·spark
深入Spark核心:Shuffle全剖析与实战指南在大数据处理的广袤领域中,Apache Spark 凭借其强大的分布式计算能力,已然成为众多开发者手中的得力工具。而在 Spark 框架里,Shuffle 堪称其中最为关键且复杂的机制之一,它在整个分布式计算流程中扮演着举足轻重的角色。
GIOTTO情14 小时前
分布式·架构·媒体
技术深度拆解:Infoseek 媒体发布系统的分布式架构与自动化实现在媒介形态多元化与传播需求精准化的双重驱动下,企业对媒体发布系统的技术要求已从 “能发布” 升级为 “全渠道适配、高自动化、效果可量化”。传统媒体发布系统因架构陈旧、接口适配复杂、自动化程度低,难以应对 “多渠道、多形态、高并发” 的发布场景。字节探索 Infoseek 基于 “分布式架构 + AI 大模型 + 全链路数据追踪” 技术体系,构建了高性能媒体发布系统,本文从技术架构、核心模块、实现逻辑三方面进行深度拆解。
一个帅气昵称啊14 小时前
分布式·微服务·.net
在.NET中如何优雅的使用DotNetCore.CAP实现分布式事务,事件总线和消息最终一致性DotNetCore.CAP是一个基于.NET Core的分布式事务框架,主要用于解决微服务架构中的事件总线与消息最终一致性问题。它支持多种消息队列(如RabbitMQ、Kafka等)和持久化存储(如SQL Server、MySQL、PostgreSQL等),提供事务发布/订阅模式。
o***Z44814 小时前
分布式
后端在分布式中的服务调用最开始玩的是RPC(Remote Procedure Call),这玩意儿概念上挺美好,就是想让你像调用本地函数一样去调用远程服务。那时候WebService火得一塌糊涂,SOAP协议配上XML,那叫一个重。动不动就搞个WSDL文件,描述服务接口,然后用工具生成一堆代理类。调个服务, payload贼大,解析还慢。后来觉得这太笨重了,转向了更轻量级的方案,比如基于HTTP的RESTful API。
青衫码上行14 小时前
分布式·git·svn
分布式版本控制系统Git的安装和使用• 版本控制是一种记录一个或若干文件内容变化,以便将来查阅特定版本修订情况的系统• 可以将选定的文件回溯到之前的状态,甚至将整个项目都回退到过去某个时间点的状态 • 可以比较文件的变化细节,查出最后是谁修改了哪个地方,从而找出导致问题的原因 • 就算你把整个项目中的文件改的改删的删,你也照样可以轻松恢复到原先的样子
u***276114 小时前
分布式·skywalking
分布式监控Skywalking安装及使用教程(保姆级教程)本文主要讲解分布式链路追踪监控系统Skywalking的安装及使用教程,从0到1,图文并茂的保姆级教程。
m***923815 小时前
分布式·rabbitmq·ruby
RabbitMQ 客户端 连接、发送、接收处理消息RabbitMQ 服务,不是像其他服务器一样,负责逻辑处理,然后转发给客户端 而是所有客户端想要向 RabbitMQ服务发送消息,
苦学编程的谢15 小时前
分布式·rabbitmq
RabbitMQ_1_RabbitMQ概述Rabbit,兔子的意思互联网行业中的很多公司,都喜欢用动物命名产品,或者作为公司的logo,吉祥物。比如:腾讯的企鹅,美团的代数,携程的海豚……
回家路上绕了弯15 小时前
分布式·后端
线程池拒绝策略为何不一致?项目实战中的决策逻辑与踩坑指南在后端项目中,线程池是处理异步任务的核心组件 —— 从订单支付、库存扣减到日志记录、数据统计,几乎都依赖线程池提升并发能力。但很多开发者会忽略一个关键细节:不同业务场景的线程池,拒绝策略必须差异化选择。
阿萨德528号15 小时前
分布式·kafka
Kafka定理剖析:分区数要大于消费者数这个定理更精确的说法是:一个消费者组内的并发消费者实例数,不能超过它所要订阅的Topic的分区总数。下面我们来详细拆解这个定理,并解释其背后的原理和实际工作中的考量。