分布式

填满你的记忆几秒前
分布式·kafka
Kafka 面试题 Top40参考回答:Apache Kafka 是一款开源的、分布式的、基于发布-订阅模式的流处理平台和高性能消息队列。它最初由 LinkedIn 团队开发,并于 2011 年贡献给 Apache 基金会。
oqX0Cazj22 分钟前
数据库·分布式·golang
Go-Zero数据库事务实战:本地事务+失败自动回滚+生产避坑+简单分布式事务方案Go-Zero数据库事务实战:本地事务+失败自动回滚+生产避坑+简单分布式事务方案文章标签:#GoZero #数据库事务 #Golang事务 #数据一致性 #微服务实战 #生产避坑
团象科技8 分钟前
分布式
出海技术团队分布式落地调研 海外云团队协作开发实操记录摘要: 本文梳理出海技术团队跨地域协作的常见痛点,拆解海外云团队协作开发的落地细节,给相关从业者提供可参考的实操经验。
段一凡-华北理工大学11 分钟前
大数据·人工智能·hadoop·分布式·学习·架构·高炉炼铁
工业领域的Hadoop架构学习~系列文章22:Hadoop生态展望 - 面向未来的技术演进导言:大数据技术正在经历深刻变革,云原生化、湖仓一体、AI融合成为新的发展方向。本期深入探讨Hadoop生态的技术演进趋势,分析云原生Hadoop、数据网格、向量数据库等前沿技术,为企业和开发者提供技术路线参考。
snow@li23 分钟前
分布式·rabbitmq
RabbitMQ:详解(2026版)/ 基于 AMQP 协议的消息中间件RabbitMQ 是基于 AMQP 协议的消息中间件。生产者发消息到 Exchange,Exchange 按规则路由到 Queue,消费者从 Queue 取消息。核心解决系统解耦、异步处理、削峰填谷。支持消息持久化、ACK 确认、死信队列,可靠性极高。类比:邮局分拣中心,信(消息)不会丢,按地址(路由键)精准投递。
北京阿尔泰科技厂家30 分钟前
分布式·以太网·传感器·信号采集·数据采集卡·自动化控制·工业测试测量
长距离分布式采集的新选择——NET9770系列以太网同步数据采集卡技术应用解析在工业测试测量、自动化控制领域,数据采集的同步精度、传输稳定性与通道可扩展性,一直是影响测试系统搭建效果的核心要素。阿尔泰科技推出的NET9770/A/B系列以太网总线多功能同步数据采集卡,依托千兆以太网传输架构与灵活的模块化配置,为多场景分布式测量提供了兼具易用性与可靠性的解决方案。
七夜zippoe30 分钟前
大数据·分布式·mapreduce·dolphindb·计算
DolphinDB分布式计算:MapReduce模本文深入讲解DolphinDB分布式计算技术。从分布式计算原理到MapReduce模式,从任务调度到结果合并,从分布式聚合到性能优化,全面介绍分布式计算的核心方法。通过丰富的代码示例,帮助读者掌握分布式计算的核心技能。
半夜修仙32 分钟前
linux·运维·服务器·分布式·rabbitmq·java-rabbitmq
4.RabbitMQ运维本文主要总结集群以及仲裁队列,任期这三个大点及细节:一.集群:1.是什么:把多台独立的服务器,组合成一个整体对外提供服务.就是集群.
ai_coder_ai35 分钟前
分布式
论多层分布式结构系统的开发在信息化数字化深度落地的当下,企业业务系统的复杂度、数据体量和用户并发量持续攀升,传统单体架构系统耦合度高、扩展能力弱、维护成本高昂、无法适配分布式部署的弊端日益凸显。多层分布式结构系统通过将业务逻辑、数据访问、界面展示等模块分层解耦,实现各层级独立开发、部署、迭代和扩展,凭借高可用性、高安全性、高可维护性等优势,成为企业级应用系统开发的主流架构模式。本人曾参与某大型制造企业生产运营管控平台的开发建设工作,该平台基于多层分布式架构搭建,全面整合企业生产调度、设备管理、物料管控、数据统计、权限运维等核心业务
heimeiyingwang13 小时前
分布式·架构
【架构实战】分布式事务Saga模式:长事务的优雅解决方案2020年,我们的电商系统订单流程涉及5个服务:订单、库存、优惠券、积分、物流。最初用的是TCC模式,每个服务都要实现try/confirm/cancel三个接口。开发量巨大,而且每次新增一个步骤,所有相关的补偿逻辑都要改。
XWalnut13 小时前
分布式·zookeeper
Zookeeper入门监听特定节点监听子节点监听子树这里先比较Zxid,再比较Serverid,并且在开始选举时,都会先投票给自己,然后广播投票内容,其他节点收到广播后再根据上述规则确定是否改变投票。
水木流年追梦14 小时前
人工智能·分布式·算法·正则表达式·prompt
大模型入门-大模型优化方法12-YaRN 长文本外推技术在处理大语言模型(LLM)时,我们经常遇到一个核心痛点:训练时设定的最大上下文长度(比如 4K)限制了它的发挥。 如果我们在推理时输入 10K 的文本,由于位置编码(Position Embedding)不具备外推性,模型会直接“抓瞎”,效果急剧下降。
Algorithm_Engineer_17 小时前
ide·分布式·pycharm
如何利用Pycharm进行分布式的Debug训练在使用 PyCharm 调试 PyTorch 分布式训练程序时,常见的启动方式是:或者:这种方式在命令行中通常可以正常运行,但在 PyCharm 的 Debug 模式下,经常会出现以下问题:
睡不醒男孩03082317 小时前
分布式·clup·中启乘数
第三篇:打破云厂商锁定:基于CLup构建私有化PolarDB分布式集群高可用方案随着云原生(Cloud Native)理念进入数据库领域,以“存储与计算分离”为代表的 PolarDB 数据库凭借其卓越的弹性伸缩能力和高性能,成为了企业构建下一代数据基础设施的热门选择。然而,在私有化部署(On-Premises)以及信创国产化落地中,如何脱离对特定公有云环境的深度依赖、自主掌控 PolarDB 社区版集群的高可用与日常运维,是摆在很多企业面前的现实鸿沟。本文深入探讨了中启乘数科技旗下的 CLup 平台针对 PolarDB 社区版的完整私有化托管方案。文章详细拆解了在通用 iSCSI 共
前端不太难18 小时前
分布式·状态模式·harmonyos
鸿蒙 App 分布式数据同步:架构设计 + Demo 实现大家好,我是 子玥酱,一名长期深耕在一线的前端程序媛 👩‍💻。曾就职于多家知名互联网大厂,目前在某国企负责前端软件研发相关工作,主要聚焦于业务型系统的工程化建设与长期维护。
水木流年追梦19 小时前
人工智能·分布式·算法·正则表达式·prompt
大模型入门-大模型优化方法13- MTP 多 token 输出、DCA 双块注意力在传统的大模型(LLM)训练和推理中,我们一直遵循着一个“铁律”:一次只预测下一个 Token。也就是说,模型吐出“我”之后,再根据“我”吐出“爱”,接着再吐出“你”。这种“挤牙膏”式的生成方式,效率存在天然的天花板。
Francek Chen20 小时前
大数据·hadoop·分布式·mapreduce
【大数据处理与分析】MapReduce:05 MapReduce的具体应用【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
我是一颗柠檬21 小时前
java·redis·分布式·中间件·java-zookeeper
【Java项目技术亮点】分布式锁实现与优化:从Redisson到ZooKeeper,彻底搞懂分布式锁的底层原理秒杀活动中,100万人同时抢购100件商品,库存从100变成-999——这就是没有分布式锁的灾难。本文将深入剖析Redis和ZooKeeper两种分布式锁方案,从原理到源码,手把手教你构建高可靠的分布式锁。
moonsims1 天前
人工智能·分布式·架构
基于Lattice Mesh的AI 的分布式共识与动态任务分配架构的无人机群“去中心化无声协同”技术和极低带宽下的韧性通信技术在传统无人机群(蜂群)中,通常依赖一个“母机”或地面站作为中央计算节点进行集中式调度。这种方式不仅延迟高,而且一旦中央节点被击落,整个集群就会陷入瘫痪。Lattice Mesh 采用的是基于边缘 AI 的分布式共识与动态任务分配架构。
一个骇客1 天前
分布式·架构
批处理模型详解:从 MapReduce 到数据流引擎双十一狂欢的余温散尽,消费者在回味秒杀的快感,而电商平台的数据工程师却盯着 50 亿条订单明细和 2 亿条用户画像,愁得像面对一屋子散落的乐高零件。老板要三样东西:每个商品的销售额 Top 100、各会员等级的总消费、以及高风险用户订单清单用于风控。用几十行 Shell 管道想在天亮前跑完?那不是写脚本,那是写遗书。于是,批处理 (Batch Processing) 从单机脚本一路进化到分布式数据流引擎,每一步都写着“让数据乖乖听话”。