分布式

正儿八经的少年9 小时前
分布式
分布式 ID原理:业务一次性批量拿一段 ID 缓存本地,用完再去 DB 申请下一号段64bit 结构:时间戳 (41)+ 机器 ID (10)+ 序列号 (12)
wWYy.4 小时前
分布式
分布式:数据复制可以把“数据复制”理解为:同一份数据保存在多台服务器上,一台坏了,还能从其他服务器读取或恢复。但仅仅复制多份还不够,系统还要解决:写入顺序、何时算成功、节点故障后由谁接管,以及不同副本如何重新同步。
笨鸟先飞的橘猫11 小时前
分布式·学习·游戏
游戏后端分布式学习——一致性协议Raft以下先按照mmo游戏进行分布式学习,后续章节都是如此。raft中文论文一致性算法允许一组机器像一个整体一样工作,即使其中一些机器出现故障也能够继续工作下去。
谢白羽11 小时前
笔记·分布式·llm·论文·vllm
vllm源码剖析14-vLLM 分布式推理-专家并行EP大模型的算力与显存瓶颈,随着大模型规模越来越大,参数量动辄上百亿,但我们的显存和算力却跟不上。尤其是在 Transformer 的 Decoder 层中,除了 Attention 之外,参数量最多、计算最重的部分就是 MLP(多层感知机)层
七夜zippoe10 小时前
pytorch·分布式·cann·hccl·通信库
深入解析CANN仓库中的HCCL分布式通信库目录为什么写这篇文章?测评结论速览✅ 核心优势⚠️ 待优化点文章综述评测总结一、CANN仓库与HCCL简介
富士康质检员张全蛋10 小时前
分布式·kafka
Kafka的操作 消费者组 消费位置查看可以去使用消费者去消费Kafka中指定主题的数据,消费者必须要包含在一个容器当中,这个容器称之为消费者组。
运维行者_11 小时前
开发语言·网络·分布式·后端·架构·带宽
如何查看每个IP的带宽使用情况?NetFlow 技术实战指南在企业网络中,准确掌握每个IP地址的带宽使用情况对于流量管理至关重要。无论是排查异常流量、优化网络资源分配,还是进行网络安全审计,都需要借助专业的网络流量监控技术来实现。本文将介绍如何通过 NetFlow 技术实现 IP 级流量分析。
霸道流氓气质13 小时前
分布式·rabbitmq·ruby
Kiro 中配置 RabbitMQ MCP Server 指南通过配置 RabbitMQ MCP Server,可以让 Kiro 具备直接与 RabbitMQ 消息队列交互的能力,包括发送消息、查看队列状态、消费消息等,方便在开发过程中进行消息驱动的功能测试验证。
国科安芯14 小时前
人工智能·分布式·单片机·嵌入式硬件·架构·边缘计算
AS32S601型抗辐射MCU在分布式太空算力架构中的技术演进与应用前景随着商业航天产业的蓬勃发展,低轨卫星星座的规模化部署对星载计算系统提出了更高的要求。传统星载计算平台依赖于地面指令上传与星上有限逻辑控制的模式,已难以满足实时数据处理、在轨自主决策及星座协同计算等新兴需求。AS32S601型抗辐射微控制器作为国科安芯自主研制的32位RISC-V架构商业航天级MCU,凭借其优异的抗辐射加固性能、丰富的片上资源及高效的计算能力,为构建分布式太空边缘计算节点提供了可行的硬件基础。本文从太空算力的技术需求出发,系统梳理AS32S601的核心架构特征、抗辐射性能指标及其在星载边缘计
不会C语言的菜鸟15 小时前
分布式
分布式数据一致性:从工程实践到理论基石在日常开发中,我们经常会遇到这样一个场景:用户下单后,需要扣减库存并发送一条消息通知物流系统。代码写起来很简单——先操作数据库,再发送 MQ 消息。但问题来了:如果数据库操作成功后,发送消息时网络超时了怎么办?如果消息发送成功了,但数据库事务最终回滚了呢?这种 DB 与 MQ 消息不一致 的问题,是分布式系统中"数据一致性"挑战最直观的体现。
Leo.yuan1 天前
大数据·分布式·spark
数据仓库建设怎么做?从源数据到分析报表全流程讲清很多企业做数据仓库,第一步就想错了。以为把数据从业务系统抽出来,建几张表,再接一个 BI 报表,就算完成了。
明豆1 天前
redis·分布式·缓存
Redis 分布式缓存生产实战在外贸电商、支付网关、库存交易这类高并发系统里,缓存是抗住流量洪峰的第一道闸门。但生产环境中,缓存也是最容易被低估的组件——你以为加了个 Redis 就能高枕无忧,结果上线后 Hot Key 把单节点打挂、Big Key 阻塞整集群、缓存一致性让下游数据“阴晴不定”。
阿标在干嘛1 天前
分布式·爬虫·重构
从单机到分布式:政策快报爬虫系统的三次重构政策快报平台上线第一天,爬虫系统很简单:一台服务器,跑着几个Python脚本,定时去十几个网站抓取政策信息。每天能抓几百条,够用了。
笨鸟先飞的橘猫1 天前
分布式·学习·游戏
游戏后端分布式学习——开篇本人目前只有5年游戏后端的开发经验,最近几年越发感觉对于分布式开发吃力,本系列主要目的尽可能提升自己,且贴合游戏后端岗位经常面临的问题进行学习
六bring个六1 天前
分布式·架构·open harmony
分布式软总线认证模块架构与实现分析软总线认证模块是OpenHarmony分布式通信的核心安全组件,位于 foundation/communication/dsoftbus/core/authentication/ 目录下。该模块基于HiChain安全认证框架,实现了设备间的双向身份认证和会话密钥协商。
脱胎换骨-军哥2 天前
开发语言·c++·分布式
C++分布式系统设计:从通信引擎到分布式共识在分布式系统的技术版图中,Java (Spring Cloud)、Go (etcd / 自研) 和 Erlang/Elixir 各自占据一席之地,但 C++ 在追求极致性能、低开销和深度控制的核心中间件领域依然是首选。无论是负责消息转发的自研网关、高频交易的内存数据库,还是存储引擎 Raft 层,C++ 的特性使其能以最小的机器成本换取最大的吞吐。
海棠Flower未眠2 天前
分布式·kafka
SpringBoot 整合 Kafka 高性能消息队列(荣耀典藏版)大家好,我是月夜枫。什么是Kafka?Kafka 是一个‌分布式事件流平台‌,主要用于高吞吐量的实时数据传输与处理。
贺国亚3 天前
分布式·wpf
模型训练-分布式与GPU调度🏠 返回 README | ⬅️ 上一篇:特征平台 | ➡️ 下一篇:模型 Serving风格说明:本篇是 机制+操作型——从支付域 ML 训练(欺诈 XGBoost/深度排序/LLM 风控辅助)到分布式并行、GPU 调度、MFU 与 checkpoint。覆盖「单卡训不下 → 怎么分布式 → 怎么调度 GPU 集群」。
大模型码小白3 天前
java·大数据·人工智能·分布式·深度学习·milvus
Milvus 架构设计:从向量索引到分布式检索,AI 原生存储引擎的内部机制在人工智能应用爆炸式增长的今天,非结构化数据(如图片、视频、音频、文本)的处理成为核心挑战。传统的关系型数据库擅长处理结构化数据,但对高维向量数据的存储、索引和检索却力不从心。Milvus 作为一款开源的向量数据库,专为 AI 应用而生,其架构设计深刻体现了“AI 原生”的理念——从底层存储到上层查询,都围绕向量数据的高效处理而构建。
liulilittle3 天前
服务器·网络·分布式·系统架构·竞态
论分布式系统的半开闭问题节点 A 向节点 B 发出一个请求,然后等待响应。在等待期间,A 不知道 B 是否收到了请求,不知道 B 是否正在处理,不知道 B 是否已经发出了响应而响应在网络中丢失。A 只知道一件事:我还没有收到响应。除此之外,A 对 B 的状态一无所知。