分布式

风中凌乱2 小时前
分布式·kafka
kafka新版本集群的安装与部署新的版本不用zooKeeper依赖,使用KRaft模式。#安装目录#Broker数据目录#元数据日志目录(与数据目录平级)
SLD_Allen3 小时前
人工智能·分布式·模型训练
大规模分布式AI训练基础设施当模型参数突破万亿——分布式训练的终极挑战。本文将从分布式训练框架、GPU集群网络、五轴并行体系、云原生编排四大维度,为读者呈现2026年大规模AI训练基础设施的完整技术图景。
富士康质检员张全蛋4 小时前
分布式·kafka
Kafka的操作-消费的详情增大了分区的数量,这个时候就可以有多个消费者同时去消费这些数据了。kafka在启动消费者消费数据的时候,我们是可以去指定分组的。可以使用--group来指定消费者在哪一个组里面,如果不去指定的话也会默认创造消费者组的。
昕光xg5 小时前
笔记·分布式·istio
Istio笔记04-基于Jaeger的分布式链路追踪在微服务网格场景下,服务调用拓扑复杂,故障定位、时延分析难度大幅提升。Istio 原生支持分布式追踪标准,可将调用跨度数据上报至链路追踪系统。本文基于Jaeger完整落地 Istio 网格内服务调用链路采集、可视化,覆盖部署、网格配置、流量验证、生产选型等核心环节。
正儿八经的少年1 天前
分布式
分布式 ID原理:业务一次性批量拿一段 ID 缓存本地,用完再去 DB 申请下一号段64bit 结构:时间戳 (41)+ 机器 ID (10)+ 序列号 (12)
wWYy.19 小时前
分布式
分布式:数据复制可以把“数据复制”理解为:同一份数据保存在多台服务器上,一台坏了,还能从其他服务器读取或恢复。但仅仅复制多份还不够,系统还要解决:写入顺序、何时算成功、节点故障后由谁接管,以及不同副本如何重新同步。
笨鸟先飞的橘猫1 天前
分布式·学习·游戏
游戏后端分布式学习——一致性协议Raft以下先按照mmo游戏进行分布式学习,后续章节都是如此。raft中文论文一致性算法允许一组机器像一个整体一样工作,即使其中一些机器出现故障也能够继续工作下去。
谢白羽1 天前
笔记·分布式·llm·论文·vllm
vllm源码剖析14-vLLM 分布式推理-专家并行EP大模型的算力与显存瓶颈,随着大模型规模越来越大,参数量动辄上百亿,但我们的显存和算力却跟不上。尤其是在 Transformer 的 Decoder 层中,除了 Attention 之外,参数量最多、计算最重的部分就是 MLP(多层感知机)层
七夜zippoe1 天前
pytorch·分布式·cann·hccl·通信库
深入解析CANN仓库中的HCCL分布式通信库目录为什么写这篇文章?测评结论速览✅ 核心优势⚠️ 待优化点文章综述评测总结一、CANN仓库与HCCL简介
富士康质检员张全蛋1 天前
分布式·kafka
Kafka的操作 消费者组 消费位置查看可以去使用消费者去消费Kafka中指定主题的数据,消费者必须要包含在一个容器当中,这个容器称之为消费者组。
运维行者_1 天前
开发语言·网络·分布式·后端·架构·带宽
如何查看每个IP的带宽使用情况?NetFlow 技术实战指南在企业网络中,准确掌握每个IP地址的带宽使用情况对于流量管理至关重要。无论是排查异常流量、优化网络资源分配,还是进行网络安全审计,都需要借助专业的网络流量监控技术来实现。本文将介绍如何通过 NetFlow 技术实现 IP 级流量分析。
霸道流氓气质1 天前
分布式·rabbitmq·ruby
Kiro 中配置 RabbitMQ MCP Server 指南通过配置 RabbitMQ MCP Server,可以让 Kiro 具备直接与 RabbitMQ 消息队列交互的能力,包括发送消息、查看队列状态、消费消息等,方便在开发过程中进行消息驱动的功能测试验证。
国科安芯1 天前
人工智能·分布式·单片机·嵌入式硬件·架构·边缘计算
AS32S601型抗辐射MCU在分布式太空算力架构中的技术演进与应用前景随着商业航天产业的蓬勃发展,低轨卫星星座的规模化部署对星载计算系统提出了更高的要求。传统星载计算平台依赖于地面指令上传与星上有限逻辑控制的模式,已难以满足实时数据处理、在轨自主决策及星座协同计算等新兴需求。AS32S601型抗辐射微控制器作为国科安芯自主研制的32位RISC-V架构商业航天级MCU,凭借其优异的抗辐射加固性能、丰富的片上资源及高效的计算能力,为构建分布式太空边缘计算节点提供了可行的硬件基础。本文从太空算力的技术需求出发,系统梳理AS32S601的核心架构特征、抗辐射性能指标及其在星载边缘计
不会C语言的菜鸟1 天前
分布式
分布式数据一致性:从工程实践到理论基石在日常开发中,我们经常会遇到这样一个场景:用户下单后,需要扣减库存并发送一条消息通知物流系统。代码写起来很简单——先操作数据库,再发送 MQ 消息。但问题来了:如果数据库操作成功后,发送消息时网络超时了怎么办?如果消息发送成功了,但数据库事务最终回滚了呢?这种 DB 与 MQ 消息不一致 的问题,是分布式系统中"数据一致性"挑战最直观的体现。
Leo.yuan2 天前
大数据·分布式·spark
数据仓库建设怎么做?从源数据到分析报表全流程讲清很多企业做数据仓库,第一步就想错了。以为把数据从业务系统抽出来,建几张表,再接一个 BI 报表,就算完成了。
明豆2 天前
redis·分布式·缓存
Redis 分布式缓存生产实战在外贸电商、支付网关、库存交易这类高并发系统里,缓存是抗住流量洪峰的第一道闸门。但生产环境中,缓存也是最容易被低估的组件——你以为加了个 Redis 就能高枕无忧,结果上线后 Hot Key 把单节点打挂、Big Key 阻塞整集群、缓存一致性让下游数据“阴晴不定”。
阿标在干嘛2 天前
分布式·爬虫·重构
从单机到分布式:政策快报爬虫系统的三次重构政策快报平台上线第一天,爬虫系统很简单:一台服务器,跑着几个Python脚本,定时去十几个网站抓取政策信息。每天能抓几百条,够用了。
笨鸟先飞的橘猫2 天前
分布式·学习·游戏
游戏后端分布式学习——开篇本人目前只有5年游戏后端的开发经验,最近几年越发感觉对于分布式开发吃力,本系列主要目的尽可能提升自己,且贴合游戏后端岗位经常面临的问题进行学习
六bring个六2 天前
分布式·架构·open harmony
分布式软总线认证模块架构与实现分析软总线认证模块是OpenHarmony分布式通信的核心安全组件,位于 foundation/communication/dsoftbus/core/authentication/ 目录下。该模块基于HiChain安全认证框架,实现了设备间的双向身份认证和会话密钥协商。
脱胎换骨-军哥3 天前
开发语言·c++·分布式
C++分布式系统设计:从通信引擎到分布式共识在分布式系统的技术版图中,Java (Spring Cloud)、Go (etcd / 自研) 和 Erlang/Elixir 各自占据一席之地,但 C++ 在追求极致性能、低开销和深度控制的核心中间件领域依然是首选。无论是负责消息转发的自研网关、高频交易的内存数据库,还是存储引擎 Raft 层,C++ 的特性使其能以最小的机器成本换取最大的吞吐。