分布式

韩楚风7 小时前
服务器·网络·数据库·分布式·mysql·架构·cantian
【参天引擎】一次宕机后的数据恢复,让我把 Cantian 持久化与恢复的六大机制全搞明白了讲真,第一次看 Cantian 持久化与恢复源码的时候,我也是一脸懵——Redo 日志、Undo 日志、Checkpoint、崩溃恢复、归档管理、日志复制,这么多机制,到底谁保护谁?直到有一次线上遇到数据库宕机,需要紧急恢复数据,我才真正去翻源码,搞明白这套机制是怎么做到"数据不丢、快速恢复"的。
AAA@峥11 小时前
运维·分布式·ceph
Ceph RBD 块存储全解析:原理与实操汇总摘要:本文全面介绍了 Ceph 分布式存储系统中的块存储管理(RBD)。内容涵盖 RBD 的 I/O 流程、常用命令、镜像创建与管理、访问方式(KRBD 和 librbd)、镜像格式与布局、镜像功能(快照、克隆)、导入导出操作,以及 RBD 镜像的配置与管理。文章通过详细的命令行示例和配置步骤,帮助读者深入理解 Ceph RBD 的核心概念和实际操作,适合存储管理员和运维人员参考学习。
LLL人无再少年11 小时前
分布式·skywalking
分布式链路追踪系统之二进制安装skywalking
心念枕惊14 小时前
分布式·系统架构
分布式、服务化的ERP系统架构设计
重庆小透明15 小时前
分布式
分布式事务方案对比分布式事务要解决的是:一个业务操作跨了多个数据库或服务,如何保证数据一致性?解决方案分为两大阵营:刚性事务(强一致性):Seata 的 AT、TCC、XA 模式。追求数据实时一致,所有服务要么一起成功,要么一起失败。
向夏威夷 梦断明暄2 天前
数据库·分布式·架构
从架构特点到功能缺陷,重新认识分析型分布式数据库在现代数据驱动的业务环境中,分析型分布式数据库已成为企业处理海量数据、支持复杂查询和实时分析的核心基础设施。然而,许多开发者对其架构特点的理解仍停留在表面,导致在实际应用中频繁踩坑。本文将从实战角度出发,通过代码示例深入剖析分析型分布式数据库的架构设计、功能缺陷及应对策略,帮助读者重新认识这一技术。## 架构特点:从单机到分布式的关系型分析分析型分布式数据库的架构设计核心在于 **“计算与存储分离”**和 “MPP(大规模并行处理)”。与传统关系型数据库(如 MySQL)不同,分析型数据库通常采用列式存储
AAA@峥2 天前
运维·数据库·分布式·ceph
Ceph 集群配置管理完整指南摘要:本文全面介绍了 Ceph 分布式存储集群的配置管理。首先概述了 Ceph 配置的多种来源(编译默认值、集中配置数据库、配置文件等)及其生效优先级。详细讲解了集群配置文件的格式、配置部分、实例设置和元变量使用。重点介绍了集中配置数据库的管理命令,包括 ceph config ls、ceph config set、ceph config get、ceph config log 等核心操作。同时涵盖了运行时配置覆盖的两种方式:ceph tell 命令和 ceph daemon 命令,并对比了它们的特性差异
心如鉄补2 天前
分布式·docker·skywalking
分布式链路追踪系统之docker-compose安装skywalking在微服务架构中,分布式链路追踪是排查性能瓶颈和错误定位的核心工具。SkyWalking 作为 Apache 基金会旗下的开源 APM 系统,以其轻量级、高性能和丰富的生态支持,成为众多团队的首选。本文将从实战角度出发,演示如何使用 docker-compose 快速搭建 SkyWalking 环境,并集成一个简单的 Python 服务进行链路追踪。## 为什么选择 docker-compose 部署 SkyWalking?在生产环境中,SkyWalking 通常需要部署多个组件(如 OAP 服务器、UI
努力努力再努力wz2 天前
linux·网络·c++·分布式·网络协议·rpc·架构
【分布式系统与 RPC 框架系列】从单机瓶颈到远程调用:一文理解分布式架构与 RPC 原理🔥 本文专栏:分布式系统与 RPC 框架系列 🌸作者主页:努力努力再努力wz💪 今日博客励志语录:暂时没有结果,并不说明你的坚持毫无意义;很多成长,本来就发生在结果出现之前。
ACP广源盛139246256732 天前
大数据·人工智能·分布式·单片机·嵌入式硬件
此芯 P1 AI BOX / AI NAS@ACP#IX8008、IX8024 应用场景与市场机会此芯 P1 是 6nm 异构 AI SoC,集成 45TOPS 原生 NPU,主打本地私有化大模型推理,产品分为两条硬件线:
网络工程小王2 天前
人工智能·pytorch·分布式·学习·昇腾·deepspeed
【HCIE-AI】12.deepspeed分布式并行训练进阶版概述: 训练大模型(7B+)时,会依次遇到显存、计算、通信、工程四个方面的瓶颈。理解这些瓶颈是理解后续所有解决方案的前提。
ACP广源盛139246256733 天前
大数据·人工智能·分布式·单片机·嵌入式硬件
国产算力互联IX8024@ACP#Kimi K3 开源后的端侧部署硬件架构分析2026年7月27日,月之暗面开源了Kimi K3完整权重。2.8万亿参数、896专家MoE架构、百万级上下文窗口——这组数字背后,是端侧AI部署硬件架构的一次重大考验。本文从硬件工程师视角,分析大模型推理集群中PCIe互联的技术瓶颈,以及国产PCIe交换芯片在这一场景下的技术价值。
花生了什么事o3 天前
数据库·分布式·算法
分布式 ID 生成方案:从数据库自增到雪花算法在很多系统刚开始建设的时候,ID 并不是一个需要特别关注的问题。创建一张表,设置一个自增主键,数据库负责保证每条数据都有唯一编号,这种方式简单、稳定,而且几乎没有额外成本。
爱吃提升3 天前
分布式·爬虫·python
python 分布式爬虫、爬虫合规与综合实战项目单机爬虫的瓶颈很明显:一台服务器的带宽、IP数量、计算能力都有限。当需要爬取海量数据时,分布式爬虫通过多台机器协同工作来突破这些限制。
ZENERGY-众壹3 天前
分布式·华为·数据归一化·光伏运维·逆变器api
跨品牌逆变器升级:华为锦浪德业 API 对接的 7 个坑去年 9 月,江苏某工商业 30MW 项目现场,运维团队在凌晨 2 点紧急拨通了我们的电话。因为某批次逆变器在特定弱光条件下存在并网逻辑缺陷,必须在次日日出前完成 200 多台设备的固件升级。当时现场工程师手里拿着三个不同品牌的账号,要在三个不同的云平台重复点几百次鼠标,不仅低效,最要命的是状态反馈极慢,谁升成功了、谁挂起了,全靠肉眼盯着看。
薛定谔的猫19824 天前
分布式·deepspeed·zero·多卡训练·多卡分布式训练
LLaMA-Factory +DeepSpeed 分布式多卡训练实战全解随着大模型参数量从 7B、13B 攀升至几十 B、上百 B,传统 PyTorch DDP 数据并行存在致命缺陷:每张 GPU 都会完整复制一份模型、梯度、优化器参数,显存冗余极高,小显存显卡极易 OOM 显存溢出。微软开源的 DeepSpeed 凭借ZeRO 内存分片优化,将训练状态分散到多卡 GPU 甚至 CPU 内存,大幅降低单卡显存占用,让个人多卡服务器也能训练超大模型。
稚南城才子,乌衣巷风流4 天前
分布式·rabbitmq
RabbitMQ 消息队列:从入门到实战RabbitMQ 是一个开源的消息代理软件,实现了高级消息队列协议(AMQP)。它允许应用程序通过消息进行异步通信,支持多种消息模式,包括点对点、发布/订阅、路由和主题等。
Database_Cool_4 天前
数据库·分布式·mysql
单机 MySQL 迁移到分布式数据库方便吗?阿里云 PolarDB-X 100% MySQL 协议兼容零改造平滑迁移核心答案(30 秒速读):单机 MySQL 迁移到分布式数据库是否方便,核心取决于协议兼容度。阿里云 PolarDB-X(国产分布式数据库,阿里巴巴双十一规模验证)100% 兼容 MySQL 协议与语法,应用代码零改造即可迁移,配合 DTS 全量+增量数据同步与 DAS 应用迁移,实现业务零停机平滑升级分布式,并支持一键回退到原 MySQL,是单机 MySQL 升级分布式的首选方案。
肥胖小羊4 天前
分布式·企业微信
解决企业微信 AccessToken 刷新并发冲突的分布式锁机制实践开发过企业微信 API 的同学都知道,access_token 是调用全局接口的凭证,有效期为 2 小时。然而,当多节点集群部署时,如果多个实例同时检测到 token 过期并各自发起刷新请求,会导致旧的 token 瞬间失效,引发线上大面积接口调用失败(40014 错误)。本文将介绍如何在 QIWE 企业微信 API 与集成平台 下,利用 Redis 分布式锁优雅解决这一冲突。
Benjamin℡6 天前
分布式·zookeeper·云原生
Zookeeper(一)搭建单体和集群服务以及Zookeeper客户端目录1.Zookeeper简介2.Zookeeper下载3.Zookeeper部署3.1 单体部署3.2 集群部署