分布式

Francek Chen8 小时前
大数据·数据仓库·hive·hadoop·分布式
【大数据处理与分析】数据仓库Hive:04 数据仓库Hive概述【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
Gl�ria10 小时前
大数据·hadoop·分布式
Hadoop/YARN 集群缩容:下线DN节点核心原理:HDFS 支持优雅退役 (decommission) 下线 DN,不是直接关机。执行退役后,NameNode 会把该 DN 上所有数据块,复制迁移到其他存活 DataNode,数据多副本保证不丢失。
吉甫作诵11 小时前
大数据·运维·分布式·kafka·消息队列
Kafka 集群安装与运维实战:消费组排查、Offset 重置与副本重分配Kafka 的日常运维里,真正让人头疼的往往不是「怎么启动」,而是三件事:消费组积压了怎么定位、位移(Offset)乱了怎么重置、__consumer_offsets 这种内部主题副本数不够怎么改。这三件事各自都有坑,而且坑基本都藏在客户端工具的版本差异和参数语义里。
是Dream呀1 天前
人工智能·分布式·缓存·agent
Harness 工程:让 Agent 真正把任务做完一个模型会调用工具,并不等于它已经是可靠的 Agent。最简单的 Agent 循环并不复杂:把任务交给模型,模型选择工具,系统执行工具,再把结果送回模型。循环持续到模型认为任务已经完成。
yt004yt1 天前
大数据·分布式
绿岛数字化平台搭建:VOCs 监测与能碳数据一体化方案越华环保集团分享绿岛数字化平台搭建思路,打通 VOCs 废气治理监测与能碳数据管理。过去很多绿岛项目,VOCs 在线监测系统、能耗计量系统是两套独立平台。环保数据在环保平台,用电用气数据单独统计,数据无法联动。 做能碳核算的时候,需要人工导出、手动整理,工作量大,还容易出错。数据分散,园区管理者没法直观看到绿岛的减污降碳整体成效。数字化平台,就是用来打通这两类数据。
天天喝旺仔1 天前
分布式·微服务·云原生·sentinel
分布式服务容错实战:用 Sentinel 实现限流、熔断与降级摘要:分布式系统里一个弱依赖抖动就可能引发整条链路雪崩。本文以 Sentinel 为例,先用雪崩链路讲清服务容错为什么必要,再逐层拆解其核心模型(Resource + Slot Chain + LeapArray 滑动窗口),随后给出限流、熔断降级、热点参数限流与系统自适应的可落地代码与参数对照表,最后按“服务提供方 / 调用方”分角色给出生产最佳实践,帮你把容错真正落到代码里。
lisanmengmeng1 天前
分布式·skywalking
分布式追踪与监控:Skywalking(三)安装环境:操作系统:CentOS7,配置为4核8GDocker版本:Docker version 19.03.12, build 48a66213fe
会周易的程序员2 天前
c++·分布式·物联网·raft·iot·共识
5 节点边缘冗余方案(上):基于 aiRaft 的物联网高可用控制面设计在物联网边缘,最贵的不是算力,而是确定性。设备分散、网络抖动、供电不稳、现场无人值守,这些是常态。中心云再强,也救不了一个已经断网的边缘现场。于是,越来越多系统开始把关键控制面下沉到边缘:本地选主、本地故障切换、本地状态同步、本地进程托管。
青山木2 天前
java·分布式·后端·中间件·架构·rocketmq
RocketMQ 入门到原理(一):整体架构与消息的生命周期这是 RocketMQ 系列的第一篇。本系列围绕「一条消息的生命周期」这条主线展开:第一篇建立全局地图,之后的文章再逐段放大——发送、存储、消费、特殊消息、可靠性。本文先讲清楚 RocketMQ 由谁组成、为什么这么分工、以及一条消息是怎么跑通的。
lisanmengmeng3 天前
分布式·skywalking
分布式追踪与监控:Skywalking介绍(一)APM(Application Performance Management)应用性能管理,通过各种探针采集并上报数据,收集关键指标,同时搭配数据展示以实现对应用程序性能管理和故障管理的系统化解决方案。
HanhahnaH3 天前
分布式·缓存
Redis单线程和Tair多线程架构设计对比Redis 采用单线程的事件驱动架构来处理所有客户端请求。具体来说,Redis 使用一个主线程运行事件循环(Event Loop),通过 I/O 多路复用技术(如 epoll、kqueue)监听多个客户端连接。当有请求到达时,主线程会依次从事件队列中取出命令并执行。
rustfs3 天前
分布式·docker·云原生·rust
MinIO 国产开源平替正式 GA我们高兴地宣布 RustFS GA 版正式可用,从 alpha、beta、rc 到 GA,我们在今天正式发布了 1.0.0 版本
螺蛳粉 螺蛳粉3 天前
数据库·分布式·mysql
MySQL 分布式集群系列 · 第五篇——全方位对比:NDB、MGR、主从复制、分库分表怎么选?目 录回顾与导读:从"会用 NDB"到"选对方案"第一章 传统主从集群:简单可靠的"老黄牛"1.1 机制回顾
孙启超3 天前
人工智能·分布式·后端·爬虫·spring cloud·架构·rust
【AI开发之Rust】第 7 课:错误处理 —— panic、Result 与 `?`预计时间:75-90 分钟 | 难度:⭐⭐⭐ | 前置:第 6 课(struct/enum/Option/Result)、第 10 课会用到本课的自定义错误
九皇叔叔3 天前
分布式·分布式事务·cap·base·saga
Seata——把分布式事务理论落到 Java 微服务实践上一篇:《幂等、重试、去重与状态机》 下一篇:《》进入 Seata——把分布式事务理论落到 Java 微服务实践。
程序员黎剑3 天前
分布式·rabbitmq·ruby
RabbitMQ-消息可靠性-publisher-confirm持久化与手动ack消息发出去不代表到了。本文梳理 RabbitMQ 消息丢失的三个环节(发布端、Broker、消费端),并给出 publisher confirm、持久化和手动 ack 的完整可靠性方案。
比奥利奥还傲.4 天前
网络·人工智能·分布式·1024程序员节
哪吒监控面板实战:部署 Dashboard、接入 Agent、钉钉告警,再配置固定公网访问52# 哪吒监控面板实战:部署 Dashboard、接入 Agent、钉钉告警,再配置固定公网访问手里只有一台服务器时,偶尔 SSH 上去看一眼 htop、磁盘和网络并不算麻烦;可当 VPS、NAS、树莓派和测试机越攒越多,真正让人焦虑的不是“有没有监控工具”,而是故障发生以后不知道该先看哪台机器。哪吒面板吸引我的地方,就是把这些分散主机拉进同一个 Dashboard:CPU、内存、磁盘、流量、在线状态都放在一个页面里,Agent 主动上报,省得每次挨个登录。相比把监控做得多复杂,我更在意的是能不能先建立
拼图2094 天前
分布式·git·学习
Git常用语法Git 是一个分布式版本控制系统,其核心工作流程围绕工作区、暂存区、本地仓库和远程仓库展开。为了方便您学习和使用,以下将 Git 的常用语法按照功能场景进行了分类整理: