yarn

External Shuffle Service（spark3_shuffle）：原理、配置与排障正常路径下，map 端 executor 把 shuffle 文件写在自己容器挂载的本地磁盘上，只有该 executor 进程活着才能对外提供读取。一旦 executor 死亡（OOM 被 YARN 杀、Dynamic Allocation 回收、抢占、speculation），本节点上的 shuffle 文件就"无人认领"，reduce 端 FetchFailed，只能整 stage 重算。

npm 和 yarn 配置说明npm 和 yarn 都是 JavaScript 的包管理器，用来下载、安装、管理项目依赖。yarn 最早是 Facebook 为了弥补当时 npm 的不足而开发的，现在两者功能已经很接近，但仍有区别。

Yarn NM 常驻Flink任务下线：stop/savepoint 释放容器NM：集群缩容，要下线一台部署 NodeManager 的机器，这台 NM 上还跑着 Flink 流任务常驻 TM 容器/常驻 Flink 任务（两种模式Yarn Session/Per-Job），YARN 不会自动杀掉长驻 TM 容器。

HDFS 简介随着数据量越来越大，一个操作系统已经存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，这时候迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

HDFS的读写流程在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢？节点距离：两个节点到达最近的共同祖先的距离总和。

凉凉的知识库

一文讲清 Spark 集群队列：YARN 多租户、容量隔离与资源共享Spark 集群中的队列到底管什么？容量配置是否意味着资源被预留？本文从 Spark on YARN 架构出发，讲清队列层级、容量保障、弹性共享、ACL 租户隔离。

Hologres 简介Hologres是阿里巴巴自主研发的一站式实时数仓引擎（Real-Time Data Warehouse），支持海量数据实时写入、实时更新、实时加工、实时分析，支持标准SQL（兼容PostgreSQL协议和语法，支持大部分PostgreSQL函数），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），支持多种负载的细粒度隔离与企业级安全能力，与MaxCompute、Flink、DataWorks深度融合，提供企业级离在线一体化全栈数仓解决方案。

Java知识技术分享

安装yarn 指南（通过 npm）Yarn 和 npm 都是 JavaScript/Node.js 生态中的包管理器，用于自动化安装、更新、管理项目所需的代码包和依赖。

冷色调的咖啡师

4.大数据高可用高可用是为了保障重要的数据完整性，namenode宕机会导致集群不可用，如果节点数据丢失会导致整个集群数据丢失，namenode作为数据存储节点是HDFS核心而后者又是Hadoop的核心组件，所以namenode的高可用是Hadoop高可用的重要组成部分

冷色调的咖啡师

1.大数据架构技术上——搭建分布式Hadoop集群单机：在一台机器上部署伪分布式：在一台机器上部署，区分多个角色管理完全分布式：多台机器节点组成集群，不同角色部署在不同机器上

YARN资源调度器深度解析 | 架构原理、作业提交流程在前面的实验中，我们已经通过Shell命令和Web界面与YARN进行过交互，也利用YARN提交和监控过MapReduce作业。但YARN作为Hadoop生态的资源调度大脑，其底层架构和工作机制远比表面看到的复杂。本文将从YARN基础架构、作业提交流程、三大调度器对比和生产环境核心参数调优四个维度，结合架构图与源码逻辑，带你彻底掌握YARN的设计精髓。

vivo互联网技术

vivo 万台规模 YARN 集群升级实践作者：互联网大数据团队-Wang Zhiwen 本文主要介绍了 vivo 大数据架构的演进历程中 YARN 服务的升级事项，从整体方案出发剖析每个环节遇到的问题难点并逐一分析讲解，对于研究调度器性能和从事大数据运维工作的同学具有较大的参考借鉴价值。

软件技术NINI

webkit简介及工作流程WebKit是一个开源的浏览器引擎，最初由苹果公司基于KHTML（K Desktop Environment的HTML渲染引擎）开发，并广泛应用于Safari浏览器，后来也被其他多款浏览器和应用采用。WebKit以其高性能、高速度、轻量级的特点，能够高效、准确地解析和渲染网页内容，并提供丰富的交互功能。以下是WebKit的简介及其工作流程的详细阐述：

前端包管理工具与Monorepo全面解析在前端工程化体系中，包管理工具与Monorepo是面试高频考点，也是大型项目、组件库开发的核心基础。本文将全面解析npm、yarn、pnpm三大包管理工具的核心差异、关键概念，以及Monorepo的核心原理、常用方案和面试重点，补充细节知识点，形成完整的知识体系，助力面试通关与实际开发落地。

李昊哲小课

安装 npm/pnpm/yarn 换国内镜像统一目录管理全局包+缓存以后所有包管理器的全局包 + 缓存都放在： D:\web-pm 或 ~/web-pm安装 Node.js 自动带 npm

Yarn |下载与配置+在 Excalidraw 项目中使用 YarnYarn 是一个快速、可靠、安全的 JavaScript 包管理器，和 npm 是同类工具（用来安装、管理项目里的第三方库，比如 Vue、React、jQuery 等）。

Nodejs - 02：模块化、npm、yarn、cnpm目录1、模块化1.1 导入模块1.2 导入模块的基本流程（自定义模块）1.3 CommonJS规范2、包管理工具

Hadoop 3.3.5 + Flink 1.15.3 集群完整部署手册（3节点标准版）本手册基于实际操作中遇到的所有问题整理而成，包含详细的避坑指南。环境为3台虚拟机（2C/4G），IP规划如下：

flink-yarn提交任务，application无限次appattempt一般大家都推荐配置yarn.resourcemanager.am.max-attempts、yarn.application-attempt-failures-validity-interval和yarn.application-attempts

Hadoop YARN：大数据集群的“操作系统”在Hadoop 2.0之前，MapReduce框架身兼“资源管理”与“作业调度”两职，随着集群规模扩大，这种紧耦合设计成为性能瓶颈。YARN（Yet Another Resource Negotiator）的诞生，正是为了解决这一问题——它将资源管理与计算框架解耦，让Hadoop从一个单一的计算平台，演变为一个支持多种计算模型（如Spark、Flink、Storm）的通用资源调度平台。