hadoop

【ambari管理下hdp2.6.5升级hive1.2.1-2.1.0-2.3.3】Ambari2.6.2+HDP2.6.5基础环境下，从ambari安装部署的hive的版本为1.2.1，而hdp2.6.5的官网支持包含着hive2.1.0

HDFS 故障复盘：千万级 block 导致 FBR 超过 128 MiB，DataNode 被判定为 dead本文记录一次 Hadoop 3.4.2 集群的实际故障。业务首先表现为 WebHDFS 写入异常，随后部分 DataNode 被 NameNode 标记为 dead，但对应物理机上的 Flink/YARN 任务仍然运行。最终定位到：DataNode 块数量过多，单次全量块汇报的 RPC 请求超过 ipc.maximum.data.length 的 128 MiB 限制。将上限调整为 256 MiB，并重启异常 DataNode 服务后，节点重新加入，块汇报恢复。

小刘在重生~

Servlet_day2 (上)｜Servlet 整合 JDBC｜请求转发 forward｜Request 作用域上一节我们学习了 Servlet 基础开发、获取请求参数。真实业务开发不会把 JDBC 数据库代码直接写死在 Servlet 类里面，需要做分层拆分；同时业务经常需要 Servlet 之间跳转、传递数据，就需要学习请求转发与request 作用域。

FinalShell 远程连接 Hadoop 三节点集群教程VMware 虚拟机（Ubuntu 16.04 LTS）远程连接实训记录实训环境为 VMware 中部署的三台 Ubuntu 虚拟机（hadoop01、hadoop02、hadoop03），共同组成 Hadoop 分布式集群。日常操作中，若每次都要打开虚拟机的图形控制台，在多台节点之间切换很不方便。因此需要从宿主机（Windows）使用 SSH 客户端远程连接和管理三台节点。

AnalyticDB MySQL 技术架构云原生数据仓库 AnalyticDB MySQL 版是一套面向 PB 级数据分析的云原生实时数据仓库。其核心技术思路是将访问、计算与存储解耦：访问层统一接入、解析和调度；计算层组合自研羲和引擎的 MPP、BSP 模式与 Spark 引擎；存储层通过共享存储、冷热分层、索引、缓存和资源隔离，同时服务高性能在线分析与低成本离线处理。

螺蛳粉螺蛳粉

大数据第四篇：事故复盘：移走 HBase 里 27 个 hadoop-2.10.2 jar 后，HMaster 半小时后“自杀“了【jar 事故复盘】一篇用完整报错证据链讲透的复盘：HBase（hadoop2 发行版）自带的 27 个 hadoop-2.10.2 jar 不是"污染"，删掉后 MR 作业确实跑通了，但数小时后 HMaster 在 flush 时抛 NoSuchMethodError 集体自杀；本文给出日志取证方法、安全回滚步骤和 6 条新增运维坑。

【大数据处理与分析】数据仓库Hive：08 Impala【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识，分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化，以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。【GitCode

Window Functions（窗口函数）原文：Apache Spark SQL — Window Functions本分类按照 Spark SQL 官方目录函数顺序整理，共 9 个函数。

Xml Functions（XML 函数）原文：Apache Spark SQL — Xml Functions本分类按照 Spark SQL 官方目录函数顺序整理，共 12 个函数。

Vector Functions（向量函数）原文：Apache Spark SQL — Vector Functions本分类按照 Spark SQL 官方目录函数顺序整理，共 7 个函数。

阿里云大数据组件阿里云拥有国内强大且丰富的云数据库产品家族，涵盖关系型数据库、非关系型数据库、数据仓库、数据库生态工具四大版块，可以为企业数据生产和集成、实时处理、分析与发现、开发与管理提供全链路生命周期的服务。

Hadoop 生产运维实战手册说明：生产环境推荐使用 --daemon 细粒度管理单进程，避免一次性启停全部组件导致故障面扩大。例子图片（plaintext）：

泡干脆面就番茄

Hive窗口函数：从原理到三大面试题这是《Hive 从入门到实战》系列第 7 篇，也是含金量最高的一篇：窗口函数 + 行列转换 + 连续登录 + TopN，全是大厂 SQL 面试高频题。

程序员梅雨

Hive面试总结一条HQL进来，第一步，先通过SQL Parser，把SQL字符串转成抽象语法树，同时做语义分析，然后语义分析器把抽象语法树编译成查询块，第二步，结合MeteStore里的元数据校验表存不存在，字段存不存在，第三步，生成逻辑执行计划，然后优化器按规则做一轮重写，比如把过滤条件下推，、把用不到的列裁掉、把常量表达式先算出来，第四步，转成物理执行计划，拆成一个个MapReduce任务，决定用几个Map几个Reduce，这时候基于代价的优化器会算一笔账，从几种Join方案里挑代价最小的。第五步，执行，生

Datetime Functions（日期时间函数）原文：Apache Spark SQL — Datetime Functions本分类按照 Spark SQL 官方目录函数顺序整理，共 82 个函数。

Bitwise Functions（位运算函数）原文：Apache Spark SQL — Bitwise Functions本分类按照 Spark SQL 官方目录函数顺序整理，共 13 个函数。

St Functions（空间函数）原文：Apache Spark SQL — St Functions本分类按照 Spark SQL 官方目录函数顺序整理，共 5 个函数。

Table Functions（表函数）原文：Apache Spark SQL — Table Functions本分类按照 Spark SQL 官方目录函数顺序整理，共 2 个函数。

Json Functions（JSON 函数）原文：Apache Spark SQL — Json Functions本分类按照 Spark SQL 官方目录函数顺序整理，共 7 个函数。

171320330计算机毕设编程

计算机毕业设计基于Hadoop的新能源汽车发展前景分析 LW PPT专注于大学生项目实战开发,讲解,毕业答疑辅导，✌绿泡171320330。技术范围：SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、YOLO、爬虫、数据可视化、安卓app、大数据、物联网、机器学习，单片机、plc等设计与开发。