Hive知识点

基本概念:

由Facebook开源,构建在Hadoop之上的数据仓库,数据计算是mapreduce,数据存储是HDFS

目的是构建面向分析的集成的数据环境,为企业提供决策支持

(面向分析的存储系统)

主要特征:

面向主题的,集成的,非易失的和时变的数据集合,用以支持管理决策

HIve与Hadoop的关系:

Hive需要构建在Hadoop基础上;

Hive中所有数据都存储在Hadoop分布式文件系统中;

对HQL查询语句的解释,优化,生成查询过程与由Hive合成,查询计划被转化的MapReduce任务的运行需要运行在Hadoop上

Hive的原理:

Hive是一种建立在Hadoop之上的数据仓库工具,可以使用HQL语句对数据进行分析与查询,而Hive的数据都存储在HDFS中,Hive在加载数据过程中不定时对数据进行任何修改

Hive特点:

支持索引,加快数据查询,不同的存储类型;

可以支持使用存储在Hadoop文件系统上的数据;

HQL语句最终转化为Map Reduce任务运行在Hadoop集群之上;

内质网用户自定义函数,将元数据保存在数据库上

YARN:

优点:高容错,高可用,并行安装,使用方便,版本统一更好的稳定性,更好的安全性

由MR1演化而来的资源管理系统,为上层提供统一的资源管理和调度,

在利用率,资源统一,管理与数据共享带来好处

将资源管理与作业调度两个功能分开,分别由Resource Manage与ApplicationMaster实现

相关推荐
曾阿伦15 小时前
Windows 下运行 Hadoop 并部署到 AWS EMR 指南
hadoop·windows·aws
罗政1 天前
基于AI工作流的多渠道销售数据仓库清洗统计实践
数据仓库
极光代码工作室1 天前
基于Spark的日志监控与分析平台
大数据·hadoop·python·spark·数据可视化
迈巴赫车主3 天前
湖仓一体(Data Lakehouse)简介
大数据·数据仓库·数据湖·湖仓一体
liuxiaowei33 天前
Winform+WPF双框架实战:喷涂工艺SCADA上位机从0到1搭建(附采集监控源码+车间踩坑实录)
大数据·hadoop·wpf
humbinal4 天前
同时支持 gui & cli 的 parquet 文件查看工具,高性能小清新!
hive·python·rust·spark·开源·github·parquet
RestCloud5 天前
ETL是什么?全域数据集成平台核心能力解析
数据仓库·etl·数据清洗·数据处理·etlcloud·数据集成工具
Gent_倪5 天前
万字详解:数据库、数据仓库、数据湖、湖仓一体
数据库·数据仓库·spark
Microsoft Word6 天前
把RAG从 “能跑” 做到上线
数据仓库·人工智能
hkNaruto6 天前
【大数据】《传统Hadoop大数据技术入门:补充与进阶——从数据格式到智能决策的问答实录》
大数据·hadoop·分布式