Hive重点面试题

问题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

答案：

优点：
1. 类SQL语法，简单易学，开发成本低。
2. 避免直接编写MapReduce程序，简化开发。
3. 适合海量数据处理，特别是离线数据分析。
4. 支持用户自定义函数（UDF）。
缺点：
1. 延迟高，不适合实时计算。
2. HQL表达能力有限，迭代算法支持较差。
3. 不支持记录级别的更新、插入或删除。
使用场景 ：
- 大数据分析
- 海量日志数据的批量处理
- 数据仓库的建立

问题：Hive是什么？与传统数据仓库有什么区别？

答案：

Hive：基于Hadoop的数据仓库工具，可以将结构化数据映射为表，并提供类似SQL的查询功能，其本质是将HQL转化为MapReduce程序。
传统数据仓库：通常是单体数据库，面向高效的事务处理。
区别：
1. Hive面向离线分析，传统数据仓库可支持实时查询。
2. Hive构建于HDFS之上，适合处理大规模分布式数据，传统数据仓库不适合分布式存储。
3. Hive性能受限于MapReduce，传统数据仓库性能更高。

问题：Hive的基本架构和元数据存储在哪里？

答案：

基本架构 ：
1. 用户接口：CLI、JDBC/ODBC、WebUI。
2. 元数据存储：Metastore，默认使用Derby数据库，推荐使用MySQL等外部数据库。
3. 执行引擎：将HQL转为MapReduce/Spark任务并执行。
4. 存储：数据存储在HDFS。

问题：Hive内部表和外部表有什么区别？

答案：

问题：什么是数据倾斜？如何解决？

答案：

数据倾斜：MapReduce任务中某些Reducer处理的数据量远大于其他Reducer，导致任务延迟。
原因：
1. Key分布不均。
2. SQL语句设计不当。
解决方案 ：
1. SQL调优：对倾斜的Key值增加随机前缀。
2. 参数调节：设置hive.groupby.skewindata=true。
3. 使用Map Join处理小表。
4. 对空值进行单独处理或随机分配。

问题：Hive SQL是如何转化为MapReduce的？如何优化？

答案：

转化过程 ：
1. 解析器：将HQL转换为抽象语法树（AST）。
2. 优化器：重写逻辑查询计划，减少不必要的Reduce。
3. 执行器：生成物理计划并提交任务。
优化方法 ：
1. 提前过滤数据，减少输入量。
2. 合并小文件，使用CombineHiveInputFormat。
3. 启用Map Join，避免数据倾斜。
4. 调整Reducer数量，确保合理的任务分配。

问题：Hive窗口函数（如row_number, rank, dense_rank）的作用是什么？

答案：

作用：用于在分组内排序、排名或累积计算。
常用函数：
1. row_number(): 为每个分组生成唯一序号。
2. rank(): 按排序字段排名，排名相同会跳过名次。
3. dense_rank(): 类似rank，但排名连续。
4. sum() over(...): 按分组累积求和。

示例：

复制代码

SELECT name, SUM(cost) OVER(PARTITION BY name ORDER BY order_date) AS cumulative_cost
FROM orders;

问题：Hive的分区和分桶有什么区别？

答案：

创建语句：

复制代码

CREATE TABLE students (
    id INT, name STRING
) PARTITIONED BY (class STRING) CLUSTERED BY (id) INTO 4 BUCKETS;

问题：Hive有哪些存储格式？各自特点是什么？

答案：

问题：Hive支持哪些计算引擎？它们的区别是什么？

答案：

sql 复制代码

SET hive.execution.engine=tez;  -- 配置Tez引擎