7.1 Hive内置函数

文章目录

• [1. 内置函数概述](#1. 内置函数概述)
• [2. 函数查看与描述](#2. 函数查看与描述)
• [3. 熟悉Hive运算](#3. 熟悉Hive运算)
• [4. 常用内置函数](#4. 常用内置函数)
• • [4.1 数学函数](#4.1 数学函数)
  • [4.2 日期函数](#4.2 日期函数)
  • [4.3 条件函数](#4.3 条件函数)
  • [4.4 汇聚去重函数](#4.4 汇聚去重函数)
  • • [4.4.1 单列数据去重](#4.4.1 单列数据去重)
    • [4.4.2 分组数据去重](#4.4.2 分组数据去重)
  • [4.5 汇聚不去重函数](#4.5 汇聚不去重函数)
  • [4.6 字符串函数](#4.6 字符串函数)
  • • [4.6.1 字符串函数（上）](#4.6.1 字符串函数（上）)
    • [4.6.2 字符串函数（下）](#4.6.2 字符串函数（下）)
  • [4.7 集合统计函数](#4.7 集合统计函数)
• [5. 实战总结](#5. 实战总结)

1. 内置函数概述

• Hive 内置函数丰富，涵盖数学（如 round、log）、字符串（如 substr、concat）、日期（如 from_unixtime、datediff）、集合（如 size、map_keys）及条件函数（如 case、coalesce）等类别，支持对表中数据进行高效转换与计算。所有函数可在 SELECT 语句中直接调用，极大简化 ETL 与分析逻辑，提升开发效率。

2. 函数查看与描述

3. 熟悉Hive运算

4. 常用内置函数

4.1 数学函数

4.2 日期函数

4.3 条件函数

4.4 汇聚去重函数

4.4.1 单列数据去重

4.4.2 分组数据去重

4.5 汇聚不去重函数

4.6 字符串函数

4.6.1 字符串函数（上）

4.6.2 字符串函数（下）

4.7 集合统计函数

5. 实战总结

• 本次 Hive 内置函数实战全面覆盖数学、日期、字符串、条件、聚合及集合统计等类别，通过大量示例验证了函数在数据清洗、转换、分析中的强大能力。重点掌握了 collect_set 与 collect_list 在去重与保留重复场景下的差异应用，熟练运用 regexp_replace、parse_url、get_json_object 等函数处理非结构化数据，并通过 percentile、var_pop 等实现统计分析。整体提升了在 Hive 中高效编写 ETL 逻辑与复杂查询的能力，为大数据处理奠定坚实基础。