在 Spark SQL 中，array 是一种常用的数据类型，用于存储一组有序的元素。Spark 提供了一系列强大的内置函数来操作 array 类型数据，包括创建、访问、修改、排序、过滤、聚合等操作。以下是 Spark SQL 中所有与 array 类型相关的操作函数列表及其功能描述：
- 创建数组
|---------------------------------|------------------------------------------|
| 函数名 | 描述 |
| array(v1, v2, ...) | 创建一个数组，包含指定的元素。 |
| array_repeat(value, n) | 创建一个包含重复元素的数组，value 是元素，n 是重复次数。 |
| sequence(start, stop, step) | 生成一个包含从 start 到 stop（步长为 step，默认为 1）的数组。 |
- 数组元素访问
|--------------------------------|------------------------------------------|
| 函数名 | 描述 |
| element_at(array, index) | 返回数组中指定索引位置的元素，索引从 1 开始（支持负数，表示从尾部开始）。 |
| get(array, index) | 返回数组中指定索引位置的元素，索引从 0 开始（如果索引越界返回 NULL）。 |
| arrayindex | 使用方括号访问数组中的元素，支持从 1 开始的正索引和负索引（负数从尾部开始）。 |
| size(array) | 返回数组的长度（即元素个数）。 |
| array_contains(array, value) | 检查数组中是否包含指定的元素，返回布尔值。 |
| arrays_overlap(array1, array2) | 检查两个数组是否有重叠的元素，返回布尔值。 |
| array_position(array, value) | 返回指定值在数组中的第一个位置（索引从 1 开始），如果不存在返回 0。 |
- 数组修改与操作
|---------------------------------------------------|--------------------------------------------|
| 函数名 | 描述 |
| array_distinct(array) | 返回一个去重后的数组（保留原有顺序）。 |
| array_union(array1, array2) | 返回两个数组的并集（去重）。 |
| array_intersect(array1, array2) | 返回两个数组的交集（去重）。 |
| array_except(array1, array2) | 返回第一个数组元素不在第二个数组中的元素（去重）。 |
| concat(array1, array2, ...) | 拼接多个数组，返回一个包含所有数组元素的新数组。 |
| array_sort(array) | 对数组进行升序排序（仅适用于可比较的数据类型）。 |
| sort_array(array, asc) | 对数组排序，asc 表示是否升序（默认为 true，即升序）。 |
| reverse(array) | 返回一个数组，其元素顺序与原数组相反。 |
| shuffle(array) | 随机打乱数组的元素顺序。 |
| slice(array, start, length) | 返回从指定位置开始的子数组，start 从 1 开始，length 是子数组的长度。 |
| array_remove(array, value) | 删除数组中所有与指定值相等的元素，返回新数组。 |
| array_repeat(value, count) | 创建一个数组，包含指定元素重复多次的值。 |
| array_join(array, delimiter, nullReplacement) | 将数组元素用指定分隔符连接成字符串，nullReplacement 用于替换空值。 |
- 数组聚合
|-----------------------------------------------|--------------------------------------------------------|
| 函数名 | 描述 |
| aggregate(array, initialValue, merge, finish) | 聚合数组元素，initialValue 是初始值，merge 是聚合逻辑，finish 是最终逻辑（可选）。 |
| array_max(array) | 返回数组中的最大值（仅适用于可比较的数据类型）。 |
| array_min(array) | 返回数组中的最小值（仅适用于可比较的数据类型）。 |
| array_sum(array) | 返回数组中所有数值元素的和（仅适用于数值类型数组）。 |
- 数组与字符串互相转换
|-----------------------------|--------------------------------------|
| 函数名 | 描述 |
| split(string, delimiter) | 将字符串按指定分隔符拆分为数组。 |
| concat_ws(delimiter, array) | 将数组的元素用指定分隔符连接成字符串（与 array_join 类似）。 |
- 数组与集合操作
|---------------------------------|--------------------------------------|
| 函数名 | 描述 |
| arrays_zip(array1, array2, ...) | 将多个数组按位置合并成结构体数组，类似于拉链操作。 |
| explode(array) | 将数组中的每个元素转为多行（用于数组的行展开）。 |
| posexplode(array) | 与 explode 类似，但返回每个元素的索引位置（索引从 0 开始）。 |
| inline(array_of_structs) | 将结构体数组展开为多行，每个字段作为一列。 |
- 条件与窗口操作
|-------------------------------------------------|-------------------------|
| 函数名 | 描述 |
| filter(array, x -> condition) | 对数组进行过滤，返回满足条件的子数组。 |
| transform(array, x -> expression) | 对数组的每个元素应用表达式，返回一个新数组。 |
| exists(array, x -> condition) | 检查数组中是否有任意元素满足条件，返回布尔值。 |
| forall(array, x -> condition) | 检查数组中是否所有元素都满足条件，返回布尔值。 |
| zip_with(array1, array2, (x, y) -> expression) | 对两个数组按位置应用表达式，返回一个新数组。 |
- 数组生成
|---------------------------------|-----------------------------------------------|
| 函数名 | 描述 |
| sequence(start, stop, step) | 生成一个范围数组，包含从 start 到 stop 的值，步长为 step（默认为 1）。 |
| range(start, stop, step) | 生成一个包含整数的数组，范围从 start 到 stop，步长为 step。 |
总结
Spark SQL 提供了丰富的 array 操作函数，可以满足创建、访问、修改、过滤、聚合等多种需求。无论是对数组进行基础操作（如访问元素、排序、去重），还是高级操作（如条件过滤、函数式编程），都可以轻松实现。通过熟练掌握这些函数，开发者可以高效地处理复杂的数组数据。