使用C#实现从Hive的CREATE TABLE语句中提取分区字段名和数据类型

csharp 复制代码
using System;
using System.Collections.Generic;
using System.Text.RegularExpressions;

namespace HivePartitionParser
{
    public class Program
    {
        private static readonly Regex PartitionedByRegex = new Regex(
            @"PARTITIONED\s+BY\s*\(([^)]*)\)",
            RegexOptions.IgnoreCase | RegexOptions.Compiled
        );

        private static readonly Regex FieldRegex = new Regex(
            @"^(?:`(?<name>[^`]+)`|(?<name>\w+))\s+(?<type>\w+(?:\([^)]*\)|<[^>]*>)?)",
            RegexOptions.ExplicitCapture | RegexOptions.Compiled
        );

        public static void Main(string[] args)
        {
            const string createTableSql = @"
                CREATE TABLE employees (
                    id INT,
                    name STRING
                )
                PARTITIONED BY (year INT, month STRING, salary DECIMAL(10,2))
                STORED AS ORC;";

            foreach (var (name, type) in ParsePartitionColumns(createTableSql))
            {
                Console.WriteLine($"Partition Column: {name.PadRight(15)} Type: {type}");
            }
        }

        public static IEnumerable<(string Name, string Type)> ParsePartitionColumns(string sql)
        {
            var partitionedByMatch = PartitionedByRegex.Match(sql);
            if (!partitionedByMatch.Success) yield break;

            var columnsText = partitionedByMatch.Groups[1].Value.Trim();
            foreach (var columnDef in SplitColumnDefinitions(columnsText))
            {
                var match = FieldRegex.Match(columnDef);
                if (match.Success)
                {
                    yield return (
                        match.Groups["name"].Value,
                        match.Groups["type"].Value
                    );
                }
            }
        }

        private static IEnumerable<string> SplitColumnDefinitions(string input)
        {
            int depth = 0, start = 0;
            for (int i = 0; i < input.Length; i++)
            {
                switch (input[i])
                {
                    case '(': depth++; break;
                    case ')': depth--; break;
                    case ',' when depth == 0:
                        yield return input.Substring(start, i - start).Trim();
                        start = i + 1;
                        break;
                }
            }
            if (start < input.Length)
                yield return input.Substring(start).Trim();
        }
    }
}

代码说明:

  1. 正则表达式优化

    • 使用预编译正则表达式(RegexOptions.Compiled)提升匹配性能
    • PartitionedByRegex 用于定位分区定义部分
    • FieldRegex 用于解析字段名称和类型
  2. 核心解析逻辑

    • 使用括号深度感知的分割算法处理嵌套结构
    • 支持处理带括号的复杂类型(如DECIMAL(10,2))
    • 支持反引号包裹的字段名
  3. 性能优化

    • 避免不必要的字符串分配
    • 使用迭代器实现延迟处理
    • 减少中间集合的创建
  4. 关键方法

    • ParsePartitionColumns:主解析方法
    • SplitColumnDefinitions:智能分割字段定义

示例输出:

复制代码
Partition Column: year            Type: INT
Partition Column: month           Type: STRING
Partition Column: salary          Type: DECIMAL(10,2)

该实现能够正确处理以下复杂场景:

  • 带括号的类型定义
  • 反引号包裹的字段名
  • 嵌套的复杂类型(如MAP<STRING,ARRAY>)
  • 各种空格格式(包括换行和多余空格)
相关推荐
要做朋鱼燕11 分钟前
【C++】 list 容器模拟实现解析
开发语言·c++·笔记·职场和发展·list
Ka1Yan18 分钟前
MySQL索引优化
开发语言·数据结构·数据库·mysql·算法
MediaTea33 分钟前
Python 内置函数:pow()
开发语言·python
csdn_aspnet34 分钟前
使用 C# .NETCore 实现MongoDB
mongodb·c#·.netcore
上位机付工1 小时前
上位机通信速度有多快?
开发语言·c#·上位机·plc
蔗理苦1 小时前
2025-09-05 CSS4——浮动与定位
开发语言·前端·css·html·css3
给我个面子中不1 小时前
JUC、JVM八股补充
java·开发语言·jvm
hqxstudying2 小时前
Kafka 深入研究:从架构革新到性能优化的全面解析
java·开发语言·微服务·kafka·springcloud
程序猿 董班长3 小时前
springboot配置多数据源(mysql、hive)
hive·spring boot·mysql
FuckPatience5 小时前
C# 修改基类List中某一元素的子类类型
c#·list