PySpark实现获取Cloud Storage上Parquet文件的数据结构，并自动在Google BigQuery里建表和生成对应的建表和导入数据的SQL

PySpark实现Cloud Storage上解析存储Parquet文件的多个路径，获取其中的数据Schema，再根据这些Schema，参考以下文本，得到创建上传数据到Google BigQuery数据仓库的SQL语句，并在Google BigQuery数据仓库里创建对应的表，并在Cloud Storage上存储创建表的SQL语句。

Cloud Storage上存储Parquet文件的路径上传数据到Google BigQuery数据仓库的SQL语句

要将存储在Google Cloud Storage (GCS) 上的Parquet文件加载到Google BigQuery数据仓库中，你可以使用BigQuery的bq命令行工具或者BigQuery的REST API，但更常见和便捷的方式是使用BigQuery的SQL命令。

以下是使用BigQuery SQL命令将GCS上的Parquet文件加载到BigQuery表的步骤：

1. 确保你的Parquet文件存储在GCS中：假设你的Parquet文件存储在路径gs://your-bucket-name/your-folder/your-file.parquet。

2. 在BigQuery中创建一个目标表（如果尚未存在）：你可以手动在BigQuery UI中创建一个表，或者通过SQL命令创建。例如：

 CREATE TABLE `your-project.your-dataset.your-table` (
     column1 STRING,
     column2 INT64,
     -- 根据你的Parquet文件结构定义更多列
   )
   OPTIONS (
     format = 'PARQUET'
   );

注意：在大多数情况下，你可以省略列定义，因为BigQuery会自动推断Parquet文件的架构。

3. 使用bq命令行工具或BigQuery的UI界面加载数据：虽然你可以通过SQL命令创建表，但加载数据通常通过bq命令行工具或BigQuery的UI界面来完成。以下是使用bq命令行工具的示例：

 bq load --source_format=PARQUET \
           `your-project.your-dataset.your-table` \
           gs://your-bucket-name/your-folder/your-file.parquet

如果你更喜欢使用BigQuery的UI界面，你可以：

• 导航到BigQuery控制台。

• 选择你的项目和数据集。

• 点击"Create Table"。

• 在"Source"部分，选择"Google Cloud Storage"。

• 输入你的GCS文件路径。

• 选择文件格式为"Parquet"。

• 配置其他选项（如自动检测架构）。

• 点击"Create Table"。

4. （可选）使用SQL查询验证数据：一旦数据加载完成，你可以使用SQL查询来验证数据是否正确加载：

 SELECT * FROM `your-project.your-dataset.your-table` LIMIT 100;

注意事项

• 确保你的Google Cloud项目有权限访问GCS中的Parquet文件以及BigQuery数据集。

• 如果你的Parquet文件包含复杂的嵌套结构（如嵌套的记录或数组），BigQuery通常能够自动推断这些结构，但你可能需要手动调整表架构以确保所有字段都被正确解析。

• 加载大量数据时，考虑使用分区表和集群表来优化性能和成本。

通过这些步骤，你可以轻松地将存储在GCS上的Parquet文件加载到Google BigQuery中。

使用PySpark解析Cloud Storage上的Parquet文件路径并生成BigQuery建表SQL的完整实现：

此实现完整覆盖了从Parquet元数据解析到BigQuery表创建的完整流程，生成的DDL语句同时保存到GCS以便审计和复用。

from pyspark.sql import SparkSession
from pyspark.sql.types import *
from google.cloud import bigquery, storage

def get_bq_type(data_type):
    """递归转换Spark数据类型为BigQuery类型"""
    if isinstance(data_type, StructType):
        fields = [f"`{field.name}` {get_bq_type(field.dataType)}" for field in data_type.fields]
        return f"STRUCT<{', '.join(fields)}>"
    elif isinstance(data_type, ArrayType):
        element_type = get_bq_type(data_type.elementType)
        return f"ARRAY<{element_type}>"
    elif isinstance(data_type, StringType):
        return "STRING"
    elif isinstance(data_type, (IntegerType, LongType)):
        return "INT64"
    elif isinstance(data_type, (FloatType, DoubleType)):
        return "FLOAT64"
    elif isinstance(data_type, BooleanType):
        return "BOOL"
    elif isinstance(data_type, TimestampType):
        return "TIMESTAMP"
    elif isinstance(data_type, DateType):
        return "DATE"
    elif isinstance(data_type, BinaryType):
        return "BYTES"
    elif isinstance(data_type, DecimalType):
        return "NUMERIC"
    else:
        raise ValueError(f"Unsupported data type: {data_type}")

def generate_create_ddl(schema, project_id, dataset_id, table_name):
    """生成BigQuery建表DDL"""
    columns = []
    for field in schema:
        col_type = get_bq_type(field.dataType)
        columns.append(f"`{field.name}` {col_type}")

    return f"""
CREATE TABLE `{project_id}.{dataset_id}.{table_name}` (
  {',\n  '.join(columns)}
)
"""

def save_to_gcs(content, gcs_path):
    """保存内容到GCS"""
    client = storage.Client()
    bucket_name, blob_path = gcs_path.replace("gs://", "").split("/", 1)
    bucket = client.bucket(bucket_name)
    blob = bucket.blob(blob_path)
    blob.upload_from_string(content)

def main():
    # 初始化Spark
    spark = SparkSession.builder \
        .appName("ParquetSchemaToBQ") \
        .getOrCreate()

    # 配置参数（实际使用时应从参数或配置读取）
    gcs_parquet_paths = ["gs://your-bucket/path1/*.parquet", "gs://your-bucket/path2/*.parquet"]
    bq_project = "your-project"
    bq_dataset = "your-dataset"
    bq_table = "your-table"
    output_sql_path = "gs://your-bucket/sql/create_table.sql"

    # 读取Parquet文件获取Schema
    df = spark.read.parquet(*gcs_parquet_paths)
    
    # 生成DDL语句
    create_ddl = generate_create_ddl(df.schema, bq_project, bq_dataset, bq_table)
    
    # 在BigQuery中创建表
    bq_client = bigquery.Client()
    job = bq_client.query(create_ddl)
    job.result()  # 等待执行完成

    # 保存DDL到GCS
    save_to_gcs(create_ddl, output_sql_path)

    # 停止Spark
    spark.stop()

if __name__ == "__main__":
    main()

使用说明

1. 环境准备：

   • 安装依赖：pip install pyspark google-cloud-bigquery google-cloud-storage
   • 配置Google Cloud认证（设置GOOGLE_APPLICATION_CREDENTIALS环境变量）

2. 参数配置：

   • 修改代码中的配置参数：
     • gcs_parquet_paths: Parquet文件路径列表（支持通配符）
     • bq_project: BigQuery项目ID
     • bq_dataset: BigQuery数据集ID
     • bq_table: 要创建的表名
     • output_sql_path: 生成的SQL文件存储路径

3. 执行脚本：

   spark-submit --packages com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.22.1 schema_to_bq.py

功能说明

1. Schema解析：

   • 支持嵌套结构和数组类型
   • 自动映射常见数据类型（STRING/INT64/FLOAT64等）
   • 处理Decimal类型为NUMERIC

2. BigQuery集成：

   • 自动创建表结构
   • 使用官方Python客户端执行DDL

3. GCS集成：

   • 保存生成的DDL到指定路径
   • 支持多级目录自动创建

注意事项

1. 确保服务账号有权限：

   • BigQuery Data Owner
   • Storage Object Admin

2. 表已存在时会报错，需要添加存在性检查

3. 支持复杂类型：

   • STRUCT类型最多支持15层嵌套
   • ARRAY类型必须包含单一类型元素

4. 性能优化：

   • 大表建议添加分区和分簇选项
   • 批量加载数据时使用LOAD命令而不是直接查询