PySpark实现dataframe导出为Excel 2007格式的文件并设置合适的列宽度

PySpark实现dataframe导出为Excel 2007格式的文件，并且针对每一列的数据调整到合适宽度，并封装为函数。

该方案在保持代码简洁的同时实现了自动化列宽调整，适用于中小型数据集导出。对于大数据量场景，建议先进行数据采样或分多个工作表处理。

python 复制代码

from pyspark.sql import DataFrame
import pandas as pd
from openpyxl import load_workbook
from openpyxl.utils import get_column_letter

def export_spark_df_to_excel(
    spark_df: DataFrame,
    output_path: str,
    sheet_name: str = "Sheet1",
    width_buffer: int = 2
) -> None:
    """
    将Spark DataFrame导出为Excel文件并自动调整列宽
    
    参数：
    spark_df: 要导出的PySpark DataFrame
    output_path: 输出Excel文件路径（必须以.xlsx结尾）
    sheet_name: 工作表名称（默认为'Sheet1'）
    width_buffer: 列宽缓冲值（默认为2个字符宽度）
    
    返回：
    None
    """
    # 转换Spark DataFrame为Pandas DataFrame
    pandas_df = spark_df.toPandas()
    
    # 使用ExcelWriter写入文件
    with pd.ExcelWriter(output_path, engine='openpyxl') as writer:
        pandas_df.to_excel(writer, sheet_name=sheet_name, index=False)
        
        # 获取工作表对象
        worksheet = writer.sheets[sheet_name]
        
        # 遍历每列调整宽度
        for i, col in enumerate(pandas_df.columns):
            # 获取列字母（A、B、C...）
            col_letter = get_column_letter(i + 1)
            
            # 计算列名宽度
            header_width = len(str(col))
            
            # 计算数据内容最大宽度
            if pandas_df[col].dtype == object:
                max_content_width = pandas_df[col].astype(str).str.len().max()
            else:
                max_content_width = len(str(pandas_df[col].astype(str).max()))
            
            # 确定最终列宽（取列名和内容宽度的最大值，加上缓冲值）
            column_width = max(header_width, max_content_width) + width_buffer
            
            # 设置列宽
            worksheet.column_dimensions[col_letter].width = column_width

# 示例用法
# 假设已有Spark DataFrame名为df
# export_spark_df_to_excel(df, "output.xlsx", "DataSheet")

使用说明

依赖安装：
bash 复制代码
```
pip install pandas openpyxl pyspark
```
功能特点：
- 自动转换Spark DataFrame为Excel 2007+格式（.xlsx）
- 智能计算每列宽度（考虑列名和内容长度）
- 可自定义缓冲区宽度（默认+2字符）
- 支持指定工作表名称
- 类型安全处理（自动处理不同数据类型）
注意事项：
- 数据量较大时建议先采样处理（Pandas处理全量数据需要足够内存）
- 文件路径需以.xlsx结尾
- 数值型数据会转换为字符串计算宽度
- 默认不保留索引列

扩展参数建议 ：

可根据需要添加以下参数：

python 复制代码

# 添加以下参数到函数定义
freeze_header: bool = True  # 冻结首行
header_style: dict = None   # 自定义标题样式
max_width: int = 50         # 设置最大列宽限制

实现原理

数据转换 ：使用toPandas()将Spark DataFrame转换为Pandas DataFrame
Excel写入：使用pd.ExcelWriter配合openpyxl引擎写入数据
列宽计算：
- 遍历每列计算列名宽度
- 根据数据类型计算内容最大宽度
- 取列名和内容宽度的最大值
- 添加缓冲宽度提升可读性
宽度设置：通过openpyxl的column_dimensions设置列宽