机器学习数据处理

1.将xslx转为csv格式

复制代码
import os
import pandas as pd


def xlsx_to_csv_recursive(root_folder, output_root=None):
    """
    递归转换文件夹及其所有子文件夹中的 xlsx 文件

    Parameters:
    root_folder (str): 包含xlsx文件的根文件夹路径
    output_root (str, optional): 输出csv文件的根文件夹路径,如果为None则保存在原文件夹
    """
    # 如果没有指定输出文件夹,则使用原文件夹作为输出位置
    if output_root is None:
        output_root = root_folder

    # 使用os.walk递归遍历根文件夹及其所有子文件夹
    # root: 当前遍历的文件夹路径
    # dirs: 当前文件夹中的子文件夹列表
    # files: 当前文件夹中的文件列表
    for root, dirs, files in os.walk(root_folder):
        # 计算当前文件夹相对于根文件夹的相对路径
        # 例如:如果root_folder是"C:/data",当前root是"C:/data/subfolder"
        # 那么relative_path就是"subfolder"
        relative_path = os.path.relpath(root, root_folder)

        # 构建对应的输出文件夹路径
        # 将相对路径添加到输出根目录下
        output_folder = os.path.join(output_root, relative_path)

        # 如果输出文件夹不存在,则创建它(包括所有必要的父目录)
        if not os.path.exists(output_folder):
            os.makedirs(output_folder)

        # 遍历当前文件夹中的所有文件
        for filename in files:
            # 检查文件是否为Excel格式(.xlsx或.xls)
            if filename.endswith('.xlsx') or filename.endswith('.xls'):
                # 构建完整的Excel文件输入路径
                xlsx_path = os.path.join(root, filename)

                # 构建CSV输出文件名:将原文件扩展名替换为.csv
                # os.path.splitext将文件名分割为(名称,扩展名)
                # 例如:"data.xlsx" -> ("data", ".xlsx")
                csv_filename = os.path.splitext(filename)[0] + '.csv'
                # 构建完整的CSV文件输出路径
                csv_path = os.path.join(output_folder, csv_filename)

                try:
                    # 使用pandas读取Excel文件
                    # pd.read_excel会自动处理xlsx和xls格式
                    df = pd.read_excel(xlsx_path)

                    # 将DataFrame保存为CSV文件
                    # index=False: 不保存行索引
                    # encoding='utf-8-sig': 使用带BOM的UTF-8编码,确保中文等特殊字符正确显示
                    df.to_csv(csv_path, index=False, encoding='utf-8-sig')

                    # 打印成功信息,显示相对路径和文件名
                    print(f"成功转换: {os.path.join(relative_path, filename)}")

                except Exception as e:
                    # 如果转换过程中出现错误,捕获异常并打印错误信息
                    print(f"转换失败 {filename}: {str(e)}")


# 使用方法
# 请将下面的路径替换为你的实际文件夹路径
root_folder = "D:\Code\python\pro01\故宫数据"  # 例如: "C:/我的文档/Excel数据" 或 "./data"

# 调用函数开始转换
xlsx_to_csv_recursive(root_folder, "故宫数据csv")

# 可选:如果你想将CSV文件保存到不同的文件夹,可以指定output_root参数
# xlsx_to_csv_recursive(root_folder, "输出文件夹路径")

2.数据标准化处理

相关推荐
小陈phd5 分钟前
大模型微调方式及场景应用介绍
人工智能·深度学习·机器学习
AI小码12 分钟前
如何让AI帮你构建项目?七级方法
人工智能·算法·计算机·ai·程序员·大模型·编程
snow@li17 分钟前
Java:事务管理全景梳理/解决业务系统数据一致性问题
java
1000世界小札18 分钟前
排序算法全景总结:从 O(n²) 到 O(n log n),再到线性时间(附完整对比与选型指南)
数据结构·算法·排序算法
额额额对了24 分钟前
Linux 进程管理详解:从概念到实战
java·服务器·前端
evans在进步25 分钟前
Spring Boot 启动流程与 @SpringBootApplication 核心原理详解
java·spring boot·后端
许彰午27 分钟前
11-rawSql占位符替换
java·低代码·架构
一直C31 分钟前
【Linux应用编程】深入理解Linux多任务机制:进程原理、状态转换与进程控制实战
linux·开发语言·算法·ubuntu·vim·visual studio code
暗黑小白40 分钟前
遗忘机制:不是 TTL 到期全删,而是重要性加权
机器学习·大模型·ai agent
码匠许师傅41 分钟前
【C++ 面试真题】聊聊 C++ 的类型特征( type_traits)
java·c++·面试