Python Excel 通用筛选函数

案例目的

第一个函数从指定文件路径读取CSV数据并转换为DataFrame，第二个函数使用灵活的条件筛选DataFrame。

示例数据

!+&	idx	Market	CURR	PM	TERMANT	......
*	1	JP	USD	1	0	...
*	1	CHINA	EUR	0	0	...
*	1	USA	USD	1	0	...
*	2	JP	JPY	1	0	...
*	3	USA	CNY	1	1	...
*	4	CHINA	CNY	0	0	...
*	5	JP	USD	1	1	...
*	6	JP	JPY	0	0	...

假定数据来源是字典

python 复制代码

import pandas as pd
import csv
from io import StringIO

def csv_to_dataframe(csv_data=None, file_path=None, delimiter='\t'):
    """
    将CSV数据转换为DataFrame
    
    参数:
    csv_data: CSV格式的字符串数据
    file_path: CSV文件路径
    delimiter: 分隔符，默认为制表符
    
    返回:
    pandas DataFrame对象
    """
    if csv_data:
        # 从字符串读取数据
        df = pd.read_csv(StringIO(csv_data), delimiter=delimiter)
    elif file_path:
        # 从文件读取数据
        df = pd.read_csv(file_path, delimiter=delimiter)
    else:
        raise ValueError("必须提供csv_data或file_path参数")
    
    return df

def filter_dataframe(df, **kwargs):
    """
    根据多列条件筛选DataFrame
    
    参数:
    df: 要筛选的DataFrame
    **kwargs: 筛选条件，格式为 列名=值 或 列名=[值1, 值2, ...]
    
    返回:
    筛选后的DataFrame
    """
    # 初始化筛选条件
    condition = pd.Series([True] * len(df))
    
    # 处理每个筛选条件
    for column, values in kwargs.items():
        if column not in df.columns:
            raise ValueError(f"列名 '{column}' 不存在于DataFrame中")
        
        # 如果值是列表，使用isin方法
        if isinstance(values, list):
            condition = condition & df[column].isin(values)
        # 如果是单个值，使用等号比较
        else:
            condition = condition & (df[column] == values)
    
    # 应用筛选条件
    filtered_df = df[condition]
    
    return filtered_df

# 示例使用
if __name__ == "__main__":
    # 示例数据
    csv_data = """!+&	idx	Market	CURR	PM	TERMANT
*	1	JP	USD	1	0
*	1	CHINA	EUD	0	0
*	1	USA	USD	1	0
*	2	JP	JPY	1	0
*	3	USA	CNY	1	1
*	4	CHINA	CNY	0	0
*	5	JP	USD	1	1
*	6	JP	JPY	0	0"""
    
    # 使用第一个函数将CSV数据转换为DataFrame
    df = csv_to_dataframe(csv_data=csv_data, delimiter='\t')
    print("原始数据:")
    print(df)
    print("\n" + "="*50 + "\n")
    
    # 示例1: 筛选出Market为JP且CURR为JPY的所有行
    result1 = filter_dataframe(df, Market='JP', CURR='JPY')
    print("示例1 - Market为JP且CURR为JPY:")
    print(result1)
    print("\n" + "="*50 + "\n")
    
    # 示例2: 筛选出Market为日本和美国，CURR为USD和CNY
    result2 = filter_dataframe(df, Market=['JP', 'USA'], CURR=['USD', 'CNY'])
    print("示例2 - Market为JP或USA，CURR为USD或CNY:")
    print(result2)
    print("\n" + "="*50 + "\n")
    
    # 示例3: 筛选出Market为JP，CURR为USD、CNY和EUD
    result3 = filter_dataframe(df, Market='JP', CURR=['USD', 'CNY', 'EUD'])
    print("示例3 - Market为JP，CURR为USD、CNY或EUD:")
    print(result3)

这两个函数提供了灵活的筛选功能：

csv_to_dataframe 函数可以从字符串或文件读取CSV数据并转换为DataFrame
filter_dataframe 函数接受任意数量的列筛选条件，每个条件可以是单个值或值列表

优化：通用CSV数据处理函数

python 复制代码

import pandas as pd
import csv

def read_csv_to_dataframe(file_path, delimiter='\t', encoding='utf-8'):
    """
    从指定文件路径读取CSV数据并转换为DataFrame
    
    参数:
    file_path: CSV文件的路径
    delimiter: 分隔符，默认为制表符
    encoding: 文件编码，默认为utf-8
    
    返回:
    pandas DataFrame对象
    """
    try:
        # 读取CSV文件
        df = pd.read_csv(file_path, delimiter=delimiter, encoding=encoding)
        print(f"成功读取文件: {file_path}")
        print(f"数据形状: {df.shape}")
        return df
    except FileNotFoundError:
        print(f"错误: 文件 '{file_path}' 不存在")
        return None
    except Exception as e:
        print(f"读取文件时出错: {str(e)}")
        return None

def filter_dataframe(df, **kwargs):
    """
    根据多列条件筛选DataFrame
    
    参数:
    df: 要筛选的DataFrame
    **kwargs: 筛选条件，格式为 列名=值 或 列名=[值1, 值2, ...]
    
    返回:
    筛选后的DataFrame
    """
    if df is None or df.empty:
        print("错误: DataFrame为空或未提供有效数据")
        return None
    
    # 初始化筛选条件
    condition = pd.Series([True] * len(df))
    
    # 处理每个筛选条件
    for column, values in kwargs.items():
        if column not in df.columns:
            print(f"警告: 列名 '{column}' 不存在于DataFrame中，已跳过此条件")
            continue
        
        # 如果值是列表，使用isin方法
        if isinstance(values, list):
            condition = condition & df[column].isin(values)
        # 如果是单个值，使用等号比较
        else:
            condition = condition & (df[column] == values)
    
    # 应用筛选条件
    filtered_df = df[condition]
    
    print(f"筛选后数据形状: {filtered_df.shape}")
    return filtered_df

# 示例使用
if __name__ == "__main__":
    # 示例文件路径
    file_path = "data.csv"
    
    # 使用第一个函数读取CSV文件
    df = read_csv_to_dataframe(file_path)
    
    if df is not None:
        print("\n原始数据前5行:")
        print(df.head())
        print("\n" + "="*50 + "\n")
        
        # 示例1: 筛选出Market为JP且CURR为JPY的所有行
        result1 = filter_dataframe(df, Market='JP', CURR='JPY')
        print("示例1 - Market为JP且CURR为JPY:")
        print(result1)
        print("\n" + "="*50 + "\n")
        
        # 示例2: 筛选出Market为日本和美国，CURR为USD和CNY
        result2 = filter_dataframe(df, Market=['JP', 'USA'], CURR=['USD', 'CNY'])
        print("示例2 - Market为JP或USA，CURR为USD或CNY:")
        print(result2)
        print("\n" + "="*50 + "\n")
        
        # 示例3: 筛选出Market为JP，CURR为USD、CNY和EUD
        result3 = filter_dataframe(df, Market='JP', CURR=['USD', 'CNY', 'EUD'])
        print("示例3 - Market为JP，CURR为USD、CNY或EUD:")
        print(result3)
        
        # 可选: 将筛选结果保存到新文件
        if result1 is not None and not result1.empty:
            result1.to_csv("filtered_result.csv", index=False, sep='\t')
            print("筛选结果已保存到 filtered_result.csv")

使用说明

read_csv_to_dataframe 函数:
- 输入: 文件路径、分隔符(默认为制表符)、编码格式(默认为utf-8)
- 输出: pandas DataFrame对象
- 功能: 从指定路径读取CSV文件并转换为DataFrame
filter_dataframe 函数:
- 输入: DataFrame对象和任意数量的筛选条件
- 输出: 筛选后的DataFrame
- 功能: 根据提供的列名和值进行筛选，支持单个值或值列表

使用示例

python 复制代码

# 读取CSV文件
df = read_csv_to_dataframe("your_data.csv", delimiter='\t')

# 筛选Market为JP且CURR为JPY的行
result = filter_dataframe(df, Market='JP', CURR='JPY')

# 筛选Market为JP或USA，且CURR为USD或CNY的行
result = filter_dataframe(df, Market=['JP', 'USA'], CURR=['USD', 'CNY'])

# 筛选Market为JP，且CURR为USD、CNY或EUD的行
result = filter_dataframe(df, Market='JP', CURR=['USD', 'CNY', 'EUD'])

注意事项

请确保文件路径正确，并且有读取权限
根据实际CSV文件的分隔符调整delimiter参数
如果文件包含非ASCII字符，可能需要调整encoding参数
如果列名包含空格或特殊字符，请确保在筛选条件中正确引用