Python使用 pandas操作Excel文件并新增列数据

业务实现:对于原先的excel文件,我需要新增一个数据列,不同情况,列数据的值不同,分别为空白行、已爬取、已改名、爬取异常、改名未知异常

python 复制代码
# -*- coding: utf-8 -*-
import io
import os
import re
import sys

import numpy as np
import pandas as pd
import pandas.io.formats.excel
pandas.io.formats.excel.ExcelFormatter.header_style = None  # 表头不加粗

reload(sys)
sys.setdefaultencoding('utf-8')

def change_data(data):
    try:
        data = data.replace(' ', '')  # 删除空格
        data = re.sub(r'\([^)]*\)', '', data)  # 删除括号以及内容
        data = re.sub(r'\*', '', data)  # 删除*号
        return data
    except Exception:
        pass

# 文件夹名称
dir_name_set = set()
for item in os.listdir(unicode(os.path.join(os.path.dirname(os.path.abspath(__file__)), 'country'), 'utf-8')):
    item = change_data(item)
    dir_name_set.add(item)

# 改名字典
spacial_name_dict = {}
with io.open(os.path.join(os.path.dirname(os.path.abspath(__file__)), 'spacial_country.txt'), 'r', encoding='utf-8') as f:
    lines = f.readlines()
    for line in lines:
        line_split = line.strip().split(' ')
        name1 = change_data(line_split[0])
        if '/' in name1:
            name1 = name1.split('/')[0]
        name2 = change_data(line_split[1])
        if '/' in name2:
            name2 = name2.split('/')[0]
        spacial_name_dict[name1] = name2

filename = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'country.xlsx')
sheet_name='species_data'
df = pd.read_excel(filename, sheet_name=sheet_name)
dfc = df.copy()
idx = 1

# 处理每一行数据
for index, row in dfc.iterrows():  # 返回每一行的索引和对应的行数据
    name = row['name']
    try:
        if isinstance(name, float) and np.isnan(name):
            dfc.loc[index, 'status'] = '空白行'
        else:
            name = change_data(name)
            if name in dir_name_set:
                dfc.loc[index, 'status'] = '已爬取'
            elif name in spacial_name_dict.keys():
                if spacial_name_dict[name] in dir_name_set:
                    dfc.loc[index, 'status'] = '已改名为{}'.format(spacial_name_dict[name])
                else:
                    dfc.loc[index, 'status'] = '改名未知异常'
            else:
                dfc.loc[index, 'status'] = '爬取异常'
        if (index != 0 and index % 10000 == 0) or index == len(dfc) - 1:
            print index, idx
            if idx == 15:
                dfcc = dfc.copy()
                output_path = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'country_{}.xlsx'.format(idx))
                print 'output_path', output_path
                dfcc.to_excel(output_path, sheet_name=sheet_name, index=False, header=True)
            idx += 1
    except Exception as e:
        print name, e
相关推荐
霸道流氓气质37 分钟前
RAG 可观测性与生产监控实战:四层遥测模型、五大仪表盘与 OpenTelemetry 全链路追踪的 Java 生产级实现
java·人工智能·python
ch6232 小时前
《AI 辅助编程实战:从零跑通一个 Excel 报表生成脚本的踩坑与复盘》
人工智能·python
import_random3 小时前
[python]conda和pip(区别和联系2)
python
Aurorar0rua3 小时前
CS50 x 2024 Notes Python - 01
开发语言·python·学习方法
用户6602676118793 小时前
备注接口返回成功,数据库却没变:怎样限定一次修复的范围?
python
Dumbness3 小时前
用 Python + UI Automation 读写微信 PC 版:一个群消息自动回复程序的实现与踩坑
python
艺杯羹4 小时前
Windows跨平台编码地雷全解:从GBK静默崩溃到内核级原子写入防御
人工智能·python·桌面客户端
用户8356290780514 小时前
使用 Python 在 Excel 中识别并高亮重复数据与唯一数据
后端·python
CCblandy4 小时前
Agent 工具调用怎么编排?本机实测:并行只到 2.63 倍,慢的先发省 30ms,CPU 活加 worker 无效
人工智能·后端·python·性能优化
用户8356290780514 小时前
使用 Python 在 Excel 中查找、替换数据并高亮显示
后端·python