Python CSV 数据分析:问题排查与解决全记录

Python CSV 数据分析:问题排查与解决全记录

前段时间,我接到一个任务,需要对公司的销售数据进行分析。这些数据存储在 CSV 文件里,本想着用 Python 处理起来会很轻松,结果却状况百出。下面,就跟大家讲讲我是如何一步步解决这些问题的。

数据读取时的编码问题

我打算用pandas库来处理 CSV 文件,代码如下:

python 复制代码
import pandas as pd

try:
    data = pd.read_csv('sales_data.csv')
except FileNotFoundError:
    print("文件不存在")
except UnicodeDecodeError:
    print("编码错误")

运行代码后,程序报错UnicodeDecodeError。我意识到,可能是 CSV 文件的编码格式有问题。CSV 文件常用的编码格式有utf - 8、gbk等。我通过查阅资料得知,pandas默认以utf - 8编码读取文件。于是,我猜测文件可能是gbk编码,修改代码如下:

python 复制代码
import pandas as pd

try:
    data = pd.read_csv('sales_data.csv')
except FileNotFoundError:
    print("文件不存在")
except UnicodeDecodeError:
    print("编码错误")

这次,成功读取了数据。

数据清洗时的异常值问题

读取数据后,我查看数据概况,发现 "销售额" 这一列存在一些异常值,比如负数。我需要将这些异常值筛选出来并处理掉,代码如下:

python 复制代码
import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
invalid_data = data[data['销售额'] < 0]
print(invalid_data)

运行代码,能看到具体的异常数据。为了修正这些数据,我跟业务部门沟通后得知,这些负数是录入错误导致的,应该为 0。于是,我修改代码进行数据修正:

python 复制代码
import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
data['销售额'] = data['销售额'].apply(lambda x: 0 if x < 0 else x)

数据分组统计时的类型问题

接下来,我想按 "销售地区" 对销售额进行分组统计,代码如下:

python 复制代码
import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
data['销售额'] = data['销售额'].apply(lambda x: 0 if x < 0 else x)
grouped = data.groupby('销售地区')['销售额'].sum()
print(grouped)

结果运行后,发现统计结果不对。经过排查,我发现 "销售地区" 这一列的数据类型是浮点数,而不是字符串,这导致分组统计出现错误。我通过以下代码修正数据类型:

python 复制代码
import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
data['销售额'] = data['销售额'].apply(lambda x: 0 if x < 0 else x)
data['销售地区'] = data['销售地区'].astype(str)
grouped = data.groupby('销售地区')['销售额'].sum()
print(grouped)

这次,成功得到了正确的统计结果。

通过这次项目,我深切体会到,在数据分析过程中,遇到问题不可怕,只要掌握正确的排查方法,不断尝试,就能顺利解决问题,完成任务。

相关推荐
Dontla12 分钟前
Python Flask并发demo(http并发与锁)独占接口、monkey功能还不太确定
python·http·flask
wei_shuo12 分钟前
DeepSeek-R1 模型现已在亚马逊云科技上推出
人工智能·amazon
枉费红笺18 分钟前
目标检测竞赛训练策略解析与拓展
人工智能·目标检测·计算机视觉
海天一色y25 分钟前
Pycharm(十一):字符串练习题
ide·python·pycharm
小白的高手之路32 分钟前
常用的卷积神经网络及Pytorch示例实现
人工智能·pytorch·python·深度学习·神经网络·cnn
谱度众合34 分钟前
组学数据分析实操系列 | (六)蛋白相互作用域可视化分析
数据挖掘·数据分析
滴答滴答嗒嗒滴36 分钟前
用 Python 实现机器学习小项目:从入门到实战
开发语言·python·机器学习
IT古董39 分钟前
【漫话机器学习系列】173.模型可识别度(Model Identifiability)
人工智能·机器学习
Julian.zhou43 分钟前
MCP服务:五分钟实现微服务治理革命,无缝整合Nacos/Zookeeper/OpenResty
人工智能·微服务·zookeeper·交互·openresty
weixin_4094110243 分钟前
支持 MCP 协议的开源 AI Agent 项目
人工智能·microsoft