Python CSV 数据分析:问题排查与解决全记录

Python CSV 数据分析:问题排查与解决全记录

前段时间,我接到一个任务,需要对公司的销售数据进行分析。这些数据存储在 CSV 文件里,本想着用 Python 处理起来会很轻松,结果却状况百出。下面,就跟大家讲讲我是如何一步步解决这些问题的。

数据读取时的编码问题

我打算用pandas库来处理 CSV 文件,代码如下:

python 复制代码
import pandas as pd

try:
    data = pd.read_csv('sales_data.csv')
except FileNotFoundError:
    print("文件不存在")
except UnicodeDecodeError:
    print("编码错误")

运行代码后,程序报错UnicodeDecodeError。我意识到,可能是 CSV 文件的编码格式有问题。CSV 文件常用的编码格式有utf - 8、gbk等。我通过查阅资料得知,pandas默认以utf - 8编码读取文件。于是,我猜测文件可能是gbk编码,修改代码如下:

python 复制代码
import pandas as pd

try:
    data = pd.read_csv('sales_data.csv')
except FileNotFoundError:
    print("文件不存在")
except UnicodeDecodeError:
    print("编码错误")

这次,成功读取了数据。

数据清洗时的异常值问题

读取数据后,我查看数据概况,发现 "销售额" 这一列存在一些异常值,比如负数。我需要将这些异常值筛选出来并处理掉,代码如下:

python 复制代码
import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
invalid_data = data[data['销售额'] < 0]
print(invalid_data)

运行代码,能看到具体的异常数据。为了修正这些数据,我跟业务部门沟通后得知,这些负数是录入错误导致的,应该为 0。于是,我修改代码进行数据修正:

python 复制代码
import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
data['销售额'] = data['销售额'].apply(lambda x: 0 if x < 0 else x)

数据分组统计时的类型问题

接下来,我想按 "销售地区" 对销售额进行分组统计,代码如下:

python 复制代码
import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
data['销售额'] = data['销售额'].apply(lambda x: 0 if x < 0 else x)
grouped = data.groupby('销售地区')['销售额'].sum()
print(grouped)

结果运行后,发现统计结果不对。经过排查,我发现 "销售地区" 这一列的数据类型是浮点数,而不是字符串,这导致分组统计出现错误。我通过以下代码修正数据类型:

python 复制代码
import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
data['销售额'] = data['销售额'].apply(lambda x: 0 if x < 0 else x)
data['销售地区'] = data['销售地区'].astype(str)
grouped = data.groupby('销售地区')['销售额'].sum()
print(grouped)

这次,成功得到了正确的统计结果。

通过这次项目,我深切体会到,在数据分析过程中,遇到问题不可怕,只要掌握正确的排查方法,不断尝试,就能顺利解决问题,完成任务。

相关推荐
ai大模型木子23 分钟前
嵌入模型(Embedding Models)原理详解:从Word2Vec到BERT的技术演进
人工智能·自然语言处理·bert·embedding·word2vec·ai大模型·大模型资料
花酒锄作田26 分钟前
[flask]自定义请求日志
python·flask
SsummerC2 小时前
【leetcode100】组合总和Ⅳ
数据结构·python·算法·leetcode·动态规划
Tandy12356_2 小时前
Godot开发2D冒险游戏——第一节:主角登场!
python·游戏引擎·godot
普if加的帕2 小时前
java Springboot使用扣子Coze实现实时音频对话智能客服
java·开发语言·人工智能·spring boot·实时音视频·智能客服
KoiC2 小时前
Dify接入RAGFlow无返回结果
人工智能·ai应用
lilye663 小时前
精益数据分析(20/126):解析经典数据分析框架,助力创业增长
大数据·人工智能·数据分析
盈达科技3 小时前
盈达科技:登顶GEO优化全球制高点,以AICC定义AI时代内容智能优化新标杆
大数据·人工智能
安冬的码畜日常3 小时前
【AI 加持下的 Python 编程实战 2_10】DIY 拓展:从扫雷小游戏开发再探问题分解与 AI 代码调试能力(中)
开发语言·前端·人工智能·ai·扫雷游戏·ai辅助编程·辅助编程
古希腊掌管学习的神3 小时前
[LangGraph教程]LangGraph04——支持人机协作的聊天机器人
人工智能·语言模型·chatgpt·机器人·agent