标签:Python、Pandas、MySQL、数据分析、EDA 简介:大二数据分析方向实战项目,完整走完脏数据处理、特征衍生、可视化探索、数据入库、SQL 统计全流程
一、项目背景与分析目标
最近在自学数据分析,想模拟真实业务分析师的工作链路,所以选择租房数据集做一次完整的 EDA 探索。 很多人做 EDA 只停留在画图,我额外增加了 MySQL 入库环节:清洗完的数据导入数据库,用 SQL 做分组、窗口函数统计,贴近企业里「SQL 取数 + Python 分析」的工作模式。
分析目标:
- 观察租房租金整体分布,识别异常高价房源
- 分析面积、户型、区域对租金的影响
- 构造「单位面积租金」指标,消除面积干扰,对比不同地段性价比
- 将清洗后数据入库 MySQL,用 SQL 完成业务统计
技术栈: Python(Pandas、Matplotlib、Seaborn)|MySQL|JupyterLab
二、数据集说明
数据集为租房房源数据,原始字段包含:区域、租金、面积、户型等。 原始数据存在不少脏问题,也是本次项目重点打磨的地方:
- 租金字段带有中文单位(如 "4500 元 / 月"),文本格式,无法直接计算
- 存在缺失值、重复房源
- 部分极端异常高价房源,会干扰整体统计结论
三、数据清洗(核心环节)
1. 数据读取与概览
读取 CSV 文件,使用info()、describe()、head()查看数据结构、字段类型、缺失情况,先对数据集建立整体认知。
2. 脏数据处理
- 去重:删除重复房源记录,避免重复统计
- 缺失值:对关键字段(租金、面积、区域)缺失的行直接剔除;非关键字段按需处理
- 格式转换:把租金文本去掉 "元 / 月",转为数值类型;面积同步转为数值
- 异常值过滤:使用 IQR 四分位数法识别极端高价异常房源,单独标记,不直接一刀切删除,分析时区分刚需房源和特殊高价房源
3. 特征衍生(重点!)
新增核心指标:每平米租金(单价)
为什么要造这个指标? 直接对比总租金不公平,大房子天然总价更高。单位租金可以用来衡量地段溢价,判断区域租房性价比,是业务里很常用的指标。
bash
# 示例代码
df['单价'] = df['租金'] / df['面积']
清洗完成后,得到一份干净、规范、可用于后续分析的标准数据集。
四、可视化探索分析
基于清洗后的数据集做多维度可视化,每张图对应一个分析问题:
- 租金分布直方图:看整体租金分布,判断大部分房源集中在哪个价格区间
- 面积 & 租金散点图:观察面积和租金的相关性,看是否线性正相关
- 各区域租金箱线图:横向对比不同区域租金中位数、波动区间,直观看出哪些地段更贵
- 相关性热力图:看各个数值指标之间的相关强弱
✅ 核心发现: 地段是影响租金的第一要素,面积、户型是次要影响因素。 同一区域内,租金随面积上升而上涨;但不同区域之间,地段带来的溢价会超过面积带来的差价。
五、数据导入 MySQL + SQL 业务统计
这是我和普通 EDA 项目最大的区别:不只是在 Python 里分析,模拟分析师取数流程。
- 将清洗完成的 DataFrame 写入 MySQL 数据表
- 练习常用 SQL,模拟业务统计需求:
- 统计每个区域房源数量、平均租金、平均单价
- 分组 + 排序,找出每个区域租金 Top3 房源(
row_number()窗口函数) - 筛选指定户型、价格区间的房源
示例 SQL:
sql
-- 统计各区域房源数量、均价、每平米均价
SELECT 区域, COUNT(*) 房源数, AVG(租金) 平均租金, AVG(单价) 平均单价
FROM rental
GROUP BY 区域
ORDER BY 平均单价 DESC;
学习感受:Python 适合灵活清洗、可视化;SQL 适合快速汇总、筛选,两者搭配才是分析师日常。
六、项目局限与后续优化方向
- 数据集缺少地铁距离、楼层、装修等字段,分析维度有限
- 目前只做探索分析,后续可以尝试搭建简单租金预测模型
- 可以接入 Tableau,制作交互式看板
七、项目总结
这个项目完整走完了一套数据分析闭环: 原始脏数据 → 清洗校验 → 特征构造 → 可视化挖掘规律 → 入库存储 → SQL 统计复盘。 对我来说,不只是练 Pandas 绘图,更理解了:数据分析不是跑代码画图,而是先提出问题,再用数据回答问题。
项目完整代码、注释、数据集放在 GitHub,欢迎交流github.com/gzxxx66/ren...