第16天:综合训练——数据去重

  • 阶段:综合训练

  • 学习内容:数据重复值处理

  • 核心知识点:查找与删除重复行

  • 当日目标:清洗行重复的数据

  • 练习任务:去重并保存

1. 什么是数据去重?

(1)核心思想:现实中由于系统错误或人工重复录入,表格里经常会出现一模一样的"倒霉行"。数据去重就是把这些完全重复的行找出来,只留下一行,剩下的全部删掉。

(2)电脑做法:pandas 会自动比对每一行,发现内容完全一致时,默认保留第一次出现的行,后面出现的直接"抹除"。

2. 今日原材料准备(修改 data.csv)

为了测试去重功能,请用记事本打开 data.csv,故意制造两行完全相同的数据(比如让 alice 出现两次),修改为以下内容:

复制代码
name,score
alice,100
ben,98
keely,87
delio,99
alice,100

3. 核心去重指令

  • df.duplicated():检查哪些行是重复的(返回是/否)。

  • df.drop_duplicates():直接删掉重复的行,只留下一行。

4. 完整代码

Python

复制代码
import pandas as pd

# 1. 读取含有重复值的数据
df = pd.read_csv('data.csv')
print("--- 1. 原始包含重复项的数据 ---")
print(df)

# 2. 检查重复行(额外查看,True 代表这一行是重复的)
print("\n--- 2. 检查哪些行重复了 ---")
print(df.duplicated())

# 3. 执行去重
# drop_duplicates() 会自动删掉后面重复的 alice
df_unique = df.drop_duplicates()
print("\n--- 4. 去重后的干净数据 ---")
print(df_unique)

# 4. 保存去重后的数据
df_unique.to_csv('unique_data.csv', index=False)
print("\n--- 去重数据已保存至 unique_data.csv ---")
相关推荐
微订校园外卖系统12 小时前
自己做校园外卖跑腿小程序用什么系统:多商户与单店架构
小程序·架构·外卖系统·本地生活·微订
djxzyr2 天前
微信小程序传感器实战:罗盘、加速计、陀螺仪与加速度实时波形
微信小程序·小程序
李纲明4 天前
微信小程序开了 Skyline 后样式全乱、滚动对不上甚至部分组件不能用?Skyline 怎么接才稳
javascript·微信小程序·小程序·devdiy
wx1qq1com6 天前
一桩带几台车:共享租赁桩位配比、取电与结算闭环设计
物联网·微信小程序·小程序
2401_879692516 天前
微信小程序照相与摄像功能实现——chooseImage 与 chooseVideo 详解
微信小程序·小程序·notepad++
李纲明8 天前
微信小程序 getSystemInfo 提示已废弃、屏幕高度算错胶囊还对不齐?getWindowInfo 和 getDeviceInfo 怎么接才稳
javascript·微信小程序·小程序·小程序开发·devdiy
dreams_dream8 天前
微信小程序-使用npm包
微信小程序·小程序·npm
caoliaoerweima8 天前
草料二维码小程序上线活码编辑器:手机上也能编辑活码了
智能手机·小程序·编辑器·草料二维码
dreams_dream10 天前
微信小程序:页面事件-上拉触底
微信小程序·小程序
wafrdggh11 天前
2026电商快递批量查询怎么用?固乔助手模板设置评测
大数据·数据库·小程序