AI数据分析：用DeepSeek做数据清洗

在当今数据驱动的时代，数据分析已成为企业和个人决策的重要工具。随着人工智能技术的快速发展，AI 驱动的数据分析工具正在改变我们处理和分析数据的方式。本文将着重介绍如何使用 DeepSeek 进行数据清洗。

数据清洗是数据分析的基础，其目的是确保数据的准确性、完整性和一致性。常见的数据问题包括：

1. 缺失值：数据中的某些字段为空。

2. 重复值：数据中存在重复记录。

3. 异常值：数据中存在明显偏离正常范围的数值。

4. 不一致性：数据格式或单位不统一。

如果不进行数据清洗，这些问题会导致分析结果偏差，甚至误导决策。

以下是一个使用 DeepSeek 清洗销售数据的实际案例。

假设我们有一个销售数据表

|------|------|-----|-----|--------|
| 订单ID | 商品ID | 商品名 | 销量 | 销售额（元） |
| 1001 | 101 | 商品A | 10 | 500 |
| 1002 | 102 | 商品B | 5 | 250 |
| 1003 | 103 | 商品C | 20 | 1000 |
| 1004 | 101 | 商品A | 15 | 750 |
| 1005 | 104 | 商品D | 100 | 5000 |
| 1006 | 105 | 商品E | 1 | 500 |
| 1007 | 102 | 商品B | 8 | 400 |
| 1008 | 103 | 商品C | 25 | 1250 |
| 1009 | 106 | 商品F | 0 | 0 |
| 1010 | 101 | 商品A | 12 | 600 |
| 1011 | 104 | 商品D | 30 | 1500 |
| 1012 | 105 | 商品E | 2 | 100 |
| 1013 | 107 | 商品G | 50 | 2500 |
| 1014 | 108 | 商品H | 200 | 10000 |
| 1015 | 102 | 商品B | 6 | 300 |
| 1016 | 103 | 商品C | 18 | 900 |
| 1017 | 109 | 商品I | 0 | 0 |
| 1018 | 101 | 商品A | 9 | 450 |
| 1019 | 104 | 商品D | 40 | 2000 |
| 1020 | 105 | 商品E | 3 | 150 |
| 1021 | 107 | 商品G | 60 | |
| 1022 | 108 | 商品H | 150 | 7500 |
| 1023 | 102 | 商品B | 7 | 350 |
| 1024 | 103 | 商品C | 22 | 1100 |
| 1025 | 109 | 商品I | 1 | 50 |
| 1026 | 101 | 商品A | 11 | 550 |
| 1027 | 104 | 商品D | 35 | 1750 |
| 1028 | 105 | 商品E | 4 | 200 |
| 1029 | 107 | 商品G | 55 | 2750 |
| 1029 | 107 | 商品G | 55 | 2750 |
| 1030 | 108 | 商品H | 180 | 9000 |

接下来我们用PromptIDE-提示词开发工具帮我们生成一个数据清洗的提示词。

生成的提示词如下：

# 角色: 
数据分析与数据预处理专家

## 背景: 
用户在处理数据时遇到数据质量问题，需要对数据进行清洗以确保数据的准确性、完整性和一致性，从而为后续的数据分析或机器学习模型训练提供高质量的数据基础

## 注意:
1、数据清洗是一个复杂且耗时的过程，但它是确保数据质量的关键步骤。
2、通过有效的数据清洗，可以显著提高数据分析的准确性和可靠性。

## 技能:
1、熟悉数据清洗的常用技术和工具。
2、具备强大的数据处理和分析能力。
3、能够识别和处理数据中的异常值和缺失值。
4、能够设计和实施数据清洗流程。

## 目标:
1、识别并处理数据中的异常值。
2、填补或删除数据中的缺失值。
3、标准化数据格式，确保数据一致性。
4、去除重复数据。
5、验证数据清洗后的质量。

## 约束:
1、确保数据清洗过程不会引入新的错误。
2、遵守数据隐私和安全的相关规定。
3、在数据清洗过程中保持数据的原始结构和含义。


## 输出:
1、清洗后的数据应以结构化表格形式输出。
2、数据清洗报告，包括详细记录清洗过程、问题发现及解决方法。
3、建议的进一步数据预处理步骤。

## 工作流:
1、接收并分析用户提供的数据集和清洗规则。
2、识别数据中的异常值和缺失值。
3、根据清洗规则处理异常值和缺失值。
4、标准化数据格式，去除重复数据。
5、验证数据清洗后的质量，生成清洗报告。


## 初始化：
Initialization: 在第一次对话中，请直接输出以下：欢迎使用数据清洗服务。请提供您需要清洗的数据文件，我将按照数据隐私和安全原则，为您进行高效、透明的数据清洗。您可以上传数据文件，告诉我您关注的数据质量问题，我将为您提供专业的解决方案。

接下来我们将这个提示词发给大模型看看效果。

数据清洗报告

1. 数据问题识别

通过初步分析，发现以下数据质量问题：

1. 重复值 ：订单ID为 1029 的记录出现重复。
2. 缺失值 ：订单ID为 1021 的记录中，销售额（元） 缺失。
3. 异常值 ：
   • 销量 为 0，但 销售额（元） 也为 0（订单ID：1009 和 1017），可能是无效记录。
   • 销量 和 销售额（元） 的比例异常（例如：订单ID：1006，销量为 1，销售额为 500，可能存在输入错误）。

---

2. 数据清洗过程

2.1 删除重复值

删除订单ID为 1029 的重复记录。

2.2 填充缺失值

对于订单ID为 1021 的缺失值，根据商品G的平均单价进行填充：

• 商品G的销售额 = 销量 × 单价
• 计算商品G的平均单价：(2500 + 2750) / (50 + 60) ≈ 48.18
• 订单ID 1021 的销售额 = 60 × 48.18 ≈ 2891 元

填充后：

订单ID	商品ID	商品名	销量	销售额（元）
1021	107	商品G	60	2891

2.3 标准化异常值处理

1. 销量为 0 的记录：

   • 删除订单ID为 1009 和 1017 的记录，因为其销量和销售额均为 0，属于无效数据。

2. 比例异常记录：

   • 对于订单ID 1006（销量为 1，销售额为 500），根据商品E的平均单价分析：
     • 商品E的平均单价 = (500 + 100 + 150 + 200) / (1 + 2 + 3 + 4) = 950 / 10 = 95 元
     • 修正订单ID 1006 的销售额为 1 × 95 = 95 元。

修正后：

订单ID	商品ID	商品名	销量	销售额（元）
1006	105	商品E	1	95

---

3. 数据清洗结果

清洗后的数据集如下：

订单ID	商品ID	商品名	销量	销售额（元）
1001	101	商品A	10	500
1002	102	商品B	5	250
1003	103	商品C	20	1000
1004	101	商品A	15	750
1005	104	商品D	100	5000
1006	105	商品E	1	95
1007	102	商品B	8	400
1008	103	商品C	25	1250
1010	101	商品A	12	600
1011	104	商品D	30	1500
1012	105	商品E	2	100
1013	107	商品G	50	2500
1014	108	商品H	200	10000
1015	102	商品B	6	300
1016	103	商品C	18	900
1018	101	商品A	9	450
1019	104	商品D	40	2000
1020	105	商品E	3	150
1021	107	商品G	60	2891
1022	108	商品H	150	7500
1023	102	商品B	7	350
1024	103	商品C	22	1100
1025	109	商品I	1	50
1026	101	商品A	11	550
1027	104	商品D	35	1750
1028	105	商品E	4	200
1029	107	商品G	55	2750
1030	108	商品H	180	9000

---

4. 下一步建议

1. 数据验证：对清洗后的数据进行统计分析，确保数据分布合理，无异常值。
2. 特征工程：如果需要构建机器学习模型，建议进一步对数据进行特征提取和标准化。
3. 数据监控：建议建立数据质量监控机制，定期检查数据中的异常情况。

总之，我们借助PromptIDE+deepseek就可以轻松帮我们完成数据清洗了。