SQL常用数据清洗语句

数据清洗:发现并纠正数据文件里的数据错误和不一致性,让数据达到分析要求的过程。

运用 SQL 进行数据清洗时,可借助多种语句和函数来处理数据中的缺失值、重复值、异常值以及格式错误等问题。

1. 处理缺失值

数据中某些变量的值为空的情况,可采用删除包含缺失值的记录、用合适的值(如平均值、中位数等)来填充的方法。

删除包含缺失值的记录

sql 复制代码
DELETE FROM table_name
WHERE column_name IS NULL;

用特定值填充缺失值

sql 复制代码
UPDATE table_name
SET column_name = 'default_value'
WHERE column_name IS NULL;

用平均值填充缺失值

sql 复制代码
UPDATE table_name
SET column_name = (SELECT AVG(column_name) FROM table_name)
WHERE column_name IS NULL;

2. 处理重复值

数据中存在的完全相同或者部分字段相同的记录,可以使用 DISTINCT 关键字来去除重复值。

使用 DISTINCT 关键字查询无重复的数据

sql 复制代码
SELECT DISTINCT column1, column2
FROM table_name;

3. 处理异常值

数据中偏离正常范围的值,可以通过定义合理的范围来筛选出异常值,然后进行删除或者修正。

sql 复制代码
-- 删除价格小于 0 或者大于 1000 的异常记录
DELETE FROM products
WHERE price < 0 OR price > 1000;

4. 处理格式错误

数据格式不符合预期,例如日期格式错误、字符串长度不符合要求等。可以使用字符串函数和日期函数来修正格式错误。

转换日期格式

sql 复制代码
-- 将日期从 'YYYY-MM-DD' 格式转换为 'DD/MM/YYYY' 格式
SELECT DATE_FORMAT(date_column, '%d/%m/%Y')
FROM table_name;

去除字符串前后的空格

sql 复制代码
SELECT TRIM(column_name)
FROM table_name;

处理大小写不一致

sql 复制代码
-- 将所有姓名转换为大写
SELECT UPPER(name)
FROM customers;
相关推荐
这个DBA有点耶12 分钟前
1亿条向量内存降95.4%,延迟降80%:金仓AI原生内核真能解决RAG痛点?
数据库·人工智能·开源
Y38153266213 分钟前
用 httpx 写 SerpBase 异步客户端:连接池与超时配置
运维·服务器·数据库
c_hn_00722 分钟前
量化数据12:国内期货L2历史数据:Tick、逐笔、五档盘口一次性打包下载
数据库·1024程序员节·#深度订单簿数据·#历史行情订单薄·#本地csv数据存储
GeW36 分钟前
从"补短板"到"强优势"Linux与数据库认证成为产业跃迁人才支点
linux·数据库
数据库小学妹1 小时前
MySQL NULL陷阱:NOT IN、三值逻辑与NOT EXISTS
数据库·后端·mysql
SelectDB1 小时前
Doris 异步物化视图实战:与 Snowflake MV / Dynamic Tables 分层建模对照
大数据·数据库·云原生
枫昕柚1 小时前
MySQL 建库命令详解:从 CREATE DATABASE 到create table
数据库·mysql
张张123y1 小时前
后端第十六课:Multi-Agent 多智能体(让多个 Agent 分工协作)
大数据·数据库·人工智能·python·deepseek·dsh·agent 框架
todoitbo2 小时前
MongoDB迁移之后,Spring Data 和 Hibernate 各自接哪类请求
大数据·数据库·mongodb·spring·hibernate·金仓数据库
HEJOO92 小时前
数据库日期类型字段如何选型:跨数据库兼容的实践指南
数据库