Matlab数据处理学习笔记

1 :数据清洗

注:数据读取

(1)读取工作表

Matlab 复制代码
% 指定要读取的工作表
filename = 'sales_data.xlsx';
sheetName = 'Sheet2'; % 或者使用工作表编号,例如:sheetNumber = 2;

% 读取指定工作表的数据
data = readtable(filename, 'Sheet', sheetName);

% 显示前几行数据
head(data);

(2)写入工作表

Matlab 复制代码
writetable(data, 'yourfile_modified.xlsx'); % 写入到新文件
% 或者覆盖原有文件
% writetable(data, filename);

1.1 :缺失值检测和处理

a. 检测缺失值

Matlab 复制代码
% 检测缺失值
missing_data = any(ismissing(data), 2); % 沿着行查找
disp('缺失值的行号:');
disp(find(missing_data));

1)ismissing函数用于检测是否存在缺失值

2)any函数用于检测制定逻辑数组中是否存在true的值,可以指定检测的维度

3)find 函数用于返回逻辑数组中 true 值的索引。对于此用途,它用来找出包含缺失值的行号。

b.处理缺失值

删除缺失值:

Matlab 复制代码
data_clean = rmmissing(data);

用均值填补缺失值

Matlab 复制代码
% 用列的均值填补缺失值
data.SalesVolume = fillmissing(data.SalesVolume, 'movmean', 7); % 例如使用7天移动平均填补

2.2:异常值检测和处理

a.检测异常值

可以使用IQR方法:

  1. 计算四分位数和 IQR
Matlab 复制代码
% 计算四分位数和 IQR
Q1 = prctile(data.SalesVolume, 25);
Q3 = prctile(data.SalesVolume, 75);
IQR = Q3 - Q1;

% 识别异常值
outliers = data.SalesVolume < (Q1 - 1.5 * IQR) | data.SalesVolume > (Q3 + 1.5 * IQR);
disp('异常值的行号:');
disp(find(outliers));
  • prctile(data.SalesVolume, 25):计算 SalesVolume 的第 25 百分位数(Q1)。
  • prctile(data.SalesVolume, 75):计算 SalesVolume 的第 75 百分位数(Q3)。
  • IQR = Q3 - Q1:计算 IQR。
  1. 识别异常值
Matlab 复制代码
% 识别异常值
outliers = data.SalesVolume < (Q1 - 1.5 * IQR) | data.SalesVolume > (Q3 + 1.5 * IQR);
disp('异常值的行号:');
disp(find(outliers));
  • data.SalesVolume < (Q1 - 1.5 * IQR):检查是否有值低于 Q1 - 1.5 * IQR
  • data.SalesVolume > (Q3 + 1.5 * IQR):检查是否有值高于 Q3 + 1.5 * IQR
  • outliers 是一个逻辑向量,指示每个数据点是否是异常值。
  1. 处理异常值
Matlab 复制代码
% 用中位数填补异常值
data.SalesVolume(outliers) = median(data.SalesVolume);
  • median(data.SalesVolume):计算 SalesVolume 的中位数。
  • data.SalesVolume(outliers) = median(data.SalesVolume);:将所有识别为异常值的 SalesVolume 替换为中位数。
相关推荐
时光追逐者30 分钟前
MongoDB从入门到实战之MongoDB快速入门(附带学习路线图)
数据库·学习·mongodb
一弓虽35 分钟前
SpringBoot 学习
java·spring boot·后端·学习
晓数2 小时前
【硬核干货】JetBrains AI Assistant 干货笔记
人工智能·笔记·jetbrains·ai assistant
我的golang之路果然有问题2 小时前
速成GO访问sql,个人笔记
经验分享·笔记·后端·sql·golang·go·database
genggeng不会代码2 小时前
用于协同显著目标检测的小组协作学习 2021 GCoNet(总结)
学习
lwewan2 小时前
26考研——存储系统(3)
c语言·笔记·考研
搞机小能手3 小时前
六个能够白嫖学习资料的网站
笔记·学习·分类
nongcunqq3 小时前
爬虫练习 js 逆向
笔记·爬虫
汐汐咯3 小时前
终端运行java出现???
笔记
The_cute_cat5 小时前
25.4.22学习总结
学习