Matlab数据处理学习笔记

1 :数据清洗

注:数据读取

(1)读取工作表

Matlab 复制代码
% 指定要读取的工作表
filename = 'sales_data.xlsx';
sheetName = 'Sheet2'; % 或者使用工作表编号,例如:sheetNumber = 2;

% 读取指定工作表的数据
data = readtable(filename, 'Sheet', sheetName);

% 显示前几行数据
head(data);

(2)写入工作表

Matlab 复制代码
writetable(data, 'yourfile_modified.xlsx'); % 写入到新文件
% 或者覆盖原有文件
% writetable(data, filename);

1.1 :缺失值检测和处理

a. 检测缺失值

Matlab 复制代码
% 检测缺失值
missing_data = any(ismissing(data), 2); % 沿着行查找
disp('缺失值的行号:');
disp(find(missing_data));

1)ismissing函数用于检测是否存在缺失值

2)any函数用于检测制定逻辑数组中是否存在true的值,可以指定检测的维度

3)find 函数用于返回逻辑数组中 true 值的索引。对于此用途,它用来找出包含缺失值的行号。

b.处理缺失值

删除缺失值:

Matlab 复制代码
data_clean = rmmissing(data);

用均值填补缺失值

Matlab 复制代码
% 用列的均值填补缺失值
data.SalesVolume = fillmissing(data.SalesVolume, 'movmean', 7); % 例如使用7天移动平均填补

2.2:异常值检测和处理

a.检测异常值

可以使用IQR方法:

  1. 计算四分位数和 IQR
Matlab 复制代码
% 计算四分位数和 IQR
Q1 = prctile(data.SalesVolume, 25);
Q3 = prctile(data.SalesVolume, 75);
IQR = Q3 - Q1;

% 识别异常值
outliers = data.SalesVolume < (Q1 - 1.5 * IQR) | data.SalesVolume > (Q3 + 1.5 * IQR);
disp('异常值的行号:');
disp(find(outliers));
  • prctile(data.SalesVolume, 25):计算 SalesVolume 的第 25 百分位数(Q1)。
  • prctile(data.SalesVolume, 75):计算 SalesVolume 的第 75 百分位数(Q3)。
  • IQR = Q3 - Q1:计算 IQR。
  1. 识别异常值
Matlab 复制代码
% 识别异常值
outliers = data.SalesVolume < (Q1 - 1.5 * IQR) | data.SalesVolume > (Q3 + 1.5 * IQR);
disp('异常值的行号:');
disp(find(outliers));
  • data.SalesVolume < (Q1 - 1.5 * IQR):检查是否有值低于 Q1 - 1.5 * IQR
  • data.SalesVolume > (Q3 + 1.5 * IQR):检查是否有值高于 Q3 + 1.5 * IQR
  • outliers 是一个逻辑向量,指示每个数据点是否是异常值。
  1. 处理异常值
Matlab 复制代码
% 用中位数填补异常值
data.SalesVolume(outliers) = median(data.SalesVolume);
  • median(data.SalesVolume):计算 SalesVolume 的中位数。
  • data.SalesVolume(outliers) = median(data.SalesVolume);:将所有识别为异常值的 SalesVolume 替换为中位数。
相关推荐
天天爱吃肉821841 分钟前
第十篇:电源设计的“能量矩阵”——无线充电与碳化硅LLC谐振
笔记·矩阵·汽车
Luis Li 的猫猫2 小时前
深度学习中的知识蒸馏
人工智能·经验分享·深度学习·学习·算法
鹿鸣悠悠4 小时前
第二月:学习 NumPy、Pandas 和 Matplotlib 是数据分析和科学计算的基础
学习·numpy·pandas
Java能学吗5 小时前
2.17学习总结
数据结构·学习
靡不有初1116 小时前
CCF-CSP第31次认证第二题——坐标变换(其二)【NA!前缀和思想的细节,输出为0的常见原因】
c++·学习·ccfcsp
我爱学习_zwj9 小时前
4.从零开始学会Vue--{{组件通信}}
前端·javascript·vue.js·笔记·前端框架
虾球xz9 小时前
游戏引擎学习第108天
学习·游戏引擎
好评笔记9 小时前
深度学习笔记——循环神经网络之LSTM
笔记·rnn·深度学习
初尘屿风10 小时前
小程序类毕业设计选题题目推荐 (29)
spring boot·后端·学习·微信·小程序·课程设计
Dawndddddd10 小时前
网络安全之攻防笔记--通用漏洞SQL注入之MySQL&mssql&postgresql
笔记·sql·web安全