PyTorch学习：使用pytorch进行数据预处理

今天也是元气满满的一天呢2023-09-23 12:19

本文基于jupiter，将从如何读取数据集、对数据集处理缺失值、将数据转为张量形式来完成对数据的预处理。

其中用到的数据集有：house_tiny.csv、boston_house_prices.csv、Iris.txt

数据集： https://pan.baidu.com/s/17-xn66iShCXQCqZREo51Zw?pwd=5q6s

一、读取数据集

由于我未找到鸢尾花iris数据集的csv或者xlsx形式，所以对该数据集进行加工

1.代码

python 复制代码 
import torch
import numpy as np
import pandas as pd
house_tiny=pd.read_csv('house_tiny.csv')
boston_house_prices=pd.read_csv('boston_house_prices.csv')
# 读取文本文件
with open('iris(1).txt', 'r') as file:
    lines = file.readlines()
# 分割每行的数据
data = [line.strip().split('\t') for line in lines]
# 创建 DataFrame 对象
df = pd.DataFrame(data)
# 将 DataFrame 保存为 Excel 文件
df.to_csv('iris.csv', index=False)

将iris数据集存为iris.csv形式。

2.结果

如下图所示，将这几个数据集都成功读入

二、对数据进行缺失值处理

1.代码

我使用的是用平均数来填补缺失值，同时将处理好的数据集放进一个新的csv文件

python 复制代码 
# 使用平均数填充缺失值
house_tiny_fill=house_tiny.fillna(house_tiny.mean())
boston_fill=boston_house_prices.fillna(boston_house_prices.mean())
iris_fill = df.fillna(df.mean())
# 将补过缺失值的数据保存为新的 Excel 文件
house_tiny_fill.to_csv('house_tiny_fill.csv', index=False)
boston_fill.to_csv('boston_fill.csv',index=False)
iris_fill.to_csv('iris_fill.csv',index=False)

2.结果

以house_tiny的数据为例：

处理前：

处理后：

三、将数据转为张量形式

先使用 astype() 方法将 numpy.object_ 类型的数据转换为 float64 类型的数据，然后再创建张量。

将数据转为张量，我遇到一个问题：

也就是我的house_tiny数据集中有一列'pave'无法转成float64。

所以再对数据进行处理，然后去除掉'pave'这列在进行tensor转换

1.代码

python 复制代码 
#取house_tiny_fill的数值
house_tiny_data = pd.read_csv('house_tiny_fill.csv', usecols=['NumRooms', 'Price'])
# 将两列数据存储到 NumPy 数组中
house_tiny_array = np.column_stack((house_tiny_data['NumRooms'].to_numpy(), house_tiny_data['Price'].to_numpy()))
#转成张量
tensor_house_tiny = torch.tensor(house_tiny_data.values)
tensor_iris = torch.tensor(iris.values)
tensor_boston = torch.tensor(boston_fill.values)

2.结果

数据处理前：

数据处理后：

由此就可成功转为tensor

四、张量输出

1.代码

python 复制代码 
print('tensor_house_tiny',tensor_house_tiny)
print('tensor_iris',tensor_iris)
print('tensor_boston_house_prices',tensor_boston_house_prices)

2.结果

python 复制代码 
tensor_house_tiny tensor([[2.0000e+00, 1.2750e+05],
        [2.0000e+00, 1.0600e+05],
        [4.0000e+00, 1.7810e+05],
        [2.0000e+00, 1.4000e+05]], dtype=torch.float64)
tensor_iris tensor([[5.1000, 3.5000, 1.4000, 0.2000, 1.0000],
        [4.9000, 3.0000, 1.4000, 0.2000, 1.0000],
        [4.7000, 3.2000, 1.3000, 0.2000, 1.0000],
        [4.6000, 3.1000, 1.5000, 0.2000, 1.0000],
        [5.0000, 3.6000, 1.4000, 0.2000, 1.0000],
        [5.4000, 3.9000, 1.7000, 0.4000, 1.0000],
        [4.6000, 3.4000, 1.4000, 0.3000, 1.0000],
        [5.0000, 3.4000, 1.5000, 0.2000, 1.0000],
        [4.4000, 2.9000, 1.4000, 0.2000, 1.0000],
        [4.9000, 3.1000, 1.5000, 0.1000, 1.0000],
        [5.4000, 3.7000, 1.5000, 0.2000, 1.0000],
        [4.8000, 3.4000, 1.6000, 0.2000, 1.0000],
        [4.8000, 3.0000, 1.4000, 0.1000, 1.0000],
        [4.3000, 3.0000, 1.1000, 0.1000, 1.0000],
        [5.8000, 4.0000, 1.2000, 0.2000, 1.0000],
        [5.7000, 4.4000, 1.5000, 0.4000, 1.0000],
        [5.4000, 3.9000, 1.3000, 0.4000, 1.0000],
        [5.1000, 3.5000, 1.4000, 0.3000, 1.0000],
        [5.7000, 3.8000, 1.7000, 0.3000, 1.0000],
        [5.1000, 3.8000, 1.5000, 0.3000, 1.0000],
        [5.4000, 3.4000, 1.7000, 0.2000, 1.0000],
        [5.1000, 3.7000, 1.5000, 0.4000, 1.0000],
        [4.6000, 3.6000, 1.0000, 0.2000, 1.0000],
        [5.1000, 3.3000, 1.7000, 0.5000, 1.0000],
        [4.8000, 3.4000, 1.9000, 0.2000, 1.0000],
        [5.0000, 3.0000, 1.6000, 0.2000, 1.0000],
        [5.0000, 3.4000, 1.6000, 0.4000, 1.0000],
        [5.2000, 3.5000, 1.5000, 0.2000, 1.0000],
        [5.2000, 3.4000, 1.4000, 0.2000, 1.0000],
        [4.7000, 3.2000, 1.6000, 0.2000, 1.0000],
        [4.8000, 3.1000, 1.6000, 0.2000, 1.0000],
        [5.4000, 3.4000, 1.5000, 0.4000, 1.0000],
        [5.2000, 4.1000, 1.5000, 0.1000, 1.0000],
        [5.5000, 4.2000, 1.4000, 0.2000, 1.0000],
        [4.9000, 3.1000, 1.5000, 0.1000, 1.0000],
        [5.0000, 3.2000, 1.2000, 0.2000, 1.0000],
        [5.5000, 3.5000, 1.3000, 0.2000, 1.0000],
        [4.9000, 3.1000, 1.5000, 0.1000, 1.0000],
        [4.4000, 3.0000, 1.3000, 0.2000, 1.0000],
        [5.1000, 3.4000, 1.5000, 0.2000, 1.0000],
        [5.0000, 3.5000, 1.3000, 0.3000, 1.0000],
        [4.5000, 2.3000, 1.3000, 0.3000, 1.0000],
        [4.4000, 3.2000, 1.3000, 0.2000, 1.0000],
        [5.0000, 3.5000, 1.6000, 0.6000, 1.0000],
        [5.1000, 3.8000, 1.9000, 0.4000, 1.0000],
        [4.8000, 3.0000, 1.4000, 0.3000, 1.0000],
        [5.1000, 3.8000, 1.6000, 0.2000, 1.0000],
        [4.6000, 3.2000, 1.4000, 0.2000, 1.0000],
        [5.3000, 3.7000, 1.5000, 0.2000, 1.0000],
        [5.0000, 3.3000, 1.4000, 0.2000, 1.0000],
        [7.0000, 3.2000, 4.7000, 1.4000, 2.0000],
        [6.4000, 3.2000, 4.5000, 1.5000, 2.0000],
        [6.9000, 3.1000, 4.9000, 1.5000, 2.0000],
        [5.5000, 2.3000, 4.0000, 1.3000, 2.0000],
        [6.5000, 2.8000, 4.6000, 1.5000, 2.0000],
        [5.7000, 2.8000, 4.5000, 1.3000, 2.0000],
        [6.3000, 3.3000, 4.7000, 1.6000, 2.0000],
        [4.9000, 2.4000, 3.3000, 1.0000, 2.0000],
        [6.6000, 2.9000, 4.6000, 1.3000, 2.0000],
        [5.2000, 2.7000, 3.9000, 1.4000, 2.0000],
        [5.0000, 2.0000, 3.5000, 1.0000, 2.0000],
        [5.9000, 3.0000, 4.2000, 1.5000, 2.0000],
        [6.0000, 2.2000, 4.0000, 1.0000, 2.0000],
        [6.1000, 2.9000, 4.7000, 1.4000, 2.0000],
        [5.6000, 2.9000, 3.6000, 1.3000, 2.0000],
        [6.7000, 3.1000, 4.4000, 1.4000, 2.0000],
        [5.6000, 3.0000, 4.5000, 1.5000, 2.0000],
        [5.8000, 2.7000, 4.1000, 1.0000, 2.0000],
        [6.2000, 2.2000, 4.5000, 1.5000, 2.0000],
        [5.6000, 2.5000, 3.9000, 1.1000, 2.0000],
        [5.9000, 3.2000, 4.8000, 1.8000, 2.0000],
        [6.1000, 2.8000, 4.0000, 1.3000, 2.0000],
        [6.3000, 2.5000, 4.9000, 1.5000, 2.0000],
        [6.1000, 2.8000, 4.7000, 1.2000, 2.0000],
        [6.4000, 2.9000, 4.3000, 1.3000, 2.0000],
        [6.6000, 3.0000, 4.4000, 1.4000, 2.0000],
        [6.8000, 2.8000, 4.8000, 1.4000, 2.0000],
        [6.7000, 3.0000, 5.0000, 1.7000, 2.0000],
        [6.0000, 2.9000, 4.5000, 1.5000, 2.0000],
        [5.7000, 2.6000, 3.5000, 1.0000, 2.0000],
        [5.5000, 2.4000, 3.8000, 1.1000, 2.0000],
        [5.5000, 2.4000, 3.7000, 1.0000, 2.0000],
        [5.8000, 2.7000, 3.9000, 1.2000, 2.0000],
        [6.0000, 2.7000, 5.1000, 1.6000, 2.0000],
        [5.4000, 3.0000, 4.5000, 1.5000, 2.0000],
        [6.0000, 3.4000, 4.5000, 1.6000, 2.0000],
        [6.7000, 3.1000, 4.7000, 1.5000, 2.0000],
        [6.3000, 2.3000, 4.4000, 1.3000, 2.0000],
        [5.6000, 3.0000, 4.1000, 1.3000, 2.0000],
        [5.5000, 2.5000, 4.0000, 1.3000, 2.0000],
        [5.5000, 2.6000, 4.4000, 1.2000, 2.0000],
        [6.1000, 3.0000, 4.6000, 1.4000, 2.0000],
        [5.8000, 2.6000, 4.0000, 1.2000, 2.0000],
        [5.0000, 2.3000, 3.3000, 1.0000, 2.0000],
        [5.6000, 2.7000, 4.2000, 1.3000, 2.0000],
        [5.7000, 3.0000, 4.2000, 1.2000, 2.0000],
        [5.7000, 2.9000, 4.2000, 1.3000, 2.0000],
        [6.2000, 2.9000, 4.3000, 1.3000, 2.0000],
        [5.1000, 2.5000, 3.0000, 1.1000, 2.0000],
        [5.7000, 2.8000, 4.1000, 1.3000, 2.0000],
        [6.3000, 3.3000, 6.0000, 2.5000, 3.0000],
        [5.8000, 2.7000, 5.1000, 1.9000, 3.0000],
        [7.1000, 3.0000, 5.9000, 2.1000, 3.0000],
        [6.3000, 2.9000, 5.6000, 1.8000, 3.0000],
        [6.5000, 3.0000, 5.8000, 2.2000, 3.0000],
        [7.6000, 3.0000, 6.6000, 2.1000, 3.0000],
        [4.9000, 2.5000, 4.5000, 1.7000, 3.0000],
        [7.3000, 2.9000, 6.3000, 1.8000, 3.0000],
        [6.7000, 2.5000, 5.8000, 1.8000, 3.0000],
        [7.2000, 3.6000, 6.1000, 2.5000, 3.0000],
        [6.5000, 3.2000, 5.1000, 2.0000, 3.0000],
        [6.4000, 2.7000, 5.3000, 1.9000, 3.0000],
        [6.8000, 3.0000, 5.5000, 2.1000, 3.0000],
        [5.7000, 2.5000, 5.0000, 2.0000, 3.0000],
        [5.8000, 2.8000, 5.1000, 2.4000, 3.0000],
        [6.4000, 3.2000, 5.3000, 2.3000, 3.0000],
        [6.5000, 3.0000, 5.5000, 1.8000, 3.0000],
        [7.7000, 3.8000, 6.7000, 2.2000, 3.0000],
        [7.7000, 2.6000, 6.9000, 2.3000, 3.0000],
        [6.0000, 2.2000, 5.0000, 1.5000, 3.0000],
        [6.9000, 3.2000, 5.7000, 2.3000, 3.0000],
        [5.6000, 2.8000, 4.9000, 2.0000, 3.0000],
        [7.7000, 2.8000, 6.7000, 2.0000, 3.0000],
        [6.3000, 2.7000, 4.9000, 1.8000, 3.0000],
        [6.7000, 3.3000, 5.7000, 2.1000, 3.0000],
        [7.2000, 3.2000, 6.0000, 1.8000, 3.0000],
        [6.2000, 2.8000, 4.8000, 1.8000, 3.0000],
        [6.1000, 3.0000, 4.9000, 1.8000, 3.0000],
        [6.4000, 2.8000, 5.6000, 2.1000, 3.0000],
        [7.2000, 3.0000, 5.8000, 1.6000, 3.0000],
        [7.4000, 2.8000, 6.1000, 1.9000, 3.0000],
        [7.9000, 3.8000, 6.4000, 2.0000, 3.0000],
        [6.4000, 2.8000, 5.6000, 2.2000, 3.0000],
        [6.3000, 2.8000, 5.1000, 1.5000, 3.0000],
        [6.1000, 2.6000, 5.6000, 1.4000, 3.0000],
        [7.7000, 3.0000, 6.1000, 2.3000, 3.0000],
        [6.3000, 3.4000, 5.6000, 2.4000, 3.0000],
        [6.4000, 3.1000, 5.5000, 1.8000, 3.0000],
        [6.0000, 3.0000, 4.8000, 1.8000, 3.0000],
        [6.9000, 3.1000, 5.4000, 2.1000, 3.0000],
        [6.7000, 3.1000, 5.6000, 2.4000, 3.0000],
        [6.9000, 3.1000, 5.1000, 2.3000, 3.0000],
        [5.8000, 2.7000, 5.1000, 1.9000, 3.0000],
        [6.8000, 3.2000, 5.9000, 2.3000, 3.0000],
        [6.7000, 3.3000, 5.7000, 2.5000, 3.0000],
        [6.7000, 3.0000, 5.2000, 2.3000, 3.0000],
        [6.3000, 2.5000, 5.0000, 1.9000, 3.0000],
        [6.5000, 3.0000, 5.2000, 2.0000, 3.0000],
        [6.2000, 3.4000, 5.4000, 2.3000, 3.0000],
        [5.9000, 3.0000, 5.1000, 1.8000, 3.0000]], dtype=torch.float64)
tensor_boston_house_prices tensor([[6.3200e-03, 1.8000e+01, 2.3100e+00,  ..., 1.5300e+01, 4.9800e+00,
         2.4000e+01],
        [2.7310e-02, 0.0000e+00, 7.0700e+00,  ..., 1.7800e+01, 9.1400e+00,
         2.1600e+01],
        [2.7290e-02, 0.0000e+00, 7.0700e+00,  ..., 1.7800e+01, 4.0300e+00,
         3.4700e+01],
        ...,
        [6.0760e-02, 0.0000e+00, 1.1930e+01,  ..., 2.1000e+01, 5.6400e+00,
         2.3900e+01],
        [1.0959e-01, 0.0000e+00, 1.1930e+01,  ..., 2.1000e+01, 6.4800e+00,
         2.2000e+01],
        [4.7410e-02, 0.0000e+00, 1.1930e+01,  ..., 2.1000e+01, 7.8800e+00,
         1.1900e+01]], dtype=torch.float64)
相关推荐
撞南墙者2 分钟前
OpenCV自学系列（1）——简介和GUI特征操作
人工智能·opencv·计算机视觉
OCR_wintone4213 分钟前
易泊车牌识别相机，助力智慧工地建设
人工智能·数码相机·ocr
王哈哈^_^25 分钟前
【数据集】【YOLO】【VOC】目标检测数据集，查找数据集，yolo目标检测算法详细实战训练步骤！
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·pyqt
一者仁心31 分钟前
【AI技术】PaddleSpeech
人工智能
写代码的小阿帆32 分钟前
pytorch实现深度神经网络DNN与卷积神经网络CNN
pytorch·cnn·dnn
是瑶瑶子啦39 分钟前
【深度学习】论文笔记：空间变换网络（Spatial Transformer Networks）
论文阅读·人工智能·深度学习·视觉检测·空间变换
EasyCVR43 分钟前
萤石设备视频接入平台EasyCVR多品牌摄像机视频平台海康ehome平台（ISUP）接入EasyCVR不在线如何排查？
运维·服务器·网络·人工智能·ffmpeg·音视频
柳鲲鹏1 小时前
OpenCV视频防抖源码及编译脚本
人工智能·opencv·计算机视觉
西柚小萌新1 小时前
8.机器学习--决策树
人工智能·决策树·机器学习
向阳12181 小时前
Bert快速入门
人工智能·python·自然语言处理·bert
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10红米手机使用google play