价格分类(神经网络)

复制代码
# 1.导入依赖包
import time

import torch
import torch.nn as nn
import torch.optim as optim

from torch.utils.data import TensorDataset, DataLoader
from sklearn.model_selection import train_test_split

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

from torchsummary import summary


# 2.构建数据集
def create_dataset():
    # 2.1 读取数据集
    data = pd.read_csv('dataset/手机价格预测.csv')

    # 2.2 获取特征值和目标值,类型转化  特征(Float)  标签(Long)
    x, y = data.iloc[:, :-1], data.iloc[:, -1]
    x, y = x.astype(np.float32), y.astype(np.int64)

    # 2.3 数据集划分
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2,random_state=2)

    # 2.4 数据转Tensor
    train_dataset = TensorDataset(torch.from_numpy(x_train.values), torch.tensor(y_train.values))
    test_dataset = TensorDataset(torch.from_numpy(x_test.values), torch.tensor(y_test.values))

    return train_dataset, test_dataset, x_train.shape[1], len(np.unique(y))


# 3. 构建模型
class PhonePriceModel(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(PhonePriceModel, self).__init__()
        self.linear1 = nn.Linear(input_dim, 256)
        self.linear2 = nn.Linear(256, 1024)
        self.fc = nn.Linear(1024, output_dim)

    def forward(self, x):
        x = torch.relu(self.linear1(x))
        x = torch.relu(self.linear2(x))
        output = self.fc(x)
        # output = torch.softmax(self.fc(x), dim=-1)

        return output


# 4.模型训练(225)
def train(model, train_dataset, num_epochs, batch_size):
    # 2 初始化参数  损失函数  优化器
    loss1 = nn.CrossEntropyLoss()
    # optimizer = optim.SGD(model.parameters(), lr=1e-4, momentum=0.9)
    optimizer = optim.Adam(model.parameters(), lr=1e-4, betas=(0.99, 0.99))

    start = time.time()

    # 2 2个遍历  epoch  dataloader
    for epoch in range(num_epochs):
        dataloader = DataLoader(train_dataset, shuffle=True, batch_size=batch_size)

        total_num = 0
        total_loss = 0.0
        for x, y in dataloader:
            # 5 前向传播  损失计算 梯度归零  反向传播 参数更新
            output = model(x)
            loss = loss1(output, y)
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()

            total_num += 1  # 批次
            total_loss += loss.item()

        epoch += 1

        print(f'epoch:{epoch + 1:4d},loss:{total_loss / (total_num * epoch):.4f}, time:{time.time() - start:.2f}s')
    # 模型持久化
    torch.save(model.state_dict(), 'model/phone2.pth')


# 5.模型预测评估
def test(model, test_dataset, input_dim, output_dim):
    # 3.导入数据
    dataloader = DataLoader(test_dataset, batch_size=8, shuffle=False)

    correct = 0
    # 4.遍历数据
    for x, y in dataloader:
        # 4.1 前向传播
        output = model(x)
        print(output)
        # 4.2 获取输出结果(类别)
        y_pred = torch.argmax(output, dim=1)
        # print(y_pred)  # 预测错误
        # 4.3 计算准确率Acc
        correct += (y_pred == y).sum()
        print(correct.item())
    Acc = correct.item() / len(test_dataset)

    return Acc


if __name__ == '__main__':
    train_dataset, test_dataset, feature_num, label_num = create_dataset()
    # 1.实例化模型
    model = PhonePriceModel(feature_num, label_num)
    # 2.加载模型
    model.load_state_dict(torch.load('model/phone2.pth'))
    # 模型训练
    # train(model, train_dataset, num_epochs=50, batch_size=8)

    # 模型预测
    Acc = test(model, test_dataset, feature_num, label_num)
    print(f'Acc:{Acc:.5f}')
相关推荐
pblh1232 小时前
spark 3.4.4 利用Spark ML中的交叉验证、管道流实现鸢尾花分类预测案例选取最优模型
分类·数据挖掘·spark-ml
阡之尘埃2 小时前
Python数据分析案例65——基于深度学习的音频文件分类(音频文件特征提取和模型构建)
python·深度学习·分类·数据分析·数据可视化·音频文件
TsingtaoAI3 小时前
数据挖掘/深度学习-高校实训解决方案
人工智能·深度学习·数据挖掘·实训平台·ai实训课程·高校ai实训·高校实训
卧式纯绿4 小时前
自动驾驶3D目标检测综述(四)
人工智能·神经网络·目标检测·3d·目标跟踪·cnn·自动驾驶
CoderIsArt5 小时前
基于 DRNN 神经网络整定的 PID 解耦控制
人工智能·深度学习·神经网络
标贝科技5 小时前
标贝科技:自动驾驶中的数据标注类别分享
数据库·人工智能·ai·数据挖掘·数据分析·自动驾驶·数据标注
AI小杨7 小时前
【数据挖掘】一、基于LDA的用户兴趣建模(兴趣标签生成模型)--用户兴趣挖掘模型
人工智能·数据挖掘·lda·用户兴趣标签生成模型·主题挖掘
AI小杨8 小时前
【数据分析】一、pandas数据处理指南:100个基于pandas数据预处理方法
python·数据挖掘·数据分析·pandas·pandas使用技巧
終不似少年遊*8 小时前
数据分析-机器学习-第三方库使用基础
python·机器学习·数据挖掘·数据分析·numpy