自定义数据集 使用paddlepaddle框架实现逻辑回归并保存模型,然后保存模型后再加载模型进行预测

自定义数据集:通过继承 paddle.io.Dataset 类创建自定义数据集,并重写 getitemlen 方法。

定义逻辑回归模型:继承 paddle.nn.Layer 类,定义一个简单的线性层,并在 forward 方法中应用sigmoid激活函数。

训练模型:使用二元交叉熵损失函数 BCELoss 和随机梯度下降优化器 SGD 进行训练。

保存模型:使用 paddle.save 保存模型的参数。

加载模型并预测:加载保存的模型参数,设置模型为评估模式,然后对新数据进行预测。

import paddle

import numpy as np

from paddle.io import Dataset, DataLoader

自定义数据集

class MyDataset(Dataset):

def init(self, data, labels):

self.data = data

self.labels = labels

def getitem(self, idx):

return self.dataidx, self.labelsidx

def len(self):

return len(self.data)

生成一些自定义数据

np.random.seed(0)

data = np.random.randn(100, 10).astype('float32')

labels = np.random.randint(0, 2, size=(100, 1)).astype('float32')

创建数据集和数据加载器

dataset = MyDataset(data, labels)

dataloader = DataLoader(dataset, batch_size=10, shuffle=True)

定义逻辑回归模型

class LogisticRegression(paddle.nn.Layer):

def init(self, input_dim):

super(LogisticRegression, self).init()

self.linear = paddle.nn.Linear(input_dim, 1)

def forward(self, x):

return paddle.nn.functional.sigmoid(self.linear(x))

model = LogisticRegression(input_dim=10)

定义损失函数和优化器

criterion = paddle.nn.BCELoss()

optimizer = paddle.optimizer.SGD(learning_rate=0.01, parameters=model.parameters())

训练模型

num_epochs = 100

for epoch in range(num_epochs):

for batch_data, batch_labels in dataloader:

optimizer.clear_grad()

outputs = model(batch_data)

loss = criterion(outputs, batch_labels)

loss.backward()

optimizer.step()

if (epoch + 1) % 10 == 0:

print(f'Epoch {epoch + 1}/{num_epochs}, Loss: {loss.item():.4f}')

保存模型

paddle.save(model.state_dict(), 'logistic_regression.pdparams')

加载模型进行预测

loaded_model = LogisticRegression(input_dim=10)

loaded_model.set_state_dict(paddle.load('logistic_regression.pdparams'))

loaded_model.eval()

进行预测

new_data = np.random.randn(10, 10).astype('float32')

new_data = paddle.to_tensor(new_data)

predictions = loaded_model(new_data)

print("Predictions:")

print(predictions)

相关推荐
江畔柳前堤7 小时前
大语言模型分布式训练:从并行策略到万卡工程的系统梳理
人工智能·分布式·深度学习·算法·目标检测·机器学习·语言模型
罗西的思考10 小时前
【OpenClaw具身硬件】MiniClaw 阅读笔记---(1)基础
人工智能·算法·机器学习
牧羊人.33317 小时前
速通机器学习 11| K-Means 聚类
机器学习·kmeans·聚类
过期的秋刀鱼!17 小时前
带替换的采样
人工智能·python·算法·决策树·机器学习
过期的秋刀鱼!18 小时前
使用多个决策树
人工智能·算法·决策树·机器学习·数据挖掘
databook18 小时前
如何快速构建一个数据科学应用?从零到上线
python·机器学习·scikit-learn
doubt。20 小时前
大模型prompt工程Zero-Shot与Few-Shot以及json格式
人工智能·深度学习·机器学习·语言模型·json·prompt
过期的秋刀鱼!1 天前
使用都热编码的分类特征
人工智能·算法·决策树·机器学习·分类·数据挖掘
watersink1 天前
机器学习FM、FFM
人工智能·机器学习
eric-sjq1 天前
10 分钟实战:用 0.6B 本地模型生成中文网页(WanlyFrontend + 编译器全流程)
javascript·机器学习·自然语言处理·html