PyTorch 深度学习实践-逻辑斯蒂回归

视频指路
参考博客笔记
参考笔记二

用来分类的模型

说明:1、 逻辑斯蒂回归和线性模型的明显区别是在线性模型的后面,添加了激活函数(非线性变换)

​ 2、分布的差异:KL散度,cross-entropy交叉熵

现在损失函数衡量不是距离而是分布,所以要改为交叉熵

sigmod的函数是一个在生物学中常见的S型函数,也称为S型生长曲线。在信息科学中,由于其单增以及反函数单增等性质,常被用作神经网络的激活函数,将变量映射到0,1之间。-------------摘自《百度百科》

sigmod函数也叫作Logistic函数,用于隐层神经单元输出,取值范围为(0,1),它可以将一个实数映射到(0,1)的区间,可以用来做二分类。在特征相差比较复杂或者相差不是特别大的时候效果比较好。

类实现:

python 复制代码
class LogisticRegressionModel(torch.nn.Module):
    def __init__(self):
        super(LogisticRegressionModel, self).__init__()
        self.linear = torch.nn.Linear(1,1)
 
    def forward(self, x):
        # y_pred = F.sigmoid(self.linear(x))
        y_pred = torch.sigmoid(self.linear(x))
        return y_pred

model = LogisticRegressionModel()

总python实现

python 复制代码
import torch

# prepare dataset
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])


# design model using class
class LogisticModel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.linear = torch.nn.Linear(1, 1)

    def forward(self, x):
        y_pred = torch.sigmoid(self.linear(x))#线性层后面加一层非线性SIGMOD激活函数
        return y_pred

logistic = LogisticModel()

# construct loss and optimizer
# reduction='mean'取平均  reduction='sum'求和 loss被累加
criterion = torch.nn.BCELoss(reduction='sum')
optimizer = torch.optim.SGD(logistic.parameters(), lr=0.01)

# training cycle forward, backward, update
for epoch in range(1000):
    y_pred = logistic(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss)

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print("w= ", logistic.linear.weight.item())
print("b= ", logistic.linear.bias.item())
x_test = torch.Tensor([4.0])
y_pred = logistic(x_test)
print("y_pred= ", y_pred)
相关推荐
森诺Alyson30 分钟前
前沿技术借鉴研讨-2025.10.28(超声数据)
论文阅读·经验分享·深度学习·论文笔记·论文讨论
九年义务漏网鲨鱼1 小时前
BLIP2 工业实战(一):从零实现 LAVIS 跌倒检测 (微调与“踩坑”指南)
人工智能·pytorch·深度学习·语言模型
CoookeCola2 小时前
开源图像与视频过曝检测工具:HSV色彩空间分析与时序平滑处理技术详解
人工智能·深度学习·算法·目标检测·计算机视觉·开源·音视频
CoovallyAIHub3 小时前
万字详解:多目标跟踪(MOT)终极指南
深度学习·算法·计算机视觉
java1234_小锋3 小时前
PyTorch2 Python深度学习 - 初识PyTorch2,实现一个简单的线性神经网络
开发语言·python·深度学习·pytorch2
高洁013 小时前
大模型-模型压缩:量化、剪枝、蒸馏、二值化 (4)
人工智能·python·深度学习·aigc·transformer
CoovallyAIHub3 小时前
Arm重磅加码边缘AI!Flexible Access开放v9平台,实现高端算力普惠
深度学习·算法·计算机视觉
小白狮ww5 小时前
dots.ocr 基于 1.7B 参数实现多语言文档处理,性能达 SOTA
人工智能·深度学习·机器学习·自然语言处理·ocr·小红书·文档处理
无风听海14 小时前
神经网络之窗口大小对词语义向量的影响
人工智能·深度学习·神经网络
Tiandaren15 小时前
自用提示词02 || Prompt Engineering || RAG数据切分 || 作用:通过LLM将文档切分成chunks
数据库·pytorch·深度学习·oracle·prompt·rag