[Machine Learning][Part 8]神经网络的学习训练过程

目录

训练过程

一、建立模型:

[二、建立损失函数 J(w,b):](#二、建立损失函数 J(w,b):)

三、寻找最小损失函数的(w,b)组合

为什么需要激活函数

激活函数种类

二分法逻辑回归模型

线性回归模型

回归模型


训练过程

一、建立模型:

根据需求建立模型,从前面神经网络的结果可以知道,每一层都有若干个模型在运行,因此建立神经网络就需要先根据需求确定计算模型,也就是得到

逻辑回归模型公式为:

上面三层的神经网络的代码实现为:

python 复制代码
import tensorflow as tf
from tensorflow.keras import Sequential
from tensorflow.keras.layers import Dense

model = Sequential([
    Dense(units = 25,activation='Sigmoid')
    Dense(units = 25,activation='Sigmoid')
    Dense(units = 25,activation='Sigmoid')
])

二、建立损失函数 J(w,b):

例如线性回归的

二分法逻辑回归的损失函数为:

代码实现为:

python 复制代码
from tensorflow.keras.losses import BinaryCrossentropy
model.compile(loss = BinaryCrossentropy())

三、寻找最小损失函数的(w,b)组合

梯度下降法:

代码实现为:循环100次

python 复制代码
model.fit(X,y,epochs=100)

为什么需要激活函数

可以看到在建立模型的过程中,代码中使用了activation激活函数。

python 复制代码
Dense(units = 25,activation='Sigmoid')

如果不用激活函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合,这种情况就是最原始的感知机(Perceptron)。如果使用的话,激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中。

具体的分析这个博主讲的很清楚,可以参考学习一下:

深度学习:神经网络中为什么需要使用激活函数?(超详细)_神经网络为什么需要激活函数-CSDN博客

激活函数种类

二分法逻辑回归模型

这种模型输出非0即1,可以选择Sigmoid

python 复制代码
Dense(units = 25,activation='Sigmoid')

线性回归模型

这种输出可以是各种正负数值,可以仍然选用线性激活函数linear activation function

python 复制代码
 Dense(units = 25,activation='linear')

回归模型

输出只能是0以及正数,可以选择ReLU

python 复制代码
   Dense(units = 25,activation='relu')
相关推荐
千宇宙航3 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
IT古董3 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(4)模型评价与调整(Model Evaluation & Tuning)
神经网络·机器学习·回归
天水幼麟4 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
天水幼麟7 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
沧海一笑-dj7 小时前
【51单片机】51单片机学习笔记-课程简介
笔记·学习·51单片机·江科大·江科大学习笔记·江科大单片机·江科大51单片机
老虎06277 小时前
JavaWeb(苍穹外卖)--学习笔记04(前端:HTML,CSS,JavaScript)
前端·javascript·css·笔记·学习·html
蓝婷儿8 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手8 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
大苏打seven8 小时前
Docker学习笔记:Docker网络
笔记·学习·docker
我就是全世界9 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm