机器学习(五)

一,多类(Multiclass)

多类是指输出不止有两个输出标签,想要对多个种类进行分类。

Softmax回归算法:

Softmax回归算法是Logistic回归在多类问题上的推广,和线性回归一样,将输入的特征与权重进行线性叠加,主要不同在于,Softmax回归的输出值个数取决于输入标签的类别的个数。

例:

一共输入有四种特征和三种输出类别,权重(W)包含12个标量,偏置(b)包含3个标量,对于每个输入标签进行线性叠加,得到3个输出:o1,o2,o3

进行Softmax回归:

2,Softmax函数:

对每个类别进行指数函数处理,然后归一化,使得所有类别的概率之和为1。当有n个类别时,可以通过公式来比较的值并输出

3,Softmax回归的损失函数:

损失函数和逻辑回归相似。

4,在人工神经网络的Softmax输出:

与逻辑回归不同,Softmax回归的输出函数与每个Z都有关系

对每一隐藏层的每个单元进行Softmax回归,产生的激活值传递给下一隐藏层,以此类推。

5,利用TensorFlow实现Softmax回归:

①:建立模型

②:定义代价函数和损失函数

③:训练数据得到最小代价函数

6,Softmax回归的改进:

原因:由于电脑计算的先后顺序不一样,可能会导致结果的偏差,(精度损失?),因此需要在计算中选择更合适的方法。

方法:张量流

张量流通过重新编排代价函数中的项,并提出一个更为精准的数值方法来计算代价函数,即选择是否计算a。

采用图中修改的代码进行计算,最后只会计算出Z。缺点是使得Softmax回归过程变得不是很清晰,张量流的数据减少。

(整个优化后的代码如上图所示)

相关推荐
Brian Xia8 分钟前
Word2Vec模型详解:CBOW与Skip-gram
人工智能·自然语言处理·word2vec
ai小鬼头10 分钟前
AIStarter 3.2.0更新!一键离线导入+高速下载,熊哥教你轻松玩转AI工具
人工智能·程序员·github
蓝婷儿16 分钟前
Python 机器学习核心入门与实战进阶 Day 7 - 复盘 + 综合实战挑战
python·机器学习
若兰幽竹21 分钟前
基于DeepSeek构建的openGauss AI智能优化助手:数据库性能提升新利器
人工智能·大模型·opengauss·deepseek
后端小肥肠27 分钟前
揭秘10W+AI动物运动会视频,我用Coze一键搞定全流程(附保姆级拆解)
人工智能·aigc·coze
李元豪1 小时前
【知足常乐ai笔记】机器人强化学习
人工智能·笔记·机器人
沫儿笙1 小时前
焊接机器人智能节气装置
人工智能·机器人
MidJourney中文版1 小时前
老年人与机器人玩具的情感连接
人工智能·机器人·语音识别
Codebee1 小时前
AI驱动的低代码革命:解构与重塑开发范式
人工智能·低代码·代码规范
数据库安全1 小时前
首批|美创智能数据安全分类分级平台获CCIA“网络安全新产品”
大数据·人工智能·web安全