吴恩达《机器学习》8-5->8-6:特征与直观理解I、样本与值观理解II

8.5、特征与直观理解I

一、神经网络的学习特性

神经网络通过学习可以得出自身的一系列特征。相对于普通的逻辑回归,在使用原始特征 x1​,x2​,...,xn​ 时受到一定的限制。虽然可以使用一些二项式项来组合这些特征,但仍然受到原始特征的限制。在神经网络中,原始特征仅作为输入层存在。以一个三层的神经网络为例,输出层所做的预测利用的是第二层的特征,而不是输入层中的原始特征。因此,可以将第二层中的特征看作是神经网络通过学习后自动生成的一系列新特征,用于更好地预测输出变量。

二、神经元与逻辑运算

单层神经元,即没有中间层的情况,可以被用来表示逻辑运算,如逻辑与(AND)和逻辑或(OR)。通过一个简单的例子来说明逻辑与(AND)的表示。

逻辑与(AND)的神经网络表示

逻辑或(OR)的神经网络表示

逻辑或(OR)的表示与逻辑与(AND)类似,区别在于权重不同。通过选择合适的权重,可以构建表示逻辑或的神经网络。

8.6、样本与值观理解II

一、二元逻辑运算符与神经元表示

当输入特征为布尔值(0 或 1)时,可以使用单一的激活层来表示二元逻辑运算符。关键在于选择不同的权重,从而实现不同的逻辑运算。下面是几个例子:

1. 逻辑与(AND)的神经元表示

考虑一个神经元,其三个权重分别为 Θ0=−30,Θ1=20,Θ2=20。这个神经元的输出可以被视为等同于逻辑与(AND)运算。

2. 逻辑或(OR)的神经元表示

另一个神经元,其三个权重分别为 Θ0=−10,Θ1=20,Θ2=20,可以被视为等同于逻辑或(OR)运算。

3. 逻辑非(NOT)的神经元表示

一个仅含有两个权重的神经元,权重分别为 10 和−20,可以被视为等同于逻辑非(NOT)运算。

二、组合神经元实现复杂运算

通过组合这些神经元,可以实现更为复杂的逻辑运算。例如,想要实现 XNOR 运算符(当输入的两个值均为 1 或均为 0 时输出 1,否则输出 0),可以按照以下步骤:

  1. 构造一个能表示(NOT x1) AND (NOT x2) 部分的神经元。
  2. 将表示逻辑与(AND)的神经元和表示(NOT x1) AND (NOT x2) 的神经元以及表示逻辑或(OR)的神经元进行组合。

通过这样的方法,得到了一个能实现 XNOR 运算符功能的神经网络。

参考资料

[中英字幕]吴恩达机器学习系列课程

黄海广博士 - 吴恩达机器学习个人笔记

相关推荐
xchenhao1 小时前
SciKit-Learn 全面分析分类任务 breast_cancer 数据集
python·机器学习·分类·数据集·scikit-learn·svm
范纹杉想快点毕业5 小时前
ZYNQ PS 端 UART 接收数据数据帧(初学者友好版)嵌入式编程 C语言 c++ 软件开发
c语言·笔记·stm32·单片机·嵌入式硬件·mcu·51单片机
先做个垃圾出来………5 小时前
残差连接的概念与作用
人工智能·算法·机器学习·语言模型·自然语言处理
IT学长编程7 小时前
计算机毕业设计 基于大数据技术的医疗数据分析与研究 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·机器学习·数据分析·毕业设计·毕业论文·医疗数据分析
Yingjun Mo7 小时前
1. 统计推断-基于神经网络与Langevin扩散的自适应潜变量建模与优化
人工智能·神经网络·算法·机器学习·概率论
茯苓gao8 小时前
STM32G4 电流环闭环
笔记·stm32·单片机·嵌入式硬件·学习
AI小白的Python之路8 小时前
机器学习-集成学习
人工智能·机器学习·集成学习
easy20208 小时前
机器学习的本质:从跑模型到真正解决问题
笔记·学习·机器学习
Blossom.1188 小时前
从“能写”到“能干活”:大模型工具调用(Function-Calling)的工程化落地指南
数据库·人工智能·python·深度学习·机器学习·计算机视觉·oracle
汇能感知9 小时前
摄像头模组在智能家居设备中的应用
经验分享·笔记·科技