Machine Learning：
监督学习
无监督学习
回归问题
聚类问题
单变量线性回归
代价函数
梯度下降
批量梯度下降
多变量线性回归
特征缩放、学习率
特征缩放、学习率
共轭梯度、局部优化论、有限内存局部优化论
神经网络
正向传播算法、反向传播算法
训练神经网络流程：
1、参数的随机初始化；
2、利用正向传播方法计算所有的输出；
3、编写计算代价函数J的代码；
4、利用反向传播方法计算所有偏导数；
5、利用数值检验方法检验这些偏导数；
6、利用优化算法来最小化代价函数
支持向量机SVM 大间距分类器
核函数：高斯、线性、多项式、字符串等；
非监督算法：聚类、降维算法；
K-均值；
异常检测；
随机剃度下降法、小批量剃度下降法；
集体编成智慧阅读
吴恩达--Deep learning ：
1、what is Neural Network?
神经元 、ReLU激活函数；
2、神经网络的监督学习：
CNN适用于图像、RNN；
非结构化数据难以处理；
sigmoid函数；
Week2：
Basics of Neural Network programming:
1、二分类（binary classification）
前向传播、反向传播；
逻辑回归；
Mtrain、Mtest；
2、逻辑回归：
代价函数；损失函数；
3、剃度下降法：
凸函数；学习率；求导、求偏导；
4、逻辑回归中的剃度下降；
5、向量化；
6、
Week3：Shallow neural networks
1、NN：
输入层、隐藏层、输出层；
2、向量化计算：
使用for进行计算很低效，转换成向量进行操作；
3、随机初始化；
4、深层神经网络：
超参数；
Class2：
1、高方差-过拟合
解决方法：正则化/多数据；L2正则化-权重衰减；正则化参数
高偏差-欠拟合
（随机失活正则化）dopout-压缩权重，预防过拟合；
2、加速训练的方法：
归一化输入：零均值；归一化方差；
梯度消失/梯度爆炸；
梯度检验；