机器学习基本概念
1、获取模型
步骤
1.1、假定未知函数
带未知参数的函数
1.2、定义损失函数
真实值：label
MAE
MSE
几率分布，cross-entropy?
1.3、优化
- 单独考虑一个参数
让损失函数最小，找导数为零的点
单独考虑w，w0是随机选取的一个数
斜率为负，左高右低，提高w，反之则反
埃塔：调整步伐，学习速率，自己设定的（即hyperparameters）
- 考虑两个参数
2、验证模型
预测未来数据
3、模型调整
观察真实资料，周期性的，每隔七天就特别低，这个模型显示只能预测一天，我们应该看一个周期七天的的数据，可能模型更精准，因此要调整模型，考虑七天的数据
线性回归模型太简单了，需要一个复杂的模型模拟预测，线性模型存在Model Bias
引入threshold
Piecewise LInear Curve线段组成
如果是连续的曲线，逼近
因此，假设X和Y关系复杂，那么我们假定一个带有未知数的函数，这个函数表示一堆蓝色的函数（Hard SIgmoid）加上一个常数。这个蓝色函数公式如何写？直接写不容易，可以用曲线逼近，用sigmoid函数 （即S形的函数）
调整b和w，可以获得不同形状的函数，来逼近蓝色函数
逼近模拟后获取新模型，之前使用单个特征值（x），接下来过渡到使用多个feature（x）
直观方式，考虑3个特征，j=1，2，3；i：一个i代表一个蓝色函数/sigmoid函数 。wij表示第i个sigmoid函数在第j个特征处的权重
转换成矩阵
用向量矩阵表示防治法，则转换成如下
接下来，找未知参数，重新定义一下符号，x：feature；未知参数：w，b ，cT，b，把这些拼起来，编程一个长向量
至此，完成了机器学习第一步：函数定义
接下来进行第2步，求损失函数
最后，优化，找一组set使误差最小，对每个一未知的参数计算微分
取部分资料进行计算，再用下一个资料算gradient，再更新参数，每次参数更新叫做update，所有batch看过后叫epoch
区别update和epoch，batch size也是hyperparams
- ReLU函数
hard sigmoid vs soft sigmoid
换成relu函数
接下来，继续改模型，反复求a，多做几次的sigmoid或relu运算
一层的意思是，通过一次ReLU运算
除夕，机器不知道
测试了几个模型，还不知道一个好名字，
神经网络 ，80，90年代已经出现，很多layer就叫deep，神经网络越叠越深
反复用ReLu或sigmoid函数，为什么不变胖，而是变深
overfitting（过拟合）：在训练资料好，在测试资料上不好
为了预测未来的资料，应该选3层还是4层，选模型问题
