《机器学习公式推导与代码实现》学习笔记，记录一下自己的学习过程，详细的内容请大家购买作者的书籍查阅。
这篇博客是将笔者边学边刷《机器学习公式推导与代码实现》的模型跟代码记录下来，部分地方结合自己的思考对原作者的代码有一定的改动，这些博客主要是动手去实现一些模型，感受机器学习各个模型能解决的问题以及收敛后的效果，所以对相关理论没有过于深入。
一.监督学习模型
logistic算法（对数几率回归）numpy实现
numpy实现lasso回归和ridge回归
线性判别分析LDA推导及手动实现
k近邻算法numpy实现
机器学习决策树公式推导和实现：ID3、CART
二.监督学习集成模型
基于numpy和sklearn实现集成学习Boosting算法AdaBoost
手动实现GBDT分类树和GBRT回归树
XGBoost分类树numpy实现
LightGBM简介和示例
CatBoost简单介绍以及原生库使用示例
随机森林numpy实现
三大集成学习模型XGBoost、LightGBM和CatBoost的对比与调参
三.无监督学习模型
kmeans手动实现
主成分分析法PCA的numpy实现
奇异值分解svd和图像压缩的numpy实现
四.概率模型
朴素贝叶斯和贝叶斯网络的推导与实现
EM算法简介、numpy编程EM算法实现三硬币问题
未完待续！机器学习博大精深，欢迎大家一起讨论！