机器学习杂笔记1:类型-数据集-效果评估-sklearn-机器学习算法分类

文章目录

1.类型

【1】监督学习:从成对的已经标记好的输入和输出经验数据作为一个输入进行学习,用来预测输出结果,是从有正确答案的例子中学习

任务:分类/回归

【2】无监督学习:在数据中发现一些规律

任务:聚类/降维

【3】半监督学习:介于监督学习与非监督学习之间的学习,一种增强学习,问题可以通过决策来获得反馈,但是反馈与某一个决策可能没有直接关系

2.数据集

三种类型

【1】训练集:用来进行训练(产生模型或算法)的数据集

规模:50%以上

问题:过度拟合

【2】测试集:用来专门进行测试已经学好的模型或者算法的数据集

规模:25%

【3】验证集:调整超参数变量

规模:余下部分

交叉验证

将数据集分成N块,使用N-1块进行训练,在另一块上测试。一次循环,直到每一块都测试过。

优点:

1.充分利用数据,在数据较少的情况下也能有较好的表现

2.交叉验证为模型的效果评估提供来比只有一个数据集更准确的方法

3.效果评估

复制代码
1.无监督学习
真阳性(TP):正确识别目标
假阳性(FP):错误识别目标
真阴性(TN):正确识别非目标
假阴性(FN):错误识别非目标

【指标】
准确率(ACC):(TP+TN)/(TP+TN+FP+FN)
精确率(P):TP/(TP+FP)
召回率(R):TP(TP+FN)

4.sklearn

sklearn.datasets.load_* 获取小规模数据集

sklearn.datasets.fetch_* 获取大规模数据

5.sklearn机器学习算法

python 复制代码
【分类】
`K-近邻算法 sklearn.neighbors   
贝叶斯算法   sklearn.naive_bayes
逻辑回归 sklearn。linear_model.LogisticRegression
决策树与随机森林 sklearn.tree
  
 【回归】
 线性回归  sklearn.linear_model.LinearRegression
 岭回归   sklearn.linear_model.Ridge
【无监督学习】
聚类 sklearn。cluster.KMeans
  

七种数据分析方法

1.对比分析

对比数量差异

例如:时间维度上进行环比、同比、定基对比

2.细分分析

逐步分析:例如-销售额上涨,先拆分到国家、省、市、门店,对比分析哪个区域变大带来的,或者拆分到大的品类、在进行细分到某个小的单品

交叉细分:同时选取两个或者三个维度的变量综合分析对结果或者群体的影响(例如:四象限分析、RFM模型)

3.A/B测试 (单一变量分析)

4.漏斗分析

漏斗图,展示某个特定流程中事件的变化情况,主要用于统计和计算转化率等关键数据

首先确定用户转化路径,之后通过量化每一步的转化率,来衡量一个商业或者产品的成败及可优化调整的点

一款电商类APP,从用户下载、访问、注册、浏览、交易,计算每一步的数值及漏斗比例

5.留存分析

用来分析用户参与情况/活跃程度的分析模型

常见留存指标有次日留存、七日留存、十五日留存、月留存等,表示目标用户在一段时间后回访产品或回到产品中完成某个行为的比例

6.相关分析

研究现象之间是否存在某种依存关系

方法:散点图、相关系数等

分类:单相关、复相关、偏相关

7.聚类分析

将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程

常见应用:用户细分、异常检测

相关推荐
牛客企业服务31 分钟前
2025年AI面试推荐榜单,数字化招聘转型优选
人工智能·python·算法·面试·职场和发展·金融·求职招聘
糖葫芦君1 小时前
Policy Gradient【强化学习的数学原理】
算法
BFT白芙堂2 小时前
睿尔曼系列机器人——以创新驱动未来,重塑智能协作新生态(上)
人工智能·机器学习·机器人·协作机器人·复合机器人·睿尔曼机器人
羊小猪~~2 小时前
【NLP入门系列五】中文文本分类案例
人工智能·深度学习·考研·机器学习·自然语言处理·分类·数据挖掘
李师兄说大模型2 小时前
KDD 2025 | 地理定位中的群体智能:一个多智能体大型视觉语言模型协同框架
人工智能·深度学习·机器学习·语言模型·自然语言处理·大模型·deepseek
向阳@向远方3 小时前
第二章 简单程序设计
开发语言·c++·算法
网安INF3 小时前
深层神经网络:原理与传播机制详解
人工智能·深度学习·神经网络·机器学习
github_czy4 小时前
RRF (Reciprocal Rank Fusion) 排序算法详解
算法·排序算法
许愿与你永世安宁4 小时前
力扣343 整数拆分
数据结构·算法·leetcode
爱coding的橙子4 小时前
每日算法刷题Day42 7.5:leetcode前缀和3道题,用时2h
算法·leetcode·职场和发展