sklearn机器学习实战

1.PCA降维

不是每个数据特征对分析的问题都有用。即使有用,对问题的重要程度也不一样。而我们需要过滤和筛选一些特征,去除冗余。

数据降维是指采取某种映射方法,把高维空间中可能包含冗余信息和噪声的数据点映射到低维空间,在低维空间重新表示高维空间中的数据,挖掘数据内部本质结构特征,提高识别精度、减少计算量和空间复杂度。

PCA主成分分析,通过对矩阵进行奇异值分解,并期望在投影后的维度上方差最大,使得投影后的维度尽可能少,同时保留尽可能多的原数据特征。

pca = PCA(n_components=None, whiten=False, svd_solver='auto', iterated_power='auto', random_state=None)

其中:

· n_components指定要保留的成分的数量。

· svd设置奇异值分解的方法,如auto, full, arpack, randomized.

PCA对象的常用属性:

pca.components_:表示特征空间中的主成分,表示数据中最大方差的方向。

常用方法:

· fit(X):用X训练模型。

· fit_transform(X):用X拟合模型,并对X降维。

· transform(X):对X进行降维。

2.交叉验证 CV

确定模型后,应该设置合适的模型参数。

为了对模型进行评估,不同的数据集划分会影响结果。因此可以使用不同的划分评估并求平均值。

crossvalidation交叉验证,会反复划分数据集并评估模型。//相当于就直接train了然后直接求score。

cross_val_score(estimator, X, y=None, cv=None)

其中:

· estimator指定被评估的模型。

· X和y指定数据集和对应的label。

· cv指定划分策略,设置为整数时表示把数据集拆成几个部分对模型进行训练和评分、设置为None默认使用3折叠交叉验证。

scores = cross_val_score(..., cv=shuffleSpilt(test size=, train size=, n_splits=)) //交叉验证 随机拆分

3.网格搜索

代替多次交叉验证取得最优参数的过程。

gscv = GridSearchCV(estimator, paramgrid, scoring=None, fit_params=None, cv=None, refit=True)

其中:

· estimator用来设置待选择参数的模型。

· param设置待测试和选择的参数。

· scoring设置选择参数的评分函数。

· cv同上。

· refit设置是否使用在整个数据集上发现的最佳参数对模型进行重新拟合。

GridSearchCV类对象的属性:

· cv_results:交叉验证结果。

· best_estimator:得分最高的模型。

· best_score:最佳模型的平均得分。

· best_params:最佳参数。

· scorer:使用的评分函数。

· n_splits:交叉验证时折叠的数量。

~的方法:

· fit(X, y=None):使用所有参数拟合模型。

· predict(X):使用最佳参数调用模型的predict()方法。

· score(X, y=None):返回模型在指定数据上的得分。

· transform(X):使用最佳参数调用模型的transform()方法。

相关推荐
wb0430720113 小时前
性能优化实战:基于方法执行监控与AI调用链分析
java·人工智能·spring boot·语言模型·性能优化
AAA小肥杨13 小时前
基于k8s的Python的分布式深度学习训练平台搭建简单实践
人工智能·分布式·python·ai·kubernetes·gpu
mit6.82415 小时前
[Agent可视化] 配置系统 | 实现AI模型切换 | 热重载机制 | fsnotify库(go)
开发语言·人工智能·golang
Percent_bigdata16 小时前
百分点科技发布中国首个AI原生GEO产品Generforce,助力品牌决胜AI搜索新时代
人工智能·科技·ai-native
Gloria_niki16 小时前
YOLOv4 学习总结
人工智能·计算机视觉·目标跟踪
FriendshipT16 小时前
目标检测:使用自己的数据集微调DEIMv2进行物体检测
人工智能·pytorch·python·目标检测·计算机视觉
海森大数据16 小时前
三步破局:一致性轨迹强化学习开启扩散语言模型“又快又好”推理新时代
人工智能·语言模型·自然语言处理
Tencent_TCB16 小时前
云开发CloudBase AI+实战:快速搭建AI小程序全流程指南
人工智能·ai·小程序·ai编程·云开发
Sunhen_Qiletian16 小时前
基于OpenCV与Python的身份证号码识别案例详解
人工智能·opencv·计算机视觉
AustinCyy16 小时前
【论文笔记】Introduction to Explainable AI
论文阅读·人工智能