特征工程优化

参考链接

https://www.bilibili.com/video/BV1WN4y1k7R1/?buvid=XU0E30D0C6006B7F1EE1425156434CFEC440F\&from_spmid=tm.recommend.0.0\&is_story_h5=false\&mid=fMtk7pz9LsVpSyGt0Mcizg%3D%3D\&p=1\&plat_id=116\&share_from=ugc\&share_medium=android\&share_plat=android\&share_session_id=b580ad13-0b4d-452f-94f5-5c54827a0dd6\&share_source=WEIXIN\&share_tag=s_i\&spmid=united.player-video-detail.0.0\&timestamp=1698372933\&unique_k=GEAv0mL\&up_id=431850986

一、介绍特征工程

特征工程是将数据转换为能够更好地表示潜在问题的特征,从而提高机器学习性能的过程。

使用场景:任何阶段得到数据。

优点:更好地表示潜在问题,提高性能。

缺点:特征找的不准备导致模型效果不好。

二、建模工作

数据的清洗和组织是特征工程的主要部分。

三、特征工程的重要性

数据和特征决定了机器学习的上线,而模型和算法只是逼近了这个上线。

四、特征工程前期工作

五、数据转换

具体方法:

归一化、标准化、对数转换、反余切函数转换、Box-Cox变换、L2-Norm变换等等。

六、特征筛选

通过特征筛选找到最相关和最有价值的特征,构建更简化和高效的模型,无关的、冗余的或噪声特征需从数据中剔除。

七、总结

特征工程复杂,需对数据十分了解,先总体分析再逐个分析特征比较节约时间。对单个特征和多个特征进行分析,然后从中找到不同特征之间或与目标特征的相关性,再进行筛选,得到的有效特征的概率会大一些。分析完后需对每个特征进行处理,如缺失值和异常值处理、归一化处理等等。总之,如果特征工程处理的很好,模型结果也会相对好一些。

相关推荐
豌豆花下猫几秒前
Python 潮流周刊#102:微软裁员 Faster CPython 团队(摘要)
后端·python·ai
yzx99101333 分钟前
Gensim 是一个专为 Python 设计的开源库
开发语言·python·开源
麻雀无能为力1 小时前
python自学笔记2 数据类型
开发语言·笔记·python
Ndmzi1 小时前
matlab与python问题解析
python·matlab
懒大王爱吃狼1 小时前
怎么使用python进行PostgreSQL 数据库连接?
数据库·python·postgresql
猫猫村晨总1 小时前
网络爬虫学习之httpx的使用
爬虫·python·httpx
web150854159351 小时前
Python线性回归:从理论到实践的完整指南
python·机器学习·线性回归
ayiya_Oese1 小时前
[训练和优化] 3. 模型优化
人工智能·python·深度学习·神经网络·机器学习
抽风的雨6101 小时前
【python基础知识】Day 27 函数专题2:装饰器
开发语言·python
漫谈网络3 小时前
Python logging模块使用指南
python·logging·日志