特征工程优化

参考链接

https://www.bilibili.com/video/BV1WN4y1k7R1/?buvid=XU0E30D0C6006B7F1EE1425156434CFEC440F\&from_spmid=tm.recommend.0.0\&is_story_h5=false\&mid=fMtk7pz9LsVpSyGt0Mcizg%3D%3D\&p=1\&plat_id=116\&share_from=ugc\&share_medium=android\&share_plat=android\&share_session_id=b580ad13-0b4d-452f-94f5-5c54827a0dd6\&share_source=WEIXIN\&share_tag=s_i\&spmid=united.player-video-detail.0.0\&timestamp=1698372933\&unique_k=GEAv0mL\&up_id=431850986

一、介绍特征工程

特征工程是将数据转换为能够更好地表示潜在问题的特征,从而提高机器学习性能的过程。

使用场景:任何阶段得到数据。

优点:更好地表示潜在问题,提高性能。

缺点:特征找的不准备导致模型效果不好。

二、建模工作

数据的清洗和组织是特征工程的主要部分。

三、特征工程的重要性

数据和特征决定了机器学习的上线,而模型和算法只是逼近了这个上线。

四、特征工程前期工作

五、数据转换

具体方法:

归一化、标准化、对数转换、反余切函数转换、Box-Cox变换、L2-Norm变换等等。

六、特征筛选

通过特征筛选找到最相关和最有价值的特征,构建更简化和高效的模型,无关的、冗余的或噪声特征需从数据中剔除。

七、总结

特征工程复杂,需对数据十分了解,先总体分析再逐个分析特征比较节约时间。对单个特征和多个特征进行分析,然后从中找到不同特征之间或与目标特征的相关性,再进行筛选,得到的有效特征的概率会大一些。分析完后需对每个特征进行处理,如缺失值和异常值处理、归一化处理等等。总之,如果特征工程处理的很好,模型结果也会相对好一些。

相关推荐
Narutolxy32 分钟前
Python 单元测试:深入理解与实战应用20240919
python·单元测试·log4j
Amo Xiang1 小时前
2024 Python3.10 系统入门+进阶(十五):文件及目录操作
开发语言·python
liangbm31 小时前
数学建模笔记——动态规划
笔记·python·算法·数学建模·动态规划·背包问题·优化问题
B站计算机毕业设计超人1 小时前
计算机毕业设计Python+Flask微博情感分析 微博舆情预测 微博爬虫 微博大数据 舆情分析系统 大数据毕业设计 NLP文本分类 机器学习 深度学习 AI
爬虫·python·深度学习·算法·机器学习·自然语言处理·数据可视化
羊小猪~~1 小时前
深度学习基础案例5--VGG16人脸识别(体验学习的痛苦与乐趣)
人工智能·python·深度学习·学习·算法·机器学习·cnn
waterHBO3 小时前
python 爬虫 selenium 笔记
爬虫·python·selenium
编程零零七4 小时前
Python数据分析工具(三):pymssql的用法
开发语言·前端·数据库·python·oracle·数据分析·pymssql
AIAdvocate6 小时前
Pandas_数据结构详解
数据结构·python·pandas
小言从不摸鱼6 小时前
【AI大模型】ChatGPT模型原理介绍(下)
人工智能·python·深度学习·机器学习·自然语言处理·chatgpt
FreakStudio8 小时前
全网最适合入门的面向对象编程教程:50 Python函数方法与接口-接口和抽象基类
python·嵌入式·面向对象·电子diy