机器学习笔记-01

一...AI(人工智能)

二.机器学习--是人工智能实现的途径

三.深度学习--是机器学习的一个方法

1.机器学习能做什么:
1.1 传统预测
1.2 图像识别
1.3 自然语言处理(nlp)

2.数据集包含:特征值 + 目标值

3.机器学习分为:监督学习 、非监督学习、半监督学习

4.机器学习开发流程:
4.1 获取数据
4.2 处理数据
4.3 特征工程
4.4 算法模型-- 模型
4.5 模型评估
4.6 应用

基础书籍:机器学习 -"西瓜书"- 周志华 统计学习方法 - 李航 深度学习 - "花书"

5.数据集:

5.1.sklearn

sklearn.datasets
load_ * 获取小规模的数据集 sklearn.datasets.load_iris()
fetch_ * 获取大规模的数据集

sklearn.datasets.fetch_20newsgroups(data_home=None,subset='train')

数据集的返回值

datasets.base.Bunch(继承自字典)

dict["key"] = values

bunch.key = values

5.2.kaggle

5.3.UCI

5.4数据集的划分:

训练集:用于训练,构建模型

测试集:在模型检验时使用,用于评估模型是否有效,20%~30%

sklearn.model_selection.triain_test_split(arrays, *options)
训练集特征值,训练集目标值,测试集特征值,测试集目标值

x_train,x_test,y_train,y_test

6.特征的提取

sklearn.feature_extraction

6.1 字典特征提取 - 类别--》one-hot 编码

sklearn.feature_extraction.DictVectorizer(sparse=True,...)

矩阵 matrix 二维数组

向量 vector 一维数组

6.2 文本特征提取

单词 作为 特征

句子、短语、单词、字母

特征:特征词
方法1:CountVectorizer

统计每个样本特征词出现的个数

stop_words停用的

停用词表

关键词:在某一个类别的文章中,出现的次数很多,但是在其他类别的文章当中出现很少
方法2:TfidfVectorizer

TF-IDF - 重要程度

TF - 词频(term frequency,tf)

IDF - 逆向文档频率

6.3 特征预处理

无量纲化

归一化:会有异常值影响大小

标准化:(x - mean) / std

标准差:集中程度

应用场景:在已有样本足够多的情况下比较稳定,适合现代嘈杂大数据场景。

  1. 特征降维
    7.1降低维度
    维数:嵌套的层数
    0维 标量
    1维 向量
    2维 矩阵
    3维
    n维
    二维数组:
    此处的降维:降低特征个数
    效果:消除特征与特征之间的相关性

主成分分析(PCA)

sklearn.decomposition.PCA(n_components=None)

n_components

小数 表示保留百分之多少的信息

整数 减少到多少特征

相关推荐
沛沛老爹1 分钟前
跨平台Agent Skills开发:适配器模式赋能提示词优化与多AI应用无缝集成
人工智能·agent·适配器模式·rag·企业转型·skills
zhangshuang-peta2 分钟前
适用于MCP的Nginx类代理:为何AI工具集成需要网关层
人工智能·ai agent·mcp·peta
Network_Engineer3 分钟前
从零手写RNN&BiRNN:从原理到双向实现
人工智能·rnn·深度学习·神经网络
想进部的张同学5 分钟前
week1-day5-CNN卷积补充感受野-CUDA 一、CUDA 编程模型基础 1.1 CPU vs GPU 架构线程索引与向量乘法
人工智能·神经网络·cnn
睡醒了叭12 分钟前
目标检测-深度学习-SSD模型项目
人工智能·深度学习·目标检测
冰西瓜60012 分钟前
从项目入手机器学习(五)—— 机器学习尝试
人工智能·深度学习·机器学习
Coding茶水间12 分钟前
基于深度学习的狗品种检测系统演示与介绍(YOLOv12/v11/v8/v5模型+Pyqt5界面+训练代码+数据集)
开发语言·人工智能·深度学习·yolo·目标检测·机器学习
InterestOriented15 分钟前
中老年线上学习发展:兴趣岛“内容+服务+空间”融合赋能下的体验升级
人工智能·学习
人工智能知识库23 分钟前
华为HCCDA-AI人工智能入门级开发者题库(带详细解析)
人工智能·华为·hccda-ai题库·hccda-ai
AI Echoes33 分钟前
LangChain Runnable组件重试与回退机制降低程序错误率
人工智能·python·langchain·prompt·agent