《机器学习》- 第3章 线性模型

文章目录

  • [3.1 基本形式](#3.1 基本形式)
  • [3.2 线性回归](#3.2 线性回归)
  • [3.3 对数几率回归(逻辑回归)](#3.3 对数几率回归(逻辑回归))
  • [3.4 线性判别分析](#3.4 线性判别分析)
  • [3.5 多分类学习](#3.5 多分类学习)
  • [3.6 类别不平衡问题](#3.6 类别不平衡问题)

3.1 基本形式

问题描述:

函数形式:

向量形式:

许多功能更为强大的非线性模型可在线性模型的基础上引入层级结构或高维映射而得。

由于w直观表达了各属性在预测中的重要性,因此线性模型有很好的可解释性。

3.2 线性回归

一元线性回归

为了确定w和b的值,可以让均方误差最小化:

基于均方误差最小化来进行模型求解的方法称为最小二乘法。

在线性回归中,最小二乘法就是试图找到一条直线,使所有样本到直线上的欧式距离最小。

对w求导:

对b求导:


更一般的情形是多元线性回归:

多元线性回归

关系式:

目标函数:

目标函数求解:


对数模型

原型:

对数:

考虑一般情况:

3.3 对数几率回归(逻辑回归)

问题描述

分类问题,x的取值就是几种,y=比如0,1,2这样

考虑广义线性模型,只需要用一个单调可微的关系函数将分类任务的标记y做一个转换就可以了。

二分类任务

y={0,1}

关系函数

单位阶跃函数

单位跃阶函数不连续,于是有了单调可微的对数几率函数:

几率:

3.4 线性判别分析

LDA的思想非常朴素:给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离;在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别.图3.3给出了一个二维示意图.

类内散度矩阵:

类间散度矩阵:

最大化的目标:

重写为:

3.5 多分类学习

3.6 类别不平衡问题

相关推荐
好奇龙猫4 分钟前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班19 分钟前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k19 分钟前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型
YRr YRr28 分钟前
深度学习:循环神经网络(RNN)详解
人工智能·rnn·深度学习
sp_fyf_202440 分钟前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-11-01
人工智能·深度学习·神经网络·算法·机器学习·语言模型·数据挖掘
多吃轻食44 分钟前
大模型微调技术 --> 脉络
人工智能·深度学习·神经网络·自然语言处理·embedding
北京搜维尔科技有限公司1 小时前
搜维尔科技:【应用】Xsens在荷兰车辆管理局人体工程学评估中的应用
人工智能·安全
说私域1 小时前
基于开源 AI 智能名片 S2B2C 商城小程序的视频号交易小程序优化研究
人工智能·小程序·零售
YRr YRr1 小时前
深度学习:Transformer Decoder详解
人工智能·深度学习·transformer
知来者逆2 小时前
研究大语言模型在心理保健智能顾问的有效性和挑战
人工智能·神经网络·机器学习·语言模型·自然语言处理