线性判别分析的多分类情况

线性判别分析的多分类情况

情况一

若存在超平面 d i ( x ) = w i x d_i(x)=w_ix di(x)=wix可以将属于 w i w_i wi与不属于 w i w_i wi范围的划开
d i ( x ) = w i T x = { > 0 , i f x ∈ w i < 0 , i f x ∉ w i (1) d_i(x)=w_i^Tx= \begin{cases}> 0 ,\quad if \ x \in w_i\\ < 0, \quad if \ x \notin w_i \end{cases} \tag{1} di(x)=wiTx={>0,if x∈wi<0,if x∈/wi(1)

即通过一个判别函数把整个空间划分成一个 w i w_i wi与不属于 w i w_i wi的范围。就可以将一个M分类问题转化为M个多分类问题。

但是当存在多个 d i ( x ) > 0 d_i(x)>0 di(x)>0的区域或者全部的 d i ( x ) < 0 d_i(x)<0 di(x)<0时,则分类失败,此类空间被称为不确定区域。

情况二

若存在超平面 d i j ( x ) = w i j x d_{ij}(x)=w_{ij}x dij(x)=wijx可以将属于 w i w_i wi与属于 w j w_j wj的范围划开
d i j ( x ) = w i j x = { > 0 , x ∈ w i < 0 , x ∈ w j ∀ i ≠ j d_{ij}(x)=w_{ij}x= \begin{cases}>0 \quad,\quad x\in w_i\\ <0 \quad,\quad x\in w_j \end{cases} \quad \forall i \not=j dij(x)=wijx={>0,x∈wi<0,x∈wj∀i=j

其中满足 d i j ( x ) = − d j i ( x ) d_{ij}(x)=-d_{ji}(x) dij(x)=−dji(x)。

则可以将一个M分类问题转化为 n ( n − 1 ) 2 \frac{n(n-1)}{2} 2n(n−1)个二分类问题。

对所有的 d i j ( x ) d_{ij}(x) dij(x)而言,若 ∀ i ≠ j d i j > 0 \forall i \not=j d_{ij}>0 ∀i=jdij>0,则被称为不确定区域。

情况三

对于没有不确定区域的情况二,

可以将情况二分解为
d i j = d i ( x ) − d j ( x ) = ( w i − w j ) T x d k ( x ) = w k T x , k = 1 , 2 , 3 , . . . , M d_{ij}=d_i(x)-d_j(x)=(w_i-w_j)^Tx\\ d_k(x)=w_k^Tx\quad,\quad k=1,2,3,...,M dij=di(x)−dj(x)=(wi−wj)Txdk(x)=wkTx,k=1,2,3,...,M

若 ∀ i ≠ j , d i ( x ) > d j ( x ) \forall i \not=j,d_i(x)>d_j(x) ∀i=j,di(x)>dj(x),则 x ∈ w i x\in w_i x∈wi。

若 d k ( x ) = m a x { d k ( x ) , k = 1 , 2 , 3 , . . . M } d_k(x)=max\{d_k(x),k=1,2,3,...M\} dk(x)=max{dk(x),k=1,2,3,...M},则 x ∈ w i x \in w_i x∈wi。

即可以把一个M分类问题转化为M-1个多分类问题。

相关推荐
martian6655 小时前
支持向量机(SVM)深度解析:从数学根基到工程实践
算法·机器学习·支持向量机
FF-Studio5 小时前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer
贾全6 小时前
第十章:HIL-SERL 真实机器人训练实战
人工智能·深度学习·算法·机器学习·机器人
GIS小天6 小时前
AI+预测3D新模型百十个定位预测+胆码预测+去和尾2025年7月4日第128弹
人工智能·算法·机器学习·彩票
我是小哪吒2.06 小时前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型
慕婉03076 小时前
深度学习前置知识全面解析:从机器学习到深度学习的进阶之路
人工智能·深度学习·机器学习
蓝婷儿8 小时前
Python 机器学习核心入门与实战进阶 Day 2 - KNN(K-近邻算法)分类实战与调参
python·机器学习·近邻算法
IT古董9 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(3)决策树回归模型(Decision Tree Regression)
神经网络·机器学习·回归
烟锁池塘柳011 小时前
【大模型】解码策略:Greedy Search、Beam Search、Top-k/Top-p、Temperature Sampling等
人工智能·深度学习·机器学习
Blossom.11813 小时前
机器学习在智能供应链中的应用:需求预测与物流优化
人工智能·深度学习·神经网络·机器学习·计算机视觉·机器人·语音识别