浅谈机器学习中的概率模型

浅谈机器学习中的概率模型

其实,当牵扯到概率的时候,一切问题都会变的及其复杂,比如我们监督学习任务中,对于一个分类任务,我们经常是在解决这样一个问题,比如对于一个n维的样本 X = [ x 1 , x 2 , . . . . . x n ] X=[x_1,x_2,.....x_n] X=[x1,x2,.....xn],我们想知道它的类别,这个时候我们可以采用概率模型,比如贝叶斯模型,但是,我们知道样本 X X X属于什么类别,可能跟他的所有特征有关,同时,他的所有特征可能又存在着及其复杂的联系,所以如果我们真的考虑特征之间各种复杂的关系,在计算P(y|X)这个概率时往往很困难,因为我们在求解这样的一个概率模型时,还需要考虑样本特征之间的及其复杂的联系。

所以,我们所采用的方法往往是假设样本特征之间是独立的,这样,去求解我们的问题。而且往往这样的做法有时候也可以有着不错的效果。

之所以会有这样的原因,是因为比如两个特征之间有着正相关或者负相关的关系,那么通过上面的方法,虽然没有考虑特征之间的关系,但是特征对于样本分类的影响还是会很大程度的考虑其中,所以,往往我们假设特征之间是独立的,去进行建模往往也可以取得很好的成绩,因为在建模的时候,特征之间的相关性对于样本分类的影响,会被考虑到。

还一种在概率论中的处理在马尔可夫模型中可以体现,其在考虑一个序列之间的关系时,只考虑相邻的。

在博主看来,我们去进行一些概率计算的简化时,需要考虑是否这种简化对于我们的任务有着较大的影响,我们的模型是否在建模的时候,即使由于概率计算的简化导致信息流失,但是模型可以很大程度,去弥补这种信息流失。

我举一个很好的例子:

比如一个人 w-体重 70kg h-身高180cm f-颜值打分90 s-形象打分95 现在根据这个四个值去探讨这个人是否被一个陌生人习惯的概率

我们知道 身高 颜值打分 形象打分 这三个数值明显是有关系的,身高会影响形象打分,颜值也会影响形象打分,那假设这四个特征独立,其实并不影响我们的建模,比如一个人最终被人喜欢的打分模型为(理想的打分模型):

P=0.1w+h+1.4f+z

因为有一个潜在的关系: s=0.4h+0.6f+z,z为其他影响变量

那其实这个模型仍然是线性的,对于这个一个线性的模型,我们的模型仍然是可以学习到的。

比如:

我们可能会学习到这样的模型:

P=0.1w+0.6h+0.8f+s

这个模型其实和理想模型是等价的,是不是,其实 s h f 之间的相关性并没有影响我们求解出最好的模型。

但是这是在相关性比较简单的情况下可行,如果较为复杂,我们的模型也需要足够灵活,能够在模型中考虑到特征之间的相关性。

相关推荐
Power202466628 分钟前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k31 分钟前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫36 分钟前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班1 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k1 小时前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型
YRr YRr1 小时前
深度学习:循环神经网络(RNN)详解
人工智能·rnn·深度学习
sp_fyf_20241 小时前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-11-01
人工智能·深度学习·神经网络·算法·机器学习·语言模型·数据挖掘
多吃轻食1 小时前
大模型微调技术 --> 脉络
人工智能·深度学习·神经网络·自然语言处理·embedding
北京搜维尔科技有限公司2 小时前
搜维尔科技:【应用】Xsens在荷兰车辆管理局人体工程学评估中的应用
人工智能·安全
说私域2 小时前
基于开源 AI 智能名片 S2B2C 商城小程序的视频号交易小程序优化研究
人工智能·小程序·零售