【机器学习】【手工】Streaming Machine Learning 流数据学习 – 应对变化的机器学习方法(一)

为什么要流机器学习

在现实世界中的数据是随着时间演化(evolution)的 ,而不是同分布(同分布,identically distributed)的 ,即认为来自同一个分布的取样。

例如在covid的疫情期间,许多智能系统无法正常工作,这是因为其输入及人类的行为或人类行为的产出发生了变化,在不再属于原来的分布了,这导致了这些智能系统出现了问题。

对于不断演化的数据分布,SML(Streaming Machine Learning)方法是有效的解决方法。

SML的假设和基本思路

SML对于数据到假设

SML假设数据是在数据流中,按照顺序一条一条到来的,并且数据点有标签。

SML的处理方法

如果检测到了数据层面的漂移(Data Drift) 或者 结果层面的漂移(Concept Drift) ,那么就在后台开始训练新的模型,并使用新的模型来处理数据。

这一模式可以被简单的视为

处理数据 - (如果检测到漂移)检测漂移 - 后台训练新模型 - 使用新模型替换原有模型。

Data Drift数据漂移

输入数据分布P(X)P(X)P(X)发生变化,但是不影响输出的的结果的分布,即 P(y∣X)P(y|X)P(y∣X) 不变。

Concept drift概念漂移

原有的concept对应的输入数据发生了变化,即P(y∣X)P(y|X)P(y∣X)发生了改变。即相同的输入数据不再对应和原来一样的输出。

概念漂移和异常检测的区别

两者着重点有根本差别

概念漂移要解决的问题是 昨天的模型是否能处理今天的数据

异常检测要解决的问题是 收到的样本是否符合一致性的模式

相关推荐
QiLinkOS2 分钟前
徐玉生《中国技术大败局》完整体系深度评析(1)
人工智能·dna双螺旋归因模型·中国工业的数字验尸官·技术专利研发情报洞察·qilinkos报告·技术专利情报洞察·数字黑匣子
kft13143 分钟前
Playwright + 本地 AI,从录制到自愈闭环的一站式自动化测试平台。
人工智能·测试工具
北鸟南游5 分钟前
学习-claude code 工程化实战的笔记-极客时间
笔记·学习·ai编程
行走的小派5 分钟前
香橙派三款昇腾产品实操案例合集:DeepSeek部署、YOLOv8检测、智能助手平台
人工智能
牛哥带你学代码8 分钟前
VLA 与机器人基础模型:具身智能的下一代操作系统
人工智能·机器人
Cutecat_10 分钟前
YouTube 多语种自动配音功能实测:AI 如何让一条视频“开口说”多种语言
人工智能·科技·音视频
Maynor99611 分钟前
AI Coding 零基础实战教程|第五部分:完整项目案例实操
java·前端·人工智能·claude code·ai coding
心中有国也有家20 分钟前
AtomGit Flutter 鸿蒙客户端:呼吸练习的三种科学模式
学习·flutter·华为·harmonyos
三品吉他手会点灯23 分钟前
嵌入式机器学习 - 学习笔记1.0.2 - 学习路线导览:从机器学习基础到 TinyML应用
人工智能·笔记·嵌入式硬件·学习·机器学习
lunzi_082637 分钟前
【AI 杂谈】AI 的边界正在被谁定义?
人工智能