flink和机器学习模型的常用组合方式

背景

flink是一个低延迟高吞吐的系统,每秒处理的数据量高达数百万,而机器模型一般比较笨重,虽然功能强大,但是qps一般都比较低,日常工作中,我们一般是如何把flink和机器学习模型组合起来一起使用呢?

flink和机器学习模型的常用组合方式

第一种:flink处理和机器模型的处理完全分离

一般来说,这是目前常用的组合方式,首先利用flink集群先把数据处理完,然后输出一份结果数据到某个外部存储,比如DB中,到这里flink的处理就完成了。紧接着是会有一个外部的定时任务,其任务是获取flink的结果数据,然后调用机器模型接口获取最终的预测结果,把这份预测结果写入到最终的存储目的地

第二种: flink处理和机器模型处理完全结合

这种方式要解决的最大问题是flink的处理速度和机器模型的qps完全不是一个数量级的问题,所以为了将就机器模型的吞吐量,我们一般会在flink中进行数据聚合操作,比如把每分钟的数据聚合然后在调用一次机器模型,这样就相当于每分钟只会调用一次机器模型接口,这种访问量机器模型完全能应对

相关推荐
大数据追光猿8 小时前
Python应用算法之贪心算法理解和实践
大数据·开发语言·人工智能·python·深度学习·算法·贪心算法
人类群星闪耀时10 小时前
物联网与大数据:揭秘万物互联的新纪元
大数据·物联网·struts
warrah15 小时前
flink-cdc同步数据到doris中
flink·doris
坚定信念,勇往无前15 小时前
Spring Boot中整合Flink CDC 数据库变更监听器来实现对MySQL数据库
数据库·spring boot·flink
桃林春风一杯酒16 小时前
HADOOP_HOME and hadoop.home.dir are unset.
大数据·hadoop·分布式
桃木山人16 小时前
BigData File Viewer报错
大数据·java-ee·github·bigdata
B站计算机毕业设计超人16 小时前
计算机毕业设计Python+DeepSeek-R1高考推荐系统 高考分数线预测 大数据毕设(源码+LW文档+PPT+讲解)
大数据·python·机器学习·网络爬虫·课程设计·数据可视化·推荐算法
数造科技16 小时前
紧随“可信数据空间”政策风潮,数造科技正式加入开放数据空间联盟
大数据·人工智能·科技·安全·敏捷开发
undo_try18 小时前
大数据组件(四)快速入门实时数据湖存储系统Apache Paimon(2)
flink·bigdata·paimon
逸Y 仙X20 小时前
Git常见命令--助力开发
java·大数据·git·java-ee·github·idea