flink和机器学习模型的常用组合方式

背景

flink是一个低延迟高吞吐的系统,每秒处理的数据量高达数百万,而机器模型一般比较笨重,虽然功能强大,但是qps一般都比较低,日常工作中,我们一般是如何把flink和机器学习模型组合起来一起使用呢?

flink和机器学习模型的常用组合方式

第一种:flink处理和机器模型的处理完全分离

一般来说,这是目前常用的组合方式,首先利用flink集群先把数据处理完,然后输出一份结果数据到某个外部存储,比如DB中,到这里flink的处理就完成了。紧接着是会有一个外部的定时任务,其任务是获取flink的结果数据,然后调用机器模型接口获取最终的预测结果,把这份预测结果写入到最终的存储目的地

第二种: flink处理和机器模型处理完全结合

这种方式要解决的最大问题是flink的处理速度和机器模型的qps完全不是一个数量级的问题,所以为了将就机器模型的吞吐量,我们一般会在flink中进行数据聚合操作,比如把每分钟的数据聚合然后在调用一次机器模型,这样就相当于每分钟只会调用一次机器模型接口,这种访问量机器模型完全能应对

相关推荐
弘毅 失败的 mian3 分钟前
Git 分支管理
大数据·经验分享·笔记·git·elasticsearch
彬匠科技BinJiang_tech24 分钟前
对账太耗时?跨境ERP实现物流商/供应商自动化对账
大数据·运维·自动化
weilaikeqi111129 分钟前
宠物护理技术革命:“微米银”正在改写传统抗菌方式?
大数据·人工智能·宠物
喂完待续34 分钟前
【Big Data】2025年大数据技术演进与产业变革
大数据·ai·数据安全·big data·年度总结·微博之星
liangshanbo121534 分钟前
从“造智能体”到“赋能技能”:大模型应用范式的战略大转向
大数据·人工智能
阿坤带你走近大数据42 分钟前
Elasticsearch(ES)的基本概念、架构及基本使用介绍
大数据·elasticsearch
阿标在干嘛43 分钟前
【功能全景实测】科力辰科技查新网:它如何试图覆盖科研业务全链条?
大数据·人工智能·科技
Elastic 中国社区官方博客1 小时前
使用 Elasticsearch 中的结构化输出创建可靠的 agents
大数据·人工智能·elk·elasticsearch·搜索引擎·ai·全文检索
AC赳赳老秦1 小时前
跨境电商决胜之道:基于深度数据分析的选品策略与库存优化
大数据·开发语言·人工智能·python·php·跨境电商·deepseek
zhangkaixuan4561 小时前
Paimon Action Jar 实现机制分析
java·大数据·flink·paimon·datalake