实时开发平台(Streampark)--Flink SQL功能演示

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:http://www.aolingdata.com

✨Github项目:https://github.com/alldatacenter/alldata

✨Gitee项目:https://gitee.com/alldatacenter/alldata

✨AllData官方手册:https://www.yuque.com/aolingdata/product

✨AllData正式环境:http://43.138.156.44:5173/ui_moat

摘要:

• 使用Flink StandaIone模式运行FIink SQL Demo

• Flink 安装包需要与 StreamPark 服务同在一台服务器


实时开发平台基于开源项目StreamPark建设

实时开发平台 StreamPark 提供了一系列快捷 API 和 Connector,开箱即用,作业状态自动追踪,快速完成作业的开发和管理。同时支持 Flink & Spark,无缝支持流式处理和批处理,连接互通,创造无限可能。

StreamPark 是一个流处理应用程序开发管理框架,旨在轻松构建和管理流处理应用程序,提供使用Flink 和 Spark 编写流处理应用的开发框架和一站式实时计算平台,核心能力包括不限于应用开发、部署、管理、运维、实时数仓等。

StreamPark 为流处理作业提供全生命周期支持,从开发到部署,集众多功能于一身,是一站式流处理平台。

1、FIink安装

1.1 下载


1.2 解压

  • 上传服务器并解压
  • 配置系统环境变量
  • 添加以下内容
  • 使配置生效

1.3 配置

  • 进入conf目录
  • 修改flink-conf.yaml 配置文件
  • 修改以下内容
  • 保存并提出

1.4 启动

  • 进入bin目录
  • 执行以下命令启动

2、Streampark

2.1 配置Flink版本

  • 安装路径为服务器Flink的绝对路径
  • 添加完成

2.2 配置集群

  • 进入集群管理页面,点击 "添加"
  • 配置集群信息,点击 "提交"
  • 配置完成

2.3 配置作业

  • 进入作业管理,点击 "添加"
  • 配置作业信息


  • FIink SQL
  • 下滑到最下方,点击提交

2.4 发布作业

  • 点击下图所示按钮
  • 发布中
  • 发布成功

2.5 启动作业

  • 点击下图所示按钮,启动作业
  • 点击应用
  • 启动中
  • 启动完成
  • 等待执行完成,可以访问 flink ui 查看执行情况 http://8g007:8081
  • 8g007 为 flink安装所在服务器域名或ip,8081 为flink默认访问端口


2.6 完成作业

相关推荐
Georgeviewer2 小时前
商业落地评测|实体门店GEO优化性价比与服务体系深度复盘
大数据·人工智能
腻害兔4 小时前
【若依项目-产品经理视角】深度拆解 RuoYi-Vue-Pro 商城模块:从商品管理到交易引擎,50 张表撑起一整套电商系统
java·大数据·vue.js·产品经理·ai编程
不好听6134 小时前
从一行 JSX 到屏幕像素:前端开发者必须懂的浏览器渲染管线
前端
恒拓高科WorkPlus4 小时前
企业级内网即时通讯建设模型:BeeWorks内网IM四层架构
前端
GIR1234 小时前
官方出品 | 多通道土壤呼吸测量系统市场现状与十五五规划深度报告:行业分析+趋势预测全收录
大数据·人工智能·机器学习
明志数科4 小时前
手持式机器人数据采集方案的生态化演进:从开源工具到数据交易
机器人·开源
前端小李子5 小时前
前端环境变量裸奔?我用 EnvShield 给它穿了件防弹衣
前端
youtootech5 小时前
HarmonyOS《柚兔学伴》项目实战25-我的页面、Web 嵌入与项目总结
前端·华为·harmonyos
神奇霸王龙5 小时前
GB/T 46886 闭环屠夫:5 旗舰多模态 LLM 工业质检实测
人工智能·计算机视觉·ai·开源·ai编程·本地部署
小林ixn5 小时前
从零到一理解 React 父子组件通信:手写一个 Todo 应用带你彻底搞懂单向数据流
前端·javascript·react.js