一站式Flink&Spark平台解决方案——StreamX

随着Flink&Spark生态的不断完善,越来越多的企业选择这两款组件,或者其中之一作为离线&实时的大数据开发工具,但是在使用他们进行大数据的开发中我们会遇到一些问题,比如:

  1. 任务运行监控怎么处理?
  2. 使用 Cluster 模式还是 Nodeport 暴露端口访问 Web UI
  3. 提交任务能否简化打包镜像的流程 ?
  4. 如何减少开发压力?

而StreamX就是专为解决这些问题而出现的,其提供了如下的一些功能:

  • 开发脚手架
  • Kubernetes部署模式支持
  • YARN-Application部署模式支持
  • 多版本Flink支持(1.12.x, 1.13.x, 1.14.x )
  • 一系列开箱即用的Connectors
  • 支持项目编译功能(CICD/maven编译)
  • 快捷的日常操作(任务启动、停止、savepoint)
  • 支持Notebook(在线任务开发)
  • 在线参数配置
  • 项目配置和依赖版本化管理
  • 在线管理依赖(maven pom)和自定义jar
  • 自定义 udf、连接器等支持
  • Flink SQL WebIDE

有的同学可能会使用Zeppelin 比较多,两者是有一定区别的,侧重点不同。未来也会写文做一下两者的对比。

StreamX近期也发布了最新的版本StreamX 1.2.0

在最新的版本中支持了以下功能:

  • 与 Hadoop 解耦, 平台在启动时不在强制依赖 Hadoop 环境
  • 较完整的支持了 Kubernetes 部署模式(Native Application/Native Session)
  • Kubernetes 部署模式下, 任务的状态追踪监控
  • 支持自动 build/push 镜像
  • Flink 最新1.14.0 支持, 目前已经支持 Flink 1.12.x / 1.13.x / 1.14.0
  • 新增打包机模块,任务打包 fat-jar 更方便

谁在使用StreamX

在2021年11月18日,StreamX 也成功的入选了开源中国的2021年度最有价值开源项目。

未来的StreamX也进行着与doris,dolphinscheduler等整合的计划,也会继续增强StreamX在Flink流上的开发部署能力与运行监控能力,努力把StreamX打造成一个功能完善的流数据 DevOps。

StreamX是一个完全由国人发起的开源项目。也欢迎大家联系我们,加入到开源项目中来,为中国开源崛起献上一份自己的力量,未来共同向着成为Apache顶级项目而努力。

相关推荐
TM1Club2 小时前
AI驱动的预测:新的竞争优势
大数据·人工智能·经验分享·金融·数据分析·自动化
zhang133830890752 小时前
CG-09H 超声波风速风向传感器 加热型 ABS材质 重量轻 没有机械部件
大数据·运维·网络·人工智能·自动化
电商API_180079052473 小时前
第三方淘宝商品详情 API 全维度调用指南:从技术对接到生产落地
java·大数据·前端·数据库·人工智能·网络爬虫
龙山云仓4 小时前
No140:AI世间故事-对话康德——先验哲学与AI理性:范畴、道德律与自主性
大数据·人工智能·深度学习·机器学习·全文检索·lucene
躺柒5 小时前
读数字时代的网络风险管理:策略、计划与执行04风险指引体系
大数据·网络·信息安全·数字化·网络管理·网络风险管理
独自归家的兔6 小时前
从 “局部凑活“ 到 “全局最优“:AI 规划能力的技术突破与产业落地实践
大数据·人工智能
海域云-罗鹏6 小时前
国内公司与英国总部数据中心/ERP系统互连,SD-WAN专线实操指南
大数据·数据库·人工智能
策知道7 小时前
依托政府工作报告准备省考【经验贴】
大数据·数据库·人工智能·搜索引擎·政务
Henry-SAP8 小时前
SAP(ERP) 组织结构业务视角解析
大数据·人工智能·sap·erp·sap pp
TracyCoder1239 小时前
ElasticSearch内存管理与操作系统(一):内存分配底层原理
大数据·elasticsearch·搜索引擎