开源大数据流水线系统PiflowX本地开发调试

1.代码获取

关注公众号PiflowX,发送"源码"获取github地址。

2.后端本地开发

前提条件

  • Java1.8+
  • maven

项目编译

切换到dev-flow分支。

go 复制代码
 mvn clean package -DskipTests

解压缩包

编译完成后,找到dist目录下压缩包,解压到指定目录。

bash 复制代码
cd ./dist
tar -zxvf apache-streampark-2.2.0-incubating-bin.tar.gz

启动后台服务

找到 streampark-console/streampark-console-service/src/main/java/org/apache/streampark/console/StreamParkConsoleBootstrap.java

修改启动配置

勾选Add VM options,填写参数-Dapp.home=$path$path是我们刚刚复制的路径

3.PiflowX后端启动

修改配置

修改项目下config.properties文件,根据自己环境配置

ini 复制代码
#spark
spark.master=yarn
spark.deploy.mode=cluster

#hdfs default file system
fs.defaultFS=hdfs://192.168.186.100:8082
#yarn resourcemanager hostname
yarn.resourcemanager.hostname=192.168.186.100:8088

#if you want to use hive, set hive metastore uris
hive.metastore.uris=thrift://192.168.186.100:9083

#show data in log, set 0 if you do not show the logs
data.show=10

#monitor the throughput of flow
monitor.throughput=true

#server port
server.port=8001

#h2db port
h2.port=50001
#flink
flink.jobmanager.rpc.address=192.168.186.100
flink.jobmanager.rpc.port=6123
flink.rest.port=8081

启动服务

找到 piflowx/piflow-server/src/main/scala/cn/piflow/api/HTTPServer.scala

运行main方法。

启动完成,会在项目下生成一个server.ip文件,文件内容为当前机器ip。

修改streampark-console-service服务application.yml配置:

重启streampark-console-service服务。

4.前端本地开发

前提条件

Note

如果你遇到依赖下载缓慢需要配置 npm 镜像源,方法为在用户文件夹下找到 .npmrc 将以下内容写入:

ini 复制代码
strict-peer-dependencies=false
save-workspace-protocol = rolling
registry = 'http://registry.npmmirror.com'

构建并运行

  1. 安装依赖:
bash 复制代码
cd ../streampark-console/streampark-console-webapp
复制代码
pnpm install

如果运行失败,执行以下命令:

css 复制代码
 pnpm install --ignore-scripts
  1. 运行:

    pnpm serve

  1. 打包

    pnpm build

浏览器支持

本地开发推荐使用Chrome 80+ 浏览器,支持现代浏览器, 不支持 IE。

相关推荐
遥不可及~~斌1 小时前
Spring Boot RESTful API 设计指南:查询接口规范与最佳实践
spring boot·后端·restful
熟悉的新风景7 小时前
springboot项目或其他项目使用@Test测试项目接口配置-spring-boot-starter-test
java·spring boot·后端
晴空月明8 小时前
分布式系统高可用性设计 - 监控与日志系统
后端
songroom9 小时前
【转】Rust: PhantomData,#may_dangle和Drop Check 真真假假
开发语言·后端·rust
红尘散仙10 小时前
Rust 终端 UI 开发新玩法:用 Ratatui Kit 轻松打造高颜值 CLI
前端·后端·rust
mldong10 小时前
mldong-goframe:基于 GoFrame + Vben5 的全栈快速开发框架正式开源!
vue.js·后端·go
canonical_entropy10 小时前
集成NopReport动态生成复杂Word表格
后端·低代码
come1123411 小时前
Go 包管理工具详解:安装与使用指南
开发语言·后端·golang
绝无仅有11 小时前
OSS文件上传解析失败,错误:文件下载失败的排查与解决
后端·面试·架构
LaoZhangAI11 小时前
Kiro vs Cursor:2025年AI编程IDE深度对比
前端·后端