开源大数据流水线系统PiflowX本地开发调试

1.代码获取

关注公众号PiflowX,发送"源码"获取github地址。

2.后端本地开发

前提条件

  • Java1.8+
  • maven

项目编译

切换到dev-flow分支。

go 复制代码
 mvn clean package -DskipTests

解压缩包

编译完成后,找到dist目录下压缩包,解压到指定目录。

bash 复制代码
cd ./dist
tar -zxvf apache-streampark-2.2.0-incubating-bin.tar.gz

启动后台服务

找到 streampark-console/streampark-console-service/src/main/java/org/apache/streampark/console/StreamParkConsoleBootstrap.java

修改启动配置

勾选Add VM options,填写参数-Dapp.home=$path$path是我们刚刚复制的路径

3.PiflowX后端启动

修改配置

修改项目下config.properties文件,根据自己环境配置

ini 复制代码
#spark
spark.master=yarn
spark.deploy.mode=cluster

#hdfs default file system
fs.defaultFS=hdfs://192.168.186.100:8082
#yarn resourcemanager hostname
yarn.resourcemanager.hostname=192.168.186.100:8088

#if you want to use hive, set hive metastore uris
hive.metastore.uris=thrift://192.168.186.100:9083

#show data in log, set 0 if you do not show the logs
data.show=10

#monitor the throughput of flow
monitor.throughput=true

#server port
server.port=8001

#h2db port
h2.port=50001
#flink
flink.jobmanager.rpc.address=192.168.186.100
flink.jobmanager.rpc.port=6123
flink.rest.port=8081

启动服务

找到 piflowx/piflow-server/src/main/scala/cn/piflow/api/HTTPServer.scala

运行main方法。

启动完成,会在项目下生成一个server.ip文件,文件内容为当前机器ip。

修改streampark-console-service服务application.yml配置:

重启streampark-console-service服务。

4.前端本地开发

前提条件

Note

如果你遇到依赖下载缓慢需要配置 npm 镜像源,方法为在用户文件夹下找到 .npmrc 将以下内容写入:

ini 复制代码
strict-peer-dependencies=false
save-workspace-protocol = rolling
registry = 'http://registry.npmmirror.com'

构建并运行

  1. 安装依赖:
bash 复制代码
cd ../streampark-console/streampark-console-webapp
复制代码
pnpm install

如果运行失败,执行以下命令:

css 复制代码
 pnpm install --ignore-scripts
  1. 运行:

    pnpm serve

  1. 打包

    pnpm build

浏览器支持

本地开发推荐使用Chrome 80+ 浏览器,支持现代浏览器, 不支持 IE。

相关推荐
Piper蛋窝3 小时前
深入 Go 语言垃圾回收:从原理到内建类型 Slice、Map 的陷阱以及为何需要 strings.Builder
后端·go
六毛的毛5 小时前
Springboot开发常见注解一览
java·spring boot·后端
AntBlack6 小时前
拖了五个月 ,不当韭菜体验版算是正式发布了
前端·后端·python
31535669136 小时前
一个简单的脚本,让pdf开启夜间模式
前端·后端
uzong6 小时前
curl案例讲解
后端
一只叫煤球的猫7 小时前
真实事故复盘:Redis分布式锁居然失效了?公司十年老程序员踩的坑
java·redis·后端
大鸡腿同学8 小时前
身弱武修法:玄之又玄,奇妙之门
后端
轻语呢喃9 小时前
JavaScript :字符串模板——优雅编程的基石
前端·javascript·后端
MikeWe9 小时前
Paddle张量操作全解析:从基础创建到高级应用
后端
岫珩10 小时前
Ubuntu系统关闭防火墙的正确方式
后端