开源大数据流水线系统PiflowX本地开发调试

八度酱2024-04-09 9:54

1.代码获取

关注公众号PiflowX，发送"源码"获取github地址。

2.后端本地开发

前提条件

Java1.8+
maven

项目编译

切换到dev-flow分支。

go 复制代码

 mvn clean package -DskipTests

解压缩包

编译完成后，找到dist目录下压缩包，解压到指定目录。

bash 复制代码

cd ./dist
tar -zxvf apache-streampark-2.2.0-incubating-bin.tar.gz

启动后台服务

找到 streampark-console/streampark-console-service/src/main/java/org/apache/streampark/console/StreamParkConsoleBootstrap.java

修改启动配置

勾选Add VM options，填写参数-Dapp.home=$path，$path是我们刚刚复制的路径

3.PiflowX后端启动

修改配置

修改项目下config.properties文件，根据自己环境配置

ini 复制代码

#spark
spark.master=yarn
spark.deploy.mode=cluster

#hdfs default file system
fs.defaultFS=hdfs://192.168.186.100:8082
#yarn resourcemanager hostname
yarn.resourcemanager.hostname=192.168.186.100:8088

#if you want to use hive, set hive metastore uris
hive.metastore.uris=thrift://192.168.186.100:9083

#show data in log, set 0 if you do not show the logs
data.show=10

#monitor the throughput of flow
monitor.throughput=true

#server port
server.port=8001

#h2db port
h2.port=50001
#flink
flink.jobmanager.rpc.address=192.168.186.100
flink.jobmanager.rpc.port=6123
flink.rest.port=8081

启动服务

找到 piflowx/piflow-server/src/main/scala/cn/piflow/api/HTTPServer.scala，

运行main方法。

启动完成，会在项目下生成一个server.ip文件，文件内容为当前机器ip。

修改streampark-console-service服务application.yml配置：

重启streampark-console-service服务。

4.前端本地开发

前提条件

Note

如果你遇到依赖下载缓慢需要配置 npm 镜像源,方法为在用户文件夹下找到 .npmrc 将以下内容写入：
ini 复制代码
strict-peer-dependencies=false
save-workspace-protocol = rolling
registry = 'http://registry.npmmirror.com'

构建并运行

安装依赖：

bash 复制代码

cd ../streampark-console/streampark-console-webapp

复制代码

pnpm install

如果运行失败，执行以下命令：

css 复制代码

 pnpm install --ignore-scripts

运行：

pnpm serve

打包

pnpm build

浏览器支持

本地开发推荐使用Chrome 80+ 浏览器，支持现代浏览器, 不支持 IE。