PiflowX-组件UnionAll

UnionAll组件

组件说明

Union多个输入源。输入源必须具有相同的字段类型。

计算引擎

flink

组件分组

common

端口

Inport:Any

outport:默认端口

组件属性

名称 展示名称 默认值 允许值 是否必填 描述 例子
inports Inports "" Inports string are separated by commas。 1,2

UnionAll示例配置

json 复制代码
{
  "flow": {
    "uuid": "7a5d97d288224a358a2d30ae8a229230",
    "runMode": "DEBUG",
    "name": "UnionAllTest",
    "engineType": "flink",
    "environment": {
      "runtimeMode": "batch"
    },
    "paths": [
      {
        "inport": "1",
        "from": "CsvStringParser1",
        "to": "UnionAll",
        "outport": ""
      },
      {
        "inport": "2",
        "from": "CsvStringParser2",
        "to": "UnionAll",
        "outport": ""
      },
      {
        "inport": "",
        "from": "UnionAll",
        "to": "ShowData",
        "outport": ""
      }
    ],
    "stops": [
      {
        "uuid": "0000",
        "name": "CsvStringParser1",
        "bundle": "cn.piflow.bundle.flink.file.CsvStringParser",
        "properties": {
          "content": "1,zs\n2,ls",
          "delimiter": ",",
          "schema": "id:int,name:string"
        }
      },
      {
        "uuid": "0000",
        "name": "CsvStringParser2",
        "bundle": "cn.piflow.bundle.flink.file.CsvStringParser",
        "properties": {
          "content": "1,zs\n3,ww",
          "delimiter": ",",
          "schema": "id:int,name:string"
        }
      },
      {
        "customizedProperties": {},
        "name": "UnionAll",
        "uuid": "0f0cf231dbf64852b17ac3ee2064134d",
        "bundle": "cn.piflow.bundle.flink.common.UnionAll",
        "properties": {
          "inports": "1,2"
        }
      },
      {
        "customizedProperties": {},
        "name": "ShowData",
        "uuid": "c2a84707d76b4083a74e46e6ea8cd5e3",
        "bundle": "cn.piflow.bundle.flink.common.ShowData",
        "properties": {
          "showNumber": "1000"
        }
      }
    ]
  }
}
示例说明

1.通过两个CsvStringParser组件解析字符串类型的csv数据;

2.使用UnionAll组件将2个数据源的数据连接起来;

3.使用ShowData组件将union后的数据打印在控制台。

演示DEMO
相关推荐
乌托邦的逃亡者1 小时前
Docker的/var/lib/docker/目录占用100%的处理方法
运维·docker·容器
ldj20201 小时前
Jenkins 流水线配置
运维·jenkins
古希腊数通小白(ip在学)4 小时前
stp拓扑变化分类
运维·服务器·网络·智能路由器
Muxiyale4 小时前
使用spring发送邮件,部署ECS服务器
java·服务器·spring
12点一刻6 小时前
搭建自动化工作流:探寻解放双手的有效方案(2)
运维·人工智能·自动化·deepseek
未来之窗软件服务6 小时前
东方仙盟AI数据中间件使用教程:开启数据交互与自动化应用新时代——仙盟创梦IDE
运维·人工智能·自动化·仙盟创梦ide·东方仙盟·阿雪技术观
FreeBuf_6 小时前
微软365 PDF导出功能存在本地文件包含漏洞,可泄露敏感服务器数据
服务器·microsoft·pdf
lixzest7 小时前
C++ Lambda 表达式详解
服务器·开发语言·c++·算法
o不ok!7 小时前
Linux面试问题-软件测试
linux·运维·服务器
小小不董9 小时前
深入理解oracle ADG和RAC
linux·服务器·数据库·oracle·dba