PiflowX组件-FileRead

FileRead组件

组件说明

从文件系统读取。

计算引擎

flink

组件分组

file

端口

Inport:默认端口

outport:默认端口

组件属性

名称 展示名称 默认值 允许值 是否必填 描述 例子
path path "" 文件路径。 hdfs://server1:8020/flink/test/text.txt
format format "" Set("json", "csv", "avro", "parquet", "orc", "raw", "debezium-json", "canal-json") 文件系统连接器支持format。 json
monitorInterval monitorInterval "" 设置新文件的监控时间间隔,并且必须设置 > 0 的值。 每个文件都由其路径唯一标识,一旦发现新文件,就会处理一次。 已处理的文件在source的整个生命周期内存储在state中,因此,source的state在checkpoint和savepoint时进行保存。更短的时间间隔意味着文件被更快地发现,但也意味着更频繁地遍历文件系统/对象存储。 如果未设置此配置选项,则提供的路径仅被扫描一次,因此源将是有界的。
tableDefinition TableDefinition "" Flink table定义。
properties PROPERTIES "" 连接器其他配置。

FileRead示例配置

json 复制代码
{
  "flow": {
    "name": "FileReadTest",
    "uuid": "1234",
    "stops": [
      {
        "uuid": "1111",
        "name": "FileRead",
        "bundle": "cn.piflow.bundle.flink.file.FileRead",
        "properties": {
          "path": "src/test/resources/file/user.csv",
          "format": "csv",
          "tableDefinition": "{\"catalogName\":null,\"dbname\":null,\"tableName\":\"\",\"ifNotExists\":true,\"physicalColumnDefinition\":[{\"columnName\":\"name\",\"columnType\":\"STRING\",\"comment\":\"name\"},{\"columnName\":\"age\",\"columnType\":\"INT\"}],\"metadataColumnDefinition\":null,\"computedColumnDefinition\":null,\"watermarkDefinition\":null}",
          "properties": "{'csv.field-delimiter':',','csv.ignore-parse-errors':'true'}"
        }
      },
      {
        "uuid": "2222",
        "name": "ShowData1",
        "bundle": "cn.piflow.bundle.flink.common.ShowData",
        "properties": {
          "showNumber": "100"
        }
      }
    ],
    "paths": [
      {
        "from": "FileRead",
        "outport": "",
        "inport": "",
        "to": "ShowData1"
      }
    ]
  }
}
示例说明

本示例演示了通过FileRead从本地文件user.csv中读取内容,然后使用ShoData组件将数据打印在控制台。

演示DEMO

PiflowX组件-FileRead

相关推荐
阿里云大数据AI技术14 小时前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据
Lx35219 小时前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
武子康1 天前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
阿里云大数据AI技术2 天前
大数据公有云市场第一,阿里云占比47%!
大数据
Lx3522 天前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
计算机毕业设计木哥2 天前
计算机毕设选题推荐:基于Java+SpringBoot物品租赁管理系统【源码+文档+调试】
java·vue.js·spring boot·mysql·spark·毕业设计·课程设计
T06205142 天前
工具变量-5G试点城市DID数据(2014-2025年
大数据
向往鹰的翱翔2 天前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗
鸿乃江边鸟2 天前
向量化和列式存储
大数据·sql·向量化
IT毕设梦工厂2 天前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata