CSV Format Flink / PyFlink 读写 CSV 的正确姿势(含 Schema 高级配置)

1、依赖引入

Java/Scala 工程需要加 Flink CSV 依赖:

xml 复制代码
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-csv</artifactId>
  <version>2.2.0</version>
</dependency>

PyFlink 用户一般可以直接在作业里使用(前提是集群环境里对应的 jar 能被加载;如果你是在远程集群跑,仍然需要按你前面"依赖管理"章节的方式把 jar 加入 pipeline.jars 或 env.add_jars())。

2、Java:快速读取 POJO(自动推导 Schema)

最省事的方式:让 Jackson 根据 POJO 字段推导 CSV schema:

java 复制代码
CsvReaderFormat<SomePojo> csvFormat = CsvReaderFormat.forPojo(SomePojo.class);
FileSource<SomePojo> source =
    FileSource.forRecordStreamFormat(csvFormat, Path.fromLocalFile(...)).build();

注意:CSV 列顺序必须和 POJO 字段顺序一致。必要时加:

java 复制代码
@JsonPropertyOrder({"field1","field2", ...})

否则列对不上会出现解析错位(最常见的"字段都不为空但值都错"的隐性 bug)。

3、Java:高级配置(自定义分隔符、禁用引号等)

需要精细控制时,用 forSchema(...) 自己生成 CsvSchema,例如把分隔符改成 |,并禁用 quote:

java 复制代码
Function<CsvMapper, CsvSchema> schemaGenerator = mapper ->
    mapper.schemaFor(CityPojo.class)
          .withoutQuoteChar()
          .withColumnSeparator('|');

CsvReaderFormat<CityPojo> csvFormat =
    CsvReaderFormat.forSchema(() -> new CsvMapper(), schemaGenerator, TypeInformation.of(CityPojo.class));

FileSource<CityPojo> source =
    FileSource.forRecordStreamFormat(csvFormat, Path.fromLocalFile(...)).build();

对应 CSV:

复制代码
Berlin|52.5167|13.3833|Germany|DE|Berlin|primary|3644826
San Francisco|37.7562|-122.443|United States|US|California||3592294
Beijing|39.905|116.3914|China|CN|Beijing|primary|19433000

更复杂的类型也能做(比如数组列),通过 CsvSchema.ColumnType.ARRAY 并指定数组元素分隔符:

java 复制代码
CsvReaderFormat<ComplexPojo> csvFormat =
    CsvReaderFormat.forSchema(
        CsvSchema.builder()
            .addColumn(new CsvSchema.Column(0, "id", CsvSchema.ColumnType.NUMBER))
            .addColumn(new CsvSchema.Column(4, "array", CsvSchema.ColumnType.ARRAY)
                .withArrayElementSeparator("#"))
            .build(),
        TypeInformation.of(ComplexPojo.class));

4、PyFlink:手动定义 CSV Schema(输出为 Row)

PyFlink 里通常自己建 schema,每一列映射为 Row 字段:

python 复制代码
from pyflink.common.watermark_strategy import WatermarkStrategy
from pyflink.table import DataTypes
from pyflink.datastream import StreamExecutionEnvironment
from pyflink.datastream.connectors.file_system import FileSource
from pyflink.formats.csv import CsvReaderFormat, CsvSchema  # 具体 import 以你环境包结构为准

env = StreamExecutionEnvironment.get_execution_environment()

schema = CsvSchema.builder() \
    .add_number_column('id', number_type=DataTypes.BIGINT()) \
    .add_array_column('array', separator='#', element_type=DataTypes.INT()) \
    .set_column_separator(',') \
    .build()

source = FileSource.for_record_stream_format(
    CsvReaderFormat.for_schema(schema),
    CSV_FILE_PATH
).build()

ds = env.from_source(source, WatermarkStrategy.no_watermarks(), 'csv-source')

# ds 的 record 类型是 Row(具名字段 + 复合类型)
# Types.ROW_NAMED(['id', 'array'], [Types.LONG(), Types.LIST(Types.INT())])

对应 CSV:

复制代码
0,1#2#3
1,
2,1

补一个实战提醒:如果某列可能为空(比如上面的 array),你后续算子处理时要把 None/空数组的分支写好,否则很容易在 map/flat_map 里触发类型错误。

5、PyFlink:写 CSV(Bulk Format)

写 CSV 通常用 CsvBulkWriters 生成 BulkWriterFactory,再配合 FileSink.for_bulk_format(...):

python 复制代码
from pyflink.table import DataTypes
from pyflink.datastream.connectors.file_system import FileSink
from pyflink.formats.csv import CsvBulkWriters, CsvSchema  # 具体 import 以你环境包结构为准

schema = CsvSchema.builder() \
    .add_number_column('id', number_type=DataTypes.BIGINT()) \
    .add_array_column('array', separator='#', element_type=DataTypes.INT()) \
    .set_column_separator(',') \
    .build()

sink = FileSink.for_bulk_format(
    OUTPUT_DIR,
    CsvBulkWriters.for_schema(schema)
).build()

ds.sink_to(sink)

6、运行模式:Batch / Streaming 都可用

CsvReaderFormat 类似 TextLineInputFormat,既可用于批也可用于流(持续监控目录等),具体取决于你用的 Source/RuntimeMode 以及文件系统是否支持持续发现。

相关推荐
小白勇闯网安圈20 分钟前
day_2
python
叮当小飞鱼25 分钟前
RAG幻觉
python
赵大仁1 小时前
Agent 工具调用可靠性:超时、重试、幂等与人工确认怎么设计
python·agent·幂等·工具调用·人工确认
__underline__2 小时前
冷门Python知识点007篇:list[int]不是类,为什么能当基类?
后端·python
Dmz丶2 小时前
前端转 AI 100 天 Day 49:文档切分——RAG 效果的隐形开关
python
isfox2 小时前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
青少儿编程课堂3 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛
字节跳动数据平台3 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
Starry-sky(jing)4 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
2601_967979124 小时前
“Python,就是新的 BASIC!”
python·编程语言·历史·basic·比较