datagen

Laurence9 个月前
flink·datagen·connector·dummy·faker
Flink:使用 Faker 和 DataGen 生成测试数据DataGen 是开源 Flink 就内置的随机数据生成器;DataGen 生成的数据仅支持随机和序列值两种,且也并不是所有的数据类型都能支持随机或序列值,例如最常见的一个需求:针对时间类型就不能生成指定区间内的单调递增的数值,相较而言,Faker 的功能要明显强于 DataGen,我们只需掌握 Faker 这一种数据生成器就足够了。
G皮T1 年前
大数据·flink·测试·flinksql·datagen·connector·测试数据
【大数据】Flink 测试利器:DataGenFlink SQL 是基于 Apache Calcite 的 SQL 解析器和优化器构建的,支持 ANSI SQL 标准,允许使用标准的 SQL 语句来处理流式和批处理数据。通过 Flink SQL,可以以声明式的方式描述数据处理逻辑,而无需编写显式的代码。使用 Flink SQL,可以执行各种数据操作,如 过滤、聚合、连接 和 转换 等。它还提供了 窗口操作、时间处理 和 复杂事件处理 等功能,以满足流式数据处理的需求。
京东云技术团队1 年前
flink·测试·京东云·datagen
Flink测试利器之DataGen初探 | 京东云技术团队Flink SQL 是基于 Apache Calcite 的 SQL 解析器和优化器构建的,支持ANSI SQL 标准,允许使用标准的 SQL 语句来处理流式和批处理数据。通过 Flink SQL,可以以声明式的方式描述数据处理逻辑,而无需编写显式的代码。使用 Flink SQL,可以执行各种数据操作,如过滤、聚合、连接和转换等。它还提供了窗口操作、时间处理和复杂事件处理等功能,以满足流式数据处理的需求。