watermark

G皮T7 个月前
大数据·数据库·flink·watermark·水位线·乱序·延迟
【Flink】WaterMark 实战例如,现在我们有了一个 [12:00:00-12:00:10) 的时间窗口,现在事件如下图所示顺序 A、B、C、D、E、F … 到达。
G皮T9 个月前
大数据·sql·flink·实时计算·create·watermark·flink-sql
【大数据】Flink SQL 语法篇(一):CREATECREATE 语句用于向当前或指定的 Catalog 中注册库、表、视图或函数。注册后的库、表、视图和函数可以在 SQL 查询中使用。
G皮T9 个月前
大数据·flink·实时计算·数据流·watermark·水位线
【大数据】详解 Flink 中的 WaterMark流处理,最本质的是在处理数据的时候,接受一条处理一条数据。批处理,则是累积数据到一定程度在处理。这是他们本质的区别。
G皮T9 个月前
大数据·flink·时间戳·watermark·水位线·事件时间
【大数据】Flink 中的事件时间处理在之前的博客中,我们强调了时间语义对于流处理应用的重要性并解释了 处理时间 和 事件时间 的差异。虽然处理时间是基于处理机器的本地时间,相对容易理解,但它会产生一些较为随意、不一致且无法重现的结果。相反,事件时间语义会生成可重现且一致性的结果,这也是很多流处理用例的刚性需求。但和基于处理时间语义的应用相比,基于事件时间的应用需要一些额外的配置。此外,相比纯粹使用处理时间的引擎,支持事件时间的流处理引擎内部要更加复杂。
又见阿郎1 年前
flink·窗口·watermark
聊聊Flink必知必会(五)从源码中,根据关键的代码,梳理一下Flink中的时间与窗口实现逻辑。对数据流执行keyBy()操作后,再调用window()方法,就会返回WindowedStream,表示分区后又加窗的数据流。如果数据流没有经过分区,直接调用window()方法则会返回AllWindowedStream。
TechBeat人工智能社区1 年前
机器学习·自然语言处理·生成式人工智能·watermark
Talk | UCSB博士生赵宣栋:生成式AI时代的水印技术本期为TechBeat人工智能社区第546期线上Talk!北京时间11月15日(周三)20:00,UC Santa Barbara博士生—赵宣栋的Talk已准时在TechBeat人工智能社区开播!