43、Flink 自定义窗口触发器代码示例

1、方法说明

1)onElement() 方法在每个元素被加入窗口时调用。

返回 TriggerResult 来决定 trigger 如何应对到达窗口的事件
CONTINUE: 什么也不做
FIRE: 触发计算
PURGE: 清空窗口内的元素
FIRE_AND_PURGE: 触发计算,计算结束后清空窗口内的元素

2)onProcessingTime() 方法在注册的 processing-time timer 触发时调用。

返回 TriggerResult 来决定 trigger 如何应对到达窗口的事件
CONTINUE: 什么也不做
FIRE: 触发计算
PURGE: 清空窗口内的元素
FIRE_AND_PURGE: 触发计算,计算结束后清空窗口内的元素

3)onEventTime() 方法在注册的 event-time timer 触发时调用。

返回 TriggerResult 来决定 trigger 如何应对到达窗口的事件
CONTINUE: 什么也不做
FIRE: 触发计算
PURGE: 清空窗口内的元素
FIRE_AND_PURGE: 触发计算,计算结束后清空窗口内的元素

4)clear() 方法处理在对应窗口被移除时所需的逻辑。

5)onMerge() 方法与有状态的 trigger 相关,该方法会在两个窗口合并时,将窗口对应 trigger 的状态合并,比如使用会话窗口时。

2、完整代码示例

bash 复制代码
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.windowing.WindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.GlobalWindows;
import org.apache.flink.streaming.api.windowing.triggers.Trigger;
import org.apache.flink.streaming.api.windowing.triggers.TriggerResult;
import org.apache.flink.streaming.api.windowing.windows.GlobalWindow;
import org.apache.flink.streaming.api.windowing.windows.Window;
import org.apache.flink.util.Collector;

import java.util.ArrayList;
import java.util.List;

/**
 * FIRE 会保留被触发的窗口中的内容,Flink 内置的 trigger 默认使用 `FIRE`。
 * FIRE_AND_PURGE 不会保留被触发的窗口中的内容
 * Purge 只会移除窗口中的内容,不会移除关于窗口的 meta-information 和 trigger 的状态
 */
public class _08_WindowTriggerCustom {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        DataStreamSource<String> input = env.socketTextStream("localhost", 8888);

        ArrayList<String> keyList = new ArrayList<>();
        keyList.add("c");
        keyList.add("d");

        // 测试时限制了分区数,生产中需要设置空闲数据源
        env.setParallelism(2);

        // Processing-Time
        input.keyBy(e -> String.valueOf(e.hashCode() % 2))
                .window(GlobalWindows.create())
                .trigger(new MyCustomWindowTrigger<>(keyList))
                .apply(new WindowFunction<String, String, String, GlobalWindow>() {
                    @Override
                    public void apply(String s, GlobalWindow globalWindow, Iterable<String> iterable, Collector<String> collector) throws Exception {
                        for (String word : iterable) {
                            collector.collect(word);
                        }
                    }
                })
                .print();

        env.execute();
    }
}

class MyCustomWindowTrigger<W extends Window> extends Trigger<String, W> {
    private List<String> keyWords;

    private ValueStateDescriptor<String> valueStateDescriptor;

    public MyCustomWindowTrigger(List<String> keyWords) {
        this.keyWords = keyWords;
        this.valueStateDescriptor = new ValueStateDescriptor<>("cnt", String.class);
    }

    // onElement() 方法在每个元素被加入窗口时调用。
    // 返回 `TriggerResult` 来决定 trigger 如何应对到达窗口的事件
    //- `CONTINUE`: 什么也不做
    //- `FIRE`: 触发计算
    //- `PURGE`: 清空窗口内的元素
    //- `FIRE_AND_PURGE`: 触发计算,计算结束后清空窗口内的元素
    @Override
    public TriggerResult onElement(String input, long l, W w, TriggerContext triggerContext) throws Exception {
        //当窗口内的元素匹配到首个关键字时触发,触发前的元素用 '-' 拼接
        //a0\b0\a1\b1\c2\d2
        //FIRE_AND_PURGE=会清除窗口状态
        //FIRE=不会清除窗口状态
        //2> b0
        //2> a1
        //2> c2
        //
        //1> a0
        //1> b1
        //1> d2
        ValueState<String> partitionedState = triggerContext.getPartitionedState(valueStateDescriptor);
        String value = partitionedState.value();

        for (String keyWord : keyWords) {
            if (input.startsWith(keyWord)) {
                if (value == null || value.isEmpty()) {
                    partitionedState.update(input);
                }
                value += "-" + input;
                partitionedState.update(value);
            }
        }

        if (partitionedState.value() != null && !partitionedState.value().isEmpty()) {
//            return TriggerResult.FIRE_AND_PURGE;
            return TriggerResult.FIRE;
        }

        return TriggerResult.CONTINUE;
    }

    // onProcessingTime() 方法在注册的 processing-time timer 触发时调用。
    // 返回 `TriggerResult` 来决定 trigger 如何应对到达窗口的事件
    //- `CONTINUE`: 什么也不做
    //- `FIRE`: 触发计算
    //- `PURGE`: 清空窗口内的元素
    //- `FIRE_AND_PURGE`: 触发计算,计算结束后清空窗口内的元素
    @Override
    public TriggerResult onProcessingTime(long l, W w, TriggerContext triggerContext) throws Exception {
        return TriggerResult.CONTINUE;
    }

    // onEventTime() 方法在注册的 event-time timer 触发时调用。
    // 返回 `TriggerResult` 来决定 trigger 如何应对到达窗口的事件
    //- `CONTINUE`: 什么也不做
    //- `FIRE`: 触发计算
    //- `PURGE`: 清空窗口内的元素
    //- `FIRE_AND_PURGE`: 触发计算,计算结束后清空窗口内的元素
    @Override
    public TriggerResult onEventTime(long l, W w, TriggerContext triggerContext) throws Exception {
        return TriggerResult.CONTINUE;
    }

    // clear() 方法处理在对应窗口被移除时所需的逻辑。
    @Override
    public void clear(W w, TriggerContext triggerContext) throws Exception {
        ValueState<String> partitionedState = triggerContext.getPartitionedState(valueStateDescriptor);
        partitionedState.clear();
    }

    // onMerge() 方法与有状态的 trigger 相关,该方法会在两个窗口合并时,将窗口对应 trigger 的状态合并,比如使用会话窗口时。
    @Override
    public void onMerge(W window, OnMergeContext ctx) throws Exception {
    }
}
相关推荐
计算机编程-吉哥5 小时前
大数据毕业设计-基于大数据的NBA美国职业篮球联赛数据分析可视化系统(高分计算机毕业设计选题·定制开发·真正大数据·机器学习毕业设计)
大数据·毕业设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
计算机编程-吉哥5 小时前
大数据毕业设计-基于大数据的BOSS直聘岗位招聘数据可视化分析系统(高分计算机毕业设计选题·定制开发·真正大数据·机器学习毕业设计)
大数据·毕业设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
RunningShare7 小时前
从“国庆景区人山人海”看大数据处理中的“数据倾斜”难题
大数据·flink
Hello.Reader7 小时前
Flink 执行模式在 STREAMING 与 BATCH 之间做出正确选择
大数据·flink·batch
文火冰糖的硅基工坊10 小时前
《投资-99》价值投资者的认知升级与交易规则重构 - 什么是周期性股票?有哪些周期性股票?不同周期性股票的周期多少?周期性股票的买入和卖出的特点?
大数据·人工智能·重构·架构·投资·投机
Elastic 中国社区官方博客10 小时前
Elasticsearch:使用推理端点及语义搜索演示
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
数据智能老司机11 小时前
数据工程设计模式——冷热数据存储
大数据·设计模式·架构
Hello.Reader14 小时前
Flink 连接器与格式thin/uber 制品、打包策略与上线清单
大数据·flink
隐语SecretFlow14 小时前
【隐私计算科普】如何实现可证明安全?
大数据·开源·边缘计算
lisw0515 小时前
AIoT(人工智能物联网):融合范式下的技术演进、系统架构与产业变革
大数据·人工智能·物联网·机器学习·软件工程