Flink本地idea运行环境配置webui

Flink本地idea运行环境配置webui

1.添加依赖
c 复制代码
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web_2.11</artifactId>
            <version>1.13.6</version>
            <scope>provided</scope>
        </dependency>
2. 代码如下
c 复制代码
public class FlinkWithLocalWebui {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.setString(RestOptions.BIND_PORT, "8081"); // 设置WebUI端口为8081
        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf); // 创建带有WebUI的本地流执行环境
        env.setParallelism(1); // 设置并行度为1
        DataStream<Map<String, String>> stream = env.addSource(new SourceFunction<Map<String, String>>() {
                    @Override
                    public void run(SourceContext<Map<String, String>> ctx) throws Exception {
                        while (true) {
                            HashMap<String, String> hashMap = new HashMap<>();
                            hashMap.put("ID", new Random().nextInt(3) + 1 + ""); // 随机生成ID
                            hashMap.put("AMT", "1"); // 设置AMT为1
                            System.out.println("生产数据:" + hashMap); // 打印生产的数据
                            ctx.collect(hashMap); // 发射数据
                            Thread.sleep(1000); // 每隔1秒发送一次数据
                        }
                    }

                    @Override
                    public void cancel() {
                    }
                })
                // 按照ID字段进行分区
                .keyBy(new KeySelector<Map<String, String>, String>() {
                    @Override
                    public String getKey(Map<String, String> value) throws Exception {
                        return value.get("ID");
                    }
                })
                // 对AMT字段进行累加
                .reduce(new ReduceFunction<Map<String, String>>() {
                    @Override
                    public Map<String, String> reduce(Map<String, String> value1, Map<String, String> value2) throws Exception {
                        HashMap<String, String> hashMap = new HashMap<>();
                        hashMap.put("ID", value1.get("ID"));
                        hashMap.put("AMT", Integer.valueOf(value1.get("AMT")) + Integer.valueOf(value2.get("AMT")) + "");
                        return hashMap;
                    }
                });
        // 输出数据流
        stream.print();
        // 执行作业并指定作业名称
        env.execute("job-" + FlinkWithLocalWebui.class.getSimpleName());
    }
}
//这段代码是一个基于Apache Flink的实时数据处理程序。
//程序创建了一个带有WebUI的本地流执行环境,设置了并行度为1。
//通过自定义的SourceFunction生成随机数据流,数据包含ID和AMT字段,每秒发送一次数据。
//然后对数据流按照ID字段进行分区,并对AMT字段进行累加操作。
//最后,将处理后的数据流打印输出,并执行作业。
//整体流程是一个简单的实时数据处理流水线,用于生成、处理和输出数据流。
3. 执行结果:
c 复制代码
生产数据:{AMT=1, ID=3}
{AMT=1, ID=3}
生产数据:{AMT=1, ID=1}
{AMT=1, ID=1}
生产数据:{AMT=1, ID=2}
{AMT=1, ID=2}
...
生产数据:{AMT=1, ID=2}
{AMT=9, ID=2}
生产数据:{AMT=1, ID=3}
{AMT=13, ID=3}
生产数据:{AMT=1, ID=3}
...
4. 访问Webui,截图如下:

地址:http://localhost:8081/#/overview

相关推荐
yaoxtao几秒前
java.nio.file.InvalidPathException异常
java·linux·ubuntu
Swift社区1 小时前
从 JDK 1.8 切换到 JDK 21 时遇到 NoProviderFoundException 该如何解决?
java·开发语言
DKPT2 小时前
JVM中如何调优新生代和老生代?
java·jvm·笔记·学习·spring
phltxy2 小时前
JVM——Java虚拟机学习
java·jvm·学习
seabirdssss4 小时前
使用Spring Boot DevTools快速重启功能
java·spring boot·后端
喂完待续4 小时前
【序列晋升】29 Spring Cloud Task 微服务架构下的轻量级任务调度框架
java·spring·spring cloud·云原生·架构·big data·序列晋升
benben0444 小时前
ReAct模式解读
java·ai
轮到我狗叫了5 小时前
牛客.小红的子串牛客.kotori和抽卡牛客.循环汉诺塔牛客.ruby和薯条
java·开发语言·算法
Volunteer Technology6 小时前
三高项目-缓存设计
java·spring·缓存·高并发·高可用·高数据量