Flink本地idea运行环境配置webui

Flink本地idea运行环境配置webui

1.添加依赖
c 复制代码
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web_2.11</artifactId>
            <version>1.13.6</version>
            <scope>provided</scope>
        </dependency>
2. 代码如下
c 复制代码
public class FlinkWithLocalWebui {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.setString(RestOptions.BIND_PORT, "8081"); // 设置WebUI端口为8081
        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf); // 创建带有WebUI的本地流执行环境
        env.setParallelism(1); // 设置并行度为1
        DataStream<Map<String, String>> stream = env.addSource(new SourceFunction<Map<String, String>>() {
                    @Override
                    public void run(SourceContext<Map<String, String>> ctx) throws Exception {
                        while (true) {
                            HashMap<String, String> hashMap = new HashMap<>();
                            hashMap.put("ID", new Random().nextInt(3) + 1 + ""); // 随机生成ID
                            hashMap.put("AMT", "1"); // 设置AMT为1
                            System.out.println("生产数据:" + hashMap); // 打印生产的数据
                            ctx.collect(hashMap); // 发射数据
                            Thread.sleep(1000); // 每隔1秒发送一次数据
                        }
                    }

                    @Override
                    public void cancel() {
                    }
                })
                // 按照ID字段进行分区
                .keyBy(new KeySelector<Map<String, String>, String>() {
                    @Override
                    public String getKey(Map<String, String> value) throws Exception {
                        return value.get("ID");
                    }
                })
                // 对AMT字段进行累加
                .reduce(new ReduceFunction<Map<String, String>>() {
                    @Override
                    public Map<String, String> reduce(Map<String, String> value1, Map<String, String> value2) throws Exception {
                        HashMap<String, String> hashMap = new HashMap<>();
                        hashMap.put("ID", value1.get("ID"));
                        hashMap.put("AMT", Integer.valueOf(value1.get("AMT")) + Integer.valueOf(value2.get("AMT")) + "");
                        return hashMap;
                    }
                });
        // 输出数据流
        stream.print();
        // 执行作业并指定作业名称
        env.execute("job-" + FlinkWithLocalWebui.class.getSimpleName());
    }
}
//这段代码是一个基于Apache Flink的实时数据处理程序。
//程序创建了一个带有WebUI的本地流执行环境,设置了并行度为1。
//通过自定义的SourceFunction生成随机数据流,数据包含ID和AMT字段,每秒发送一次数据。
//然后对数据流按照ID字段进行分区,并对AMT字段进行累加操作。
//最后,将处理后的数据流打印输出,并执行作业。
//整体流程是一个简单的实时数据处理流水线,用于生成、处理和输出数据流。
3. 执行结果:
c 复制代码
生产数据:{AMT=1, ID=3}
{AMT=1, ID=3}
生产数据:{AMT=1, ID=1}
{AMT=1, ID=1}
生产数据:{AMT=1, ID=2}
{AMT=1, ID=2}
...
生产数据:{AMT=1, ID=2}
{AMT=9, ID=2}
生产数据:{AMT=1, ID=3}
{AMT=13, ID=3}
生产数据:{AMT=1, ID=3}
...
4. 访问Webui,截图如下:

地址:http://localhost:8081/#/overview

相关推荐
qqxhb2 分钟前
零基础数据结构与算法——第四章:基础算法-排序(上)
java·数据结构·算法·冒泡·插入·选择
猴哥源码32 分钟前
基于Java+SpringBoot的在线小说阅读平台
java·spring boot
lingRJ77732 分钟前
从混沌到掌控:基于OpenTelemetry与Prometheus构建分布式调用链监控告警体系
java·springboot·prometheus·backend·opentelemetry·jaeger·microservices
星辰离彬39 分钟前
Java 与 MySQL 性能优化:Java应用中MySQL慢SQL诊断与优化实战
java·后端·sql·mysql·性能优化
程序猿小D2 小时前
[附源码+数据库+毕业论文]基于Spring+MyBatis+MySQL+Maven+jsp实现的个人财务管理系统,推荐!
java·数据库·mysql·spring·毕业论文·ssm框架·个人财务管理系统
转转技术团队3 小时前
二奢仓店的静默打印代理实现
java·后端
钢铁男儿3 小时前
C# 接口(什么是接口)
java·数据库·c#
丶小鱼丶3 小时前
排序算法之【归并排序】
java·排序算法
上上迁3 小时前
分布式生成 ID 策略的演进和最佳实践,含springBoot 实现(Java版本)
java·spring boot·分布式
永日456704 小时前
学习日记-spring-day42-7.7
java·学习·spring