flink1.19.2+cdc-3.2.1遇到的问题及解决方案

No operators defined in streaming topology. Cannot generate StreamGraph

原因是博主想通过在flinkjar中写flinksql,以jar的方式提交application模式的作业(因为无法直接使用yarn-application提交flinksql)。

代码中有create和insert intosql,但是运行时报上面错误,各方面查找资料,其原因是flink没有识别insert操作,解决方案就是显示提交insert

错误代码

java 复制代码
public static void execute(String content, TableEnvironment tEnv) {
        List<String> insertSql = new ArrayList<>();
        // 分割SQL语句
        Arrays.stream(content.split(";"))
                .map(String::trim)
                .filter(s -> !s.isEmpty())
                .forEach(sql -> {
                    sql = sql.replaceAll(SEMICOLON, ";").replaceAll(SY, "\"").replaceAll(SDY, "`");
                    if (!sql.endsWith(";")) {
                        sql = sql + ";"; // 加上分号
                    }
					System.out.println("执行SQL>>>" + sql);
					tEnv.executeSql(sql);
                });
}

修改后

java 复制代码
public static void execute(String content, TableEnvironment tEnv) {
        List<String> insertSql = new ArrayList<>();
        // 分割SQL语句
        Arrays.stream(content.split(";"))
                .map(String::trim)
                .filter(s -> !s.isEmpty())
                .forEach(sql -> {
                    if (!sql.endsWith(";")) {
                        sql = sql + ";"; // 加上分号
                    }
                    if (sql.toUpperCase().startsWith("INSERT")) {
                        insertSql.add(sql);
                    } else {
                        System.out.println("执行SQL>>>" + sql);
                        tEnv.executeSql(sql);
                    }
                });
        // 统一执行insert
        // 显式触发, 否则会报错The main method caused an error: No operators defined in streaming topology. Cannot execute.
        if (insertSql.size() > 0) {
            StatementSet stmtSet = tEnv.createStatementSet();
            for (String insert : insertSql) {
                // 添加多个 INSERT 语句
                System.out.println("执行SQL>>>" + insert);
                stmtSet.addInsertSql(insert);
            }
            try {
                // 执行并设置作业名称
                TableResult result = stmtSet.execute();
                JobClient jobClient = result.getJobClient().orElseThrow(
                        () -> new RuntimeException("无法获取JobClient")
                );
                System.out.println("等待作业启动...");
                // 等待作业进入运行状态
                JobStatus status = jobClient.getJobStatus().get(STATUS_TIMEOUT, TimeUnit.SECONDS);

                if (status == JobStatus.RUNNING) {
                    System.out.println("作业已正常运行");
                    // 添加2秒延迟确保状态同步
                    Thread.sleep(2000);
                } else {
                    throw new IllegalStateException("作业启动失败,状态: " + status);
                }
            } catch (InterruptedException | ExecutionException e) {
                e.printStackTrace();
                throw new RuntimeException(e);
            } catch (TimeoutException e) {
                throw new RuntimeException(e);
            }
        }
    }

ERROR org.apache.flink.shaded.curator5.org.apache.curator.ConnectionState - Authentication failed

在flink的conf.yml添加

yaml 复制代码
zookeeper:
  sasl:
    disable: true

hadoop日志里中文显示成了问号

在flink的conf.yml添加

yaml 复制代码
env:
  java:
    opts:
      all: -Dfile.encoding=UTF-8

Invalid event: APP_UPDATE_SAVED at ACCEPTED

flink/lib下添加flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar

java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder;

flink/lib下添加commons-cli-1.5.0.jar

yarn启动容器使用随机端口的问题

需要节点间端口互通,否则经常会因为端口不通而导致容器启动不起来

#假设要允许192.168.0.66和192.168.0.67访问本机所有端口

shell 复制代码
sudo firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.0.66" accept'
sudo firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.0.67" accept'
sudo firewall-cmd --reload
相关推荐
G皮T3 小时前
【Elasticsearch】自定义评分检索
大数据·elasticsearch·搜索引擎·查询·检索·自定义评分·_score
搞笑的秀儿6 小时前
信息新技术
大数据·人工智能·物联网·云计算·区块链
SelectDB6 小时前
SelectDB 在 AWS Graviton ARM 架构下相比 x86 实现 36% 性价比提升
大数据·架构·aws
二二孚日6 小时前
自用华为ICT云赛道Big Data第五章知识点-Flume海量日志聚合
大数据·华为
二二孚日8 小时前
自用华为ICT云赛道Big Data第四章知识点-Flink流批一体分布式实时处理引擎
大数据·华为
xufwind9 小时前
spark standlone 集群离线安装
大数据·分布式·spark
AI数据皮皮侠10 小时前
中国区域10m空间分辨率楼高数据集(全国/分省/分市/免费数据)
大数据·人工智能·机器学习·分类·业界资讯
昱禹11 小时前
Flutter 3.29+使用isar构建失败
大数据·flutter
DeepSeek大模型官方教程11 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
大数据CLUB12 小时前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark