实时数仓flick+clickhouse启动命令

FlinkCDC环境部署

1、启动zookeeper

zk.sh start

2、启动DFS,Hadoop集群

start-dfs.sh

3、启动yarn

start-yarn.sh

4、启动kafka(如果需要在启用)

启动Kafka集群

bin/kafka-server-start.sh -daemon config/server.properties

查看Kafka topic 列表

bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

创建Kafka ods层topic 副本

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic ods_cars_log --replication-factor 1 --partitions 1

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic ods_entrance_guard_log --replication-factor 1 --partitions 1

删除Kafka ods层topic

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic ods_cars_log

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic ods_entrance_guard_lo

5、启动Flink SQL-client服务

(1)#启动flink yarn-session

bin/yarn-session.sh -s 1 -jm 1024 -tm 1024

#关闭yarn-session命令

bin/yarn application -kill application_1659752641091_0003

(2)#启动flink sql

bin/sql-client.sh -s yarn-session

(3)#设置checkpoint配置

SET 'execution.checkpointing.interval' = '10s';

SET 'parallelism.default' = '3';

flink启动之前需要:

#启动HDFS

start-dfs.sh

#启动集群

start-cluster.sh

#启动历史服务器

historyserver.sh start

启动sql-client:bin/sql-client.sh embedded

CH的命令

1、基于默认配置启动ClickHouse

service clickhouse-server start

2、查看ClickHouse启动进程

ps -ef | grep clickhouse

3、重新启动

systemctl restart clickhouse-server

4、#客户端连接ClickHouse

clickhouse-client

5、#查询数据库

show databases;

用户名:default

密码:123456

相关推荐
先吃饱再说14 小时前
存储的进化:从 MySQL 到浏览器缓存,数据到底住在哪?
数据库
Nturmoils14 小时前
字段太多看不全,ksql 的展开模式和输出控制怎么用
数据库·后端
SkyWalking中文站14 小时前
认识 Horizon UI · 6/17:Trace 探索器
运维·监控·自动化运维
Databend16 小时前
Agent 轨迹分析与归因的数据工程实践
大数据·数据库·agent
这个DBA有点耶16 小时前
SQL改写进阶:标量子查询的“隐形代价”与消除实战
数据库·mysql·架构
程序员老赵17 小时前
服务器文件不想 SFTP 上传?Docker 跑个 File Browser,浏览器就能管理
服务器·docker·开源
火车叼位17 小时前
写给初级开发者:SSL、SSH、HTTPS 与证书体系全解析
运维
smallyoung17 小时前
数据库乐观锁深度解析:MySQL、PostgreSQL 实战 + Spring Boot 集成指南
数据库·mysql·postgresql
parade岁月18 小时前
MySQL JOIN解析:朴实无华但食之有味
数据库·后端
用户31693538118318 小时前
MySQL服务无法启动问题解决全记录
数据库