实时数仓flick+clickhouse启动命令

FlinkCDC环境部署

1、启动zookeeper

zk.sh start

2、启动DFS,Hadoop集群

start-dfs.sh

3、启动yarn

start-yarn.sh

4、启动kafka(如果需要在启用)

启动Kafka集群

bin/kafka-server-start.sh -daemon config/server.properties

查看Kafka topic 列表

bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

创建Kafka ods层topic 副本

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic ods_cars_log --replication-factor 1 --partitions 1

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic ods_entrance_guard_log --replication-factor 1 --partitions 1

删除Kafka ods层topic

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic ods_cars_log

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic ods_entrance_guard_lo

5、启动Flink SQL-client服务

(1)#启动flink yarn-session

bin/yarn-session.sh -s 1 -jm 1024 -tm 1024

#关闭yarn-session命令

bin/yarn application -kill application_1659752641091_0003

(2)#启动flink sql

bin/sql-client.sh -s yarn-session

(3)#设置checkpoint配置

SET 'execution.checkpointing.interval' = '10s';

SET 'parallelism.default' = '3';

flink启动之前需要:

#启动HDFS

start-dfs.sh

#启动集群

start-cluster.sh

#启动历史服务器

historyserver.sh start

启动sql-client:bin/sql-client.sh embedded

CH的命令

1、基于默认配置启动ClickHouse

service clickhouse-server start

2、查看ClickHouse启动进程

ps -ef | grep clickhouse

3、重新启动

systemctl restart clickhouse-server

4、#客户端连接ClickHouse

clickhouse-client

5、#查询数据库

show databases;

用户名:default

密码:123456

相关推荐
guo_wen_qiang26 分钟前
mac中docker desktop服务端开启远程访问
运维·服务器·macos·docker
小五传输1 小时前
消防总队信创改造实践:国产文件传输服务器解决文件传输难题
大数据·运维·安全
云飞云共享云桌面1 小时前
医疗器械设备研发:多人同时操作 SolidWorks,怎样依靠单台服务器替代多工作站
运维·服务器·网络·数据库·制造
T型码农要学习1 小时前
开源项目5|FileBrowser:免费在线文件管理器!随时随地管控服务器文件
运维·服务器·人工智能·开源
朱 欢 庆2 小时前
云服务器附件备份到本机内网服务器
运维·服务器·前端·经验分享
梦想不只是梦与想2 小时前
Web 服务器网关协议:ASGI 和 WSGI
服务器·python·fastapi
智恒百亿2 小时前
8 卡 RTX 5090 服务器深度实测:256GB 显存能否支撑 70B 模型微调?选型参考
大数据·运维·服务器·人工智能
知行合一。。。7 小时前
RAG--03--Milvus基本用法
数据库·oracle·milvus
志栋智能7 小时前
超自动化运维如何支持合规审计?
运维·自动化
TDengine (老段)7 小时前
TDengine 线程模型 — 网络、调度、执行
大数据·数据库·物联网·制造·时序数据库·tdengine·涛思数据