kyuubi 接入starrocks | doris

kyuubi 接入starrocks

一、环境

Hadoop集群

组件 版本
Hadoop 3.1.1
spark 3.X
zookeeper 3.X
Hive 3.X

kyuubi 版本 1.7.1

starrocks 2.X

已将kyuubi部署到yarn上,并且接入了spark3引擎,并通过Ambari进行kyuubi组件的管理,下面步骤为新增对starrocks集群的访问。

二、接入步骤

假设安排hostA、hostB两个节点负责kyuubi与starrocks的对接。

2-1 在kyuubi中添加mysql连接包

1.登录hostA、hostB两个节点

2.cd到kyuubi 安装目录,cd ./.../kyuubi/externals/engines/jdbc/,将mysql-connector-java-8.0.28.jar放到当前目录下

2-2 新增starrocks分组

因为配置为kyuubi 双引擎(Spark、Starrocks)访问,所以需要配置不同的zookeeper连接namespace。

1.登录Ambari

2.点击Ambari中的kyuubi组件

3.继续点击>CONFIGS>Config Group>Manage Config Groups增加starrocks配置分组

4.在新增的分组部署新的kyuubi节点(不要和Spark引擎分组节点重合,这里选择上面的hostA、hostB)

这一步相当于,新建一个kyuubi集群,新的kyuubi集群有hostA、hostB两个节点,并且置于Ambari的管理之下。可以理解为复制处理Spark连接的是一个独立的kyuubi集群、负责starrocks连接的又是另外一个集群,而且两个集群配置参数不一样。

2-3 配置参数
复制代码
对starrocks配置分组(hostA、hostB两个节点),新增如下配置:
bash 复制代码
kyuubi.ha.zookeeper.namespace=kyuubi-starrocks
kyuubi.engine.type=jdbc
kyuubi.engine.jdbc.type=doris
kyuubi.engine.jdbc.driver.class=com.mysql.cj.jdbc.Driver
kyuubi.engine.jdbc.connection.url=jdbc:mysql://地址
kyuubi.engine.jdbc.connection.user=starrocks的用户名
kyuubi.engine.jdbc.connection.password=starrocks密码

我们注意到,kyuubi.engine.jdbc.type=doris 这个参数设为doris,这是由于kyuubi 1.9才正式添加

starrocks的参数支持,这里可以先选择doris作为马甲替代

三、测试步骤

3-1 单点连接

./.../kyuubi/bin/beeline -u "jdbc:hive2://hostA:10009"/ -n 用户名 -p密码

3-2 zookeeper连接

./.../kyuubi/bin/beenline -u "jdbc:hive2://zookeeperHostA:2181,zookeeperHostB:2181... ...zookeeperHostN:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi-starrocks" -n用户名 -p密码

上面的zooKeeperNamespace=kyuubi-starrocks,对应在2-3章节设置的kyuubi.ha.zookeeper.namespace=kyuubi-starrocks参数。

接starrocks是这样接,接入doris也是这样接。

相关推荐
isNotNullX16 分钟前
一文讲清:数据清洗、数据中台、数据仓库、数据治理
大数据·网络·数据库·数据分析·1024程序员节
云飞云共享云桌面41 分钟前
苏州精密机械制造企业一台云服务器带8个SolidWorks研发
大数据·运维·服务器·自动化·制造
墨香幽梦客42 分钟前
探索五款主流生产制造ERP,助力注胶工艺高效管理与升级
大数据·制造
周杰伦_Jay1 小时前
【Elasticsearch 全解析】分布式搜索引擎的原理、实践与优化
大数据·分布式·elasticsearch·架构·开源·1024程序员节
B站_计算机毕业设计之家1 小时前
Spark微博舆情分析系统 情感分析 爬虫 Hadoop和Hive 贴吧数据 双平台 讲解视频 大数据 Hadoop ✅
大数据·hadoop·爬虫·python·数据分析·1024程序员节·舆情分析
赵渝强老师3 小时前
【赵渝强老师】大数据日志采集引擎Flume
大数据·flume
TDengine (老段)3 小时前
TDengine 数据函数 ROUND 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·1024程序员节
TDengine (老段)3 小时前
TDengine 数学函数 RAND 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·涛思数据
Web3_Daisy4 小时前
冷换仓的隐性代价:从安全策略到地址信誉体系的重新思考
大数据·安全·web3·区块链·比特币·1024程序员节
WLJT1231231234 小时前
生活电器:重构家居体验的产业变革与发展探索
大数据·人工智能·科技·生活