Apache Linkis 与 OceanBase 集成:实现数据分析速度提升

导语:恭喜 OceanBase 生态全景图中又添一员,Apache Linkis 构建了一个计算中间件层,以促进上层应用程序和底层数据引擎之间的连接、治理和编排。

近日,计算中间件 Apache Linkis 在其新版本中通过数据源功能,支持用户通过 Linkis 去对接使用 OceanBase 数据库。本文主要介绍 Linkis v1.3.2 中 OceanBase 数据库的集成。由于 OceanBase 数据库兼容 MySQL 5.7/8.0 的大部分功能和语法。因此,OceanBase 数据库可以当作 MySQL 使用。

准备工作

1. 环境安装

安装和部署 OceanBase 数据库,请参阅

  • 部署文档

https://www.oceanbase.com/docs/common-oceanbase-database-cn-10000000001687861

  • 一文讲透|如何部署OceanBase社区版

https://open.oceanbase.com/blog/2235967744

2. 环境验证

你可以使用 MySQL 命令来验证 OceanBase 数据库的安装情况。

mysql -h${ip} -P${port} -u${username} -p${password} -D${db_name}

连接成功,如下图所示:

Linkis 提交执行 OceanBase 数据库任务

1. 通过 linkis-cli 提交

sh ./bin/linkis-cli -engineType jdbc-4 -codeType jdbc -code "show tables" -submitUser hadoop -proxyUser hadoop -runtimeMap wds.linkis.jdbc.connect.url=jdbc:mysql://${ip} :${port}/${db_name} -runtimeMap wds.linkis.jdbc.driver=com.mysql.jdbc.Driver -runtimeMap wds.linkis.jdbc.username=${username} -runtimeMap wds.linkis.jdbc.password =${password}

2. 通过 Linkis Java SDK 提交任务

Linkis 提供 Java 和 Scala 的 SDK,用于向 Linkis 服务器提交任务。有关详细信息,请参阅 JAVA SDK Manual 👇

https://linkis.apache.org/docs/latest/user-guide/sdk-manual

对于 OceanBase 任务,用户只需要在 Demo 中修改 EngineConnType 和 CodeType 参数:

​​​​​​​

Map<String, Object> labels = new HashMap<String, Object>(); labels.put (LabelKeyConstant.ENGINE_TYPE_KEY, "jdbc-4"); // required engineType Labellabels.put(LabelKeyConstant.USER_CREATOR_TYPE_KEY, "hadoop-IDE");// required execute user and creator labels.put(LabelKeyConstant.CODE_TYPE_KEY, "jdbc"); // required codeType

3. 多数据源支持

路径:登录管理平台-->数据源管理

第一步: 创建新的数据源

第二步: 连接测试

单击测试连接按钮进行测试

第三步 :发布数据源

第四步: 通过指定数据源名称提交 OceanBase 任务

请求 URL:

http://${gateway_url}:${port}/api/rest_j/v1/entrance/submit

方法:POST

请求参数:

​​​​​​​​​​​​​​

{    "executionContent": {        "code": "show databases",        "runType": "jdbc"    },    "params": {        "variable": {},        "configuration": {            "startup": {},            "runtime": {                "wds.linkis.engine.runtime.datasource": "ob-test"            }        }    },    "labels": {        "engineType": "jdbc-4"    }}回应:{  "method": "/api/entrance/submit",  "status": 0,  "message": "OK",  "data": {    "taskID": 93,    "execID": "exec_id018017linkis-cg-entrance000830fb1364:9104IDE_hadoop_jdbc_0"  }}

Linkis 作为中间计算层,使各个上层应用以紧耦合的方式直接连接和访问各种底层引擎如 OceanBase、MySQL 等。实现了统一变量等用户资源的互通,脚本、UDF、函数和资源文件,并通过 REST 标准接口提供数据源和元数据管理服务。

Linkis 强大的连接、重用、编排、扩展和治理能力,通过应用层和引擎层的解耦,以标准化可重用的方式解决了扩展难、应用孤岛、重复造轮子等复杂的连接问题。简化了复杂的网络调用关系,从而降低了整体的复杂度,也节省了开发和维护成本。

相关推荐
FIT2CLOUD飞致云2 分钟前
仪表板展示|DataEase看中国:历年双十一电商销售数据分析
数据分析·开源·数据可视化·dataease·双十一
皓74136 分钟前
服饰电商行业知识管理的创新实践与知识中台的重要性
大数据·人工智能·科技·数据分析·零售
菜鸟的人工智能之路2 小时前
桑基图在医学数据分析中的更复杂应用示例
python·数据分析·健康医疗
阡之尘埃8 小时前
Python数据分析案例61——信贷风控评分卡模型(A卡)(scorecardpy 全面解析)
人工智能·python·机器学习·数据分析·智能风控·信贷风控
布说在见11 小时前
层次与网络的视觉对话:树图与力引导布局的双剑合璧
信息可视化·数据挖掘·数据分析
OceanBase数据库官方博客16 小时前
在OceanBase 中,实现自增列的4种方法
oceanbase·分布式数据库·运维管理
全栈开发圈17 小时前
新书速览|Spark SQL大数据分析快速上手
sql·数据分析·spark
spssau17 小时前
多分类logistic回归分析案例教程
分类·数据挖掘·数据分析·回归·回归分析·logistic回归·spssau
我就说好玩19 小时前
2020年美国总统大选数据分析与模型预测
大数据·python·数据挖掘·数据分析·pandas·sklearn
Aloudata20 小时前
在全域数据整合过程中,如何确保数据的一致性和准确性
大数据·数据库·人工智能·数据挖掘·数据分析