【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件

1.一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。

2.熟悉、梳理、总结下华为openGauss高斯数据库相关知识体系

3.欢迎批评指正，跪谢一键三连！

• kettle访问华为openGauss高斯数据库并处理数据至execl文件文章目录索引如下所示：
  
• 【实操视频，辅助实操学习，跪谢一键三连！】【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件

1.环境搭建、配置

• 1.0 实验环境信息
  • Windows 10
  • CentOS 7.1（虚拟机）
  • Docker version 26.0.2
  • Dbeaver
  • Kettle 8.2
  • openGauss 2.1.0
• 1.1 openGauss docker镜像安装

  • 如果本地有openGauss，但拉取了镜像，请调整端口信息，端口已被占用

  • 如果遇到拉取镜像很慢的问题，可以参考 https://kngines.blog.csdn.net/article/details/138142888

  • 1.1.1 操作命令

    # 拉取opengauss镜像
    docker pull enmotech/opengauss:latest
    
    # 查看镜像
    docker image
    
    # 运行容器
    docker run --name opengauss --privileged=true -d -e GS_PASSWORD=Enmo@123 -p 8090:5432 enmotech/opengauss:latest
    
    # 查看容器
    docker ps -a
    
    docker exec -it opengauss sh
    
    # 切换用户
    su - omm
    
    # 数据库登录
    gsql
    
    # 查看数据库版本
    select version();
    
    # 查看数据库版权
    \copyright
    
    # 查看数据库
    \db
    
    # 查看所有数据库
    \l

  • 1.1.2 容器运行详情
    

2.openGauss高斯数据库容器链接测试

• 2.1 驱动信息配置、测试

  • 新建 驱动管理器，数据库 --》 驱动管理器 --》 新建，库 --》 添加GS-DWS驱动文件

    # 类名
    org.postgresql.Driver
    # URL 模板
    jdbc:postgresql://{host}[:{port}]/[{database}]

  • 配置详情示例图
    

• 2.2 驱动包下载及配置引入

  • 高斯数据库驱动包下载地址： https://dws.obs.myhuaweicloud.com/download/dws_8.2.x_jdbc_driver.zip
    • 华为高斯数据库驱动包官网地址： 下载JDBC或ODBC驱动
  • 引入详情如下图所示
    

• 2.3 DBeaver链接高斯数据库测试

  # 默认数据库，也可新建数据库，如本文新建 youli ；注意 即使数据库名包含大写，链接配置里面配置小写
  postgres
  # 用户名
  gaussdb
  # 本实验密码
  Enmo@123

  • 链接测试配置详情
    

• 2.4 建表建库测试SQL

  create database youli owner gaussdb;
  drop database youli;
  
  create table youli_testtable (    
  	id int primary key,    
  	name varchar(100),    
  	age int,    
  	grade varchar(10)
  );
  
  delete from youli_testtable;
  insert into youli_testtable values
  (1, 'youli', 12, '1班'),
  (2, '张三', 21, '2班'),
  (3, '张三', 22, '3班'),
  (4, '张三', 23, '4班'),
  (5, '张三', 13, '5班'),
  (6, '张三', 14, '6班'),
  (7, '张三', 15, '7班'),
  (8, '张三', 13, '8班'),
  (9, '张三', 16, '9班'),
  (10, '张三', 19, '10班');
  
  select * from youli_testtable;

3.kettle流程任务配置、效果验证

• 3.1 将2.2下载的高斯数据库相应版本驱动包放到 kettlle lib 目录下，重启 kettle，进行链接测试
  
• 3.2 kettle链接高斯数据库容器环境测试结果
  

4.参考文章

• https://blog.csdn.net/jmshl/article/details/134578666
• https://blog.csdn.net/AnillegalName/article/details/135764879
• https://wenku.csdn.net/column/5tt62irjd2