kettle_Hbase

kettle_Hbase

☀Hbase学习笔记

读取hdfs文件并将sal大于1000的数据保存到hbase中

前置说明:

1.需要配置HadoopConnect 将集群中的/usr/local/soft/hbase-1.4.6/conf/hbase-site.xml复制至Kettle中的

Kettle\pdi-ce-8.2.0.0-342\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp26目录中

2.配置Hadoop Cluster 中Zookeeper的Hostname为master,port为2181

1、在HBase中创建一张people表

复制代码
hbase(main):004:0> create 'people','info'

2、按下图建立流程图

  • 文本文件输入
  • 设置过滤记录
  • 设置HBase output

    编辑hadoop连接,并配置zookeeper地址

  • 执行转换
  • 查看hbase people表的数据

    复制代码
    scan 'people'

    注意:若报错没有权限往hdfs写文件,在Spoon.bat中第119行添加参数

    "-DHADOOP_USER_NAME=root" "-Dfile.encoding=UTF-8"

相关推荐
齐 飞1 分钟前
MongoDB笔记01-概念与安装
前端·数据库·笔记·后端·mongodb
云空2 分钟前
《Python 与 SQLite:强大的数据库组合》
数据库·python·sqlite
暮毅6 分钟前
10.Node.js连接MongoDb
数据库·mongodb·node.js
wowocpp9 分钟前
ubuntu 22.04 server 格式化 磁盘 为 ext4 并 自动挂载 LTS
服务器·数据库·ubuntu
lulu_gh_yu15 分钟前
数据结构之排序补充
c语言·开发语言·数据结构·c++·学习·算法·排序算法
成富32 分钟前
文本转SQL(Text-to-SQL),场景介绍与 Spring AI 实现
数据库·人工智能·sql·spring·oracle
songqq2733 分钟前
SQL题:使用hive查询各类型专利top 10申请人,以及对应的专利申请数
数据库·sql
计算机学长felix36 分钟前
基于SpringBoot的“校园交友网站”的设计与实现(源码+数据库+文档+PPT)
数据库·spring boot·毕业设计·交友
Re.不晚39 分钟前
Java入门15——抽象类
java·开发语言·学习·算法·intellij-idea
小码的头发丝、1 小时前
Django中ListView 和 DetailView类的区别
数据库·python·django