【大数据基础平台】星环TDH社区集群版本部署

开着拖拉机回家2023-11-04 18:53

🦄 个人主页------🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁

🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁

感谢点赞和关注 ，每天进步一点点！加油!

目录

一、概述

二、环境配置

三、安装Manager

四、配置集群

五、安装服务

六、基本配置

[6.1 开启安全](#6.1 开启安全)

[6.2 安装TDH客户端](#6.2 安装TDH客户端)

[6.3 集群外使用hadoop client](#6.3 集群外使用hadoop client)

[6.3.1 使用hadoop/hdfs](#6.3.1 使用hadoop/hdfs)

[6.3.2 使用hbase shell](#6.3.2 使用hbase shell)

[6.3.3 beeline访问hive](#6.3.3 beeline访问hive)

一、概述

TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Transwarp Data Hub Community Edition）版本，致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境，轻松应对各类人员数据分析需求。

社区版官网：TDH社区版-TDH Community Edition-星环科技

下载

官网安装手册：星环社区版安装手册

安装视频：星环社区版安装视频

二、环境配置

配置JDK

复制代码 
yum install  bash-completion  lrzsz  tree  vim  wget  net-tools  -y

mkdir -p  /usr/java
tar -zxvf jdk-8u162-linux-x64.tar.gz -C  /usr/java

vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_162
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile
java -version

关闭防火墙和 selinux

复制代码 
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
# 临时关闭
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

安装chrony

复制代码 
yum install chrony -y
# 修改chrony配置文件指定NTP源为阿里NTP
sed -r -i 's?^pool.+iburst?pool ntp.aliyun.com iburst?' /etc/chrony.conf
# 重启chrony服务
systemctl restart chronyd
# 开机自动启动chrony服务
systemctl enable chronyd
# 查看时间服务器状态
chronyc sources -v

主机名映射

复制代码 
/etc/hosts

192.168.2.114 tw-manager
192.168.2.115 tdh-node01
192.168.2.116 tdh-node02

磁盘容量

三、安装Manager

解压安装包，然后运行Web Installer使用图形化界面安装

复制代码 
tar xvzf TDH-Platform-Community-Transwarp-9.3.1-X86_64-final.tar.gz
cd transwarp-9.3.1-X86_64-final
./install

登录如下显示 的web 地址

通过浏览器访问管理节点，进入Web Installer界面

同意

选择继续

推荐默认端口"8180" ,下一步

安装Manager需要一个包含对应版本操作系统的资源库（repo）

【知识分享】安装Manager时如何配置RPM仓库

centos-7-os-x86_64安装包下载_开源镜像站-阿里云

Index of /centos/7/os/x86_64/

您进行选择后，系统会清理资源库缓存：

资源库缓存清理完毕后，系统会自动开始安装和配置Transwarp Manager

Manager安装完成，可以访问提示的安装地址并使用默认的用户名/密码（admin/admin）去登录管理界面继续接下来的配置。

四、配置集群

默认账号密码为 admin

接受最终用户协议才可以进行进一步

需要给您的集群设置一个名字。输入集群名字后点击"下一步"

如果配置集群中的节点可以通过用主机名互相访问，用户必须配置有效的DNS服务器或/etc/hosts文件。否则请选择需要管理工具配置/etc/hosts，Transwarp Manager会相应为您配置/etc/hosts文件，然后添加节点。

  • NTP配置

编辑机柜，默认下一步

默认下一步

选择添加节点

添加安装的节点服务器

我选择SSH访问权限配置，输入用户名和密码

选中已添加的节点，下一步

配置完成后，点击"下一步"进行节点最终检查，系统将为您进行检查，如果有检查项出现告警，请点击+号查看具体说明并进行对应项的处理。

确定

系统会开始自动添加节点，添加节点的过程会进行一段时间，成功后您会看到成功页面。

五、安装服务

服务需要上传单独的tar，选择上传产品，完后上传后 点击下一步

点击 上传按键，并在以下弹出窗口中选择产品包的位置（可同时上传多个软件包）

上传中

选择产品组件安装

HDFS，YARN，Zookeeper 添加

简单认证模式，下一步

下一步

下一步

确定安装

安装中

安装完成

全局服务

集群已安装的组件

组件监控

六、基本配置

6.1 开启安全

进入全局服务下的Guardian服务详情页,选择一键开启安全

输入密码

完成配置刷新

6.2 安装TDH客户端

Manager页面下载客户端，选择"随产品包上传"下载tdh-client。

选择所有组件 ，确定

下载 后上传/opt路径解压

复制代码 
tar -xvf tdh-client.tar

完成后即可使用TDH-Client。 使用TDH-Client前还需设置JAVA_HOME环境变量。

执行脚本，请执行位于目录TDH-Client内的脚本init.sh。

复制代码 
source TDH-Client/init.sh

您可以以任何用户执行该脚本，但是我们建议以root用户身份执行。当以其他用户身份执行时，需要输入root密码。

注意 ，用户必须使用source命令执行该脚本。 当新建一个连接到服务的终端session时，都需要重新执行source init.sh，bash init.sh 和 ./init.sh 都不起作用。

6.3 集群外使用hadoop client

首先您需要保证JAVA_HOME设置正确。已准备好TDH-Client（TDH-Client文件夹下有init.sh），下方假定TDH-Client存储路径为：/opt

6.3.1 使用hadoop/hdfs

复制代码 
# 查看 principal
klist -kt /opt/TDH-Client/kerberos/hdfs.keytab
# 认证
kinit -kt /opt/TDH-Client/kerberos/hdfs.keytab hdfs@TDH

创建文件夹和上传文件测试

6.3.2 使用hbase shell

在guardian上下载hbase租户的keytab，假定路径是/tmp/hbase.keytab /opt/TDH-Client/kerberos/hbase.keytab， 如果没有认证直接进入 命令报错如下：

复制代码 
klist -kt /opt/TDH-Client/kerberos/hbase.keytab

确认后执行下方命令方可使用.

复制代码 
source /opt/TDH-Client/init.sh
kinit -kt /opt/TDH-Client/kerberos/hbase.keytab hbase@TDH

hbase shel 进入命令行，创建表kangll , put 数据

复制代码 
create 'kangll',{NAME=>'d',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}
alter  'kangll', {NAME => 't',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}

put 'kangll','e312673c87115b12#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','f8a5414345987335#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','ab68b01fb2fb77d9#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','0fbdc950ab7bac48#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','03852b8d2e682a2d#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','36506147bed193c9#20230215#1','t:md','2023-02-23 18:27:07.692'

查询成功

6.3.3 beeline访问hive

复制代码 
source /opt/TDH-Client/init.sh
kinit -kt /opt/TDH-Client/kerberos/hive.keytab hive@TDH

通过 Beeline 命令行连接

复制代码 
beeline -u 'jdbc:hive2://192.168.3.115:10000/default;principal=hive/tw-manager@TDH;kuser=hive@TDH;keytab=/opt/TDH-Client/kerberos/hive.keytab;auth=kerberos;krb5conf=/etc/krb5.conf'

创建表时，若没有指定存储格式，默认为TextFile，是不支持插入单行或多行的，我们使用select 的方式插入一条数据 作为测试。

Guardian添加winner_spark 用户，kerytab文件自动创建，Guardian页面上面给winner_spark 用户授HBase, HDFS的使用权限。

参考文档地址：

星环科技 | TranswarpCloud

相关推荐
TianFuRuanJian4 天前
天洑智能仿真系列产品完成统信UOS适配，全面兼容国产操作系统
仿真·国产化·统信·结构·流体
zncxCOS7 天前
【ETestDEV5教程39】代码开发之编辑快捷键
国产化·仿真测试·etest·嵌入式系统测试·测试开发平台
zncxCOS8 天前
【ETestDEV5教程40】代码开发之AI功能支持
人工智能·国产化·仿真测试·etest·嵌入式系统测试·测试开发平台
鹏大师运维17 天前
重磅更新！统信桌面操作系统V25专业版安装使用教程
linux·安装教程·国产化·统信uos·专业版·桌面操作系统·v25
zncxCOS18 天前
【ETestDEV5教程35】测试设计之测试序列
国产化·仿真测试·etest·嵌入式系统测试·测试开发平台·测试序列
zncxCOS18 天前
【ETestDEV5教程34】测试设计之用例库
国产化·仿真测试·etest·嵌入式系统测试
豆豆19 天前
高校网站群集约化建设与运营解决方案
大数据·cms·信创·解决方案·网站管理系统·站群cms·高校站群
妙为21 天前
银河麒麟V4下编译Qt5.12.12源码
c++·qt·国产化·osg3.6.5·osgearth3.2·银河麒麟v4
庞轩px23 天前
初探OA开发：从企业信息化到国产化替代的技术实践
流程引擎·国产化·oa
CSharp精选营23 天前
.NET被上海信创“拉黑”了？刚子给你讲明白：别慌，这事儿没那么严重
c#·.net·信创
热门推荐
01要裂开了！ChatGPT要手机号验证了？注册Codex要求验证电话号码怎么办？2026年登陆Codex要手机号验证的解决办法02GitHub 镜像站点03裂开！ChatGPT 居然开始要手机号验证，附详细解决方法04Codex 接入 DeepSeek API 完整配置文档05【AI】2026 年具身智能模型和世界模型总结06零基础教你claude code 接入 deepseek V407在Windows 11上安装Docker的踩坑记录08实测可用｜小米 MiMo 百万亿 Token 免费领，开发者速冲09CC-Switch & Claude 基于 Linux 服务器安装使用指南102026年4月AI大事件深度解读：大模型竞争进入“深水区“