ambari server及元数据库(postgreSQL)迁移

一、停止使用postgreSQL的组件

1.1停止Hive

1.2停止ranger

二、停止ambari-server服务

bash 复制代码
ambari-server status
bash 复制代码
ambari-server stop

备份配置文件目录

bash 复制代码
tar -czvf /tmp/ambari_server_conf_backup.tar.gz /etc/ambari-server/conf

备份密钥目录

bash 复制代码
tar -czvf /tmp/ambari_server_keys_backup.tar.gz /var/lib/ambari-server/keys

记录当前数据库连接信息

bash 复制代码
grep "jdbc" /etc/ambari-server/conf/ambari.properties

三、备份数据库(postgreSQL)

bash 复制代码
su - postgres
cd /var/lib/pgsql/backups/
ambari
pg_dump -U ambari -h ambari_server_ip_address -d ambari -F c -b -v -f ambari_backup.dump
pg_dump -U ambari -h ambari_server_ip_address -d ambari -F p -b -v -f ambari_backup.sql
hive
pg_dump -U hive -h ambari_server_ip_address -d hive -F c -b -v -f hive_backup.dumppg_dump -U hive -h ambari_server_ip_address -d hive -F p -b -v -f hive_backup.sql
ranger
pg_dump -U ranger -h ambari_server_ip_address -d ranger -F c -b -v -f ranger_backup.dump
pg_dump -U ranger -h ambari_server_ip_address -d ranger -F p -b -v -f ranger_backup.sql
rangerkms
pg_dump -U rangerkms -h ambari_server_ip_address -d rangerkms -F c -b -v -f rangerkms_backup.dump
pg_dump -U rangerkms -h ambari_server_ip_address -d rangerkms -F p -b -v -f rangerkms_backup.sql

全局角色信息

bash 复制代码
pg_dumpall -U postgres --globals-only -f postgres_globals.sql

四、目标环境准备

4.1安装postgresql

bash 复制代码
yum install postgresql-server.x86_64
/usr/bin/postgresql-setup --initdb

配置postgresql

bash 复制代码
vim /var/lib/pgsql/data/postgresql.conf
bash 复制代码
listen_addresses = '*'
max_connections = 1000
bash 复制代码
vim /var/lib/pgsql/data/pg_hba.conf
bash 复制代码
host ambari ambari 0.0.0.0/0 md5
host hive hive 0.0.0.0/0 md5
host ranger ranger 0.0.0.0/0 md5
host rangerkms rangerkms 0.0.0.0/0 md5

重启postgreSQL

bash 复制代码
systemctl restart postgresql.service

创建数据库及用户

导入全局角色

bash 复制代码
su - postgres
psql -U postgres -f /var/lib/pgsql/backups/postgres_globals.sql

角色postgres导入忽略报错

创建数据库

bash 复制代码
 psql
sql 复制代码
CREATE DATABASE ambari OWNER ambari;
CREATE DATABASE hive OWNER hive;
CREATE DATABASE ranger OWNER ranger;
CREATE DATABASE rangerkms OWNER rangerkms;

授予权限

sql 复制代码
GRANT ALL PRIVILEGES ON DATABASE ambari TO ambari;
GRANT ALL PRIVILEGES ON DATABASE hive TO hive;
GRANT ALL PRIVILEGES ON DATABASE ranger TO ranger;
GRANT ALL PRIVILEGES ON DATABASE rangerkms TO rangerkms;

4.2导入数据库

导入ambari

bash 复制代码
psql -U ambari -d ambari -h new_ambari_server_ip_address -f /var/lib/pgsql/backups/ambari_backup.sql
psql -U hive -d hive -h new_ambari_server_ip_address -f /var/lib/pgsql/backups/hive_backup.sql
psql -U ranger -d ranger -h new_ambari_server_ip_address -f /var/lib/pgsql/backups/ranger_backup.sql
psql -U rangerkms -d rangerkms -h new_ambari_server_ip_address -f /var/lib/pgsql/backups/rangerkms_backup.sql

4.3安装ambari-server

bash 复制代码
yum install ambari-server

初始化ambari

bash 复制代码
ambari-server setup
bash 复制代码
scp old_ambari_server:/var/lib/ambari-server/resources/postgresql-42.7.3.jar new_ambari_server:/tmp/
ambari-server setup --jdbc-db=postgres --jdbc-driver=/tmp/postgresql-42.7.3.jar

4.4验证导入结果

bash 复制代码
psql -U ambari -d ambari  -h new_ambari_server_ip_address -c "SELECT COUNT(*) FROM clusters;"
bash 复制代码
psql -U ambari -d ambari -h new_ambari_server_ip_address -c "SELECT COUNT(*) FROM hosts;"

五、切换ambari server

启动新的ambari-server节点:

bash 复制代码
ambari-server start

修改所有agent的配置项/etc/ambari-agent/conf/ambari-agent.ini的hostname=新的server hostname

bash 复制代码
ansible -i /home/security/hosts agent -b -m shell -a "cp /etc/ambari-agent/conf/ambari-agent.ini /etc/ambari-agent/conf/ambari-agent.ini.bak"
ansible -i /home/security/hosts agent -b -m shell -a "sed -i 's/^hostname=.*/hostname=新的AmbariServer地址/' /etc/ambari-agent/conf/ambari-agent.ini"
ansible -i /home/security/hosts agent -b -m shell -a "ambari-agent restart "

六、登录ambari修改组件配置

6.1修改Hive配置

6.2修改ranger配置

6.3重启所需的服务

相关推荐
演艺大赏14 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏14 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
Francek Chen12 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
茶海棠15 天前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
Gl�ria16 天前
Hadoop 速刷:HDFS / MR / YARN / Spark / Hive
hadoop·hdfs·mr
FserSuN16 天前
Hive 分区表存储与查询优化学习总结
hive·hadoop·学习
测试盐17 天前
spark作业日志定位过程
java·hadoop·spark
NiceZack18 天前
Hadoop 部署全流程教程:从新装 CentOS 到伪分布式与完全分布式
hadoop·分布式·centos
棣廷20 天前
初识Hive(2)
数据仓库·hive·hadoop
father_122720 天前
【ambari管理下hdp2.6.5升级hive1.2.1-2.1.0-2.3.3】
hive·hadoop·ambari