RHEL/CENTOS 7 ORACLE 19C-RAC安装（纯命令版）

一 首先需要安装两个CENTOS 7虚拟机(此处省略)。

由于我们是要安装ORCLE-RAC双节点集群所以至少每个CENTOS虚拟机上需要两块网卡，并且两块网卡都是HOST-ONLY具体步骤请看视频一《为虚拟机添加网卡》

这里大家需要注意的是，我们需要绑定两台机器的IP一共四个。

你要根据你自己设置的IP地址进行网卡IP设置，因为我只是演示环境，所以我就按照我的演示环境设置了，你要根据自己的真实环境来。

1号节点的主机名叫做ora19crac1 将 192.168.199.201和10.10.10.201绑定在这台机器的两块网卡上。

2号节点的主机名叫做ora19crac2 将 192.168.199.202和10.10.10.202并定在这台机器的两块网卡上。

我建议你使用以下IP:

RAC1 公有IP：192.168.100.201 私有IP 10.10.10.201

RAC2 公有IP：192.168.100.202 私有IP 10.10.10.202

所有IP对应的NETMASK(子网掩码)都是255.255.255.0

VIP（rac1-vip/rac2-vip）和SCANIP(rac-scan) 不需要你去处理，集群启动后会自动生成。

10.10.10.x这个网段你可以在宿主机上配置，也可以不配置看你心情。

编辑这两个虚拟机的/etc/hosts文件，把以下内容追加到/etc/hosts文件中

vi /etc/hosts

#RAC-PUBLIC-IP

192.168.199.201 ora19crac1

192.168.199.202 ora19crac2

#RAC-PRIVATE-IP

10.10.10.201 ora19crac1-priv

10.10.10.202 ora19crac2-priv

#RAC-VIP

192.168.199.101 ora19crac1-vip

192.168.199.102 ora19crac2-vip

#RAC-SCAN-IP

192.168.199.200 ora19crac-scan

关闭防火墙（RAC集群必须彻底关闭防火墙以防万一）：

关闭防火墙

检查防火墙状态

systemctl status firewalld.service

暂时关闭防火墙，下次启动时防火墙仍随系统启动而启动

systemctl stop firewalld.service

彻底永久关闭防火墙

systemctl disable firewalld.service

关闭SELINUX防火墙！

vi /etc/selinux/config

将内容

SELINUX=enforcing

更改为

SELINUX=disabled

或者使用

sed 's#SELINUX=.*#SELINUX=disabled#' /etc/selinux/config

注：上面的命令是无法修改原文件内容的，只是去验证我们的命令是否正确，如果想要正式修改文件内容的话，请使用下面的命令：

sed -i 's#SELINUX=.*#SELINUX=disabled#' /etc/selinux/config （彻底的关闭SELINUX）

二 配置先决条件的yum源（先在RAC1这个节点上配置）

a 挂载光盘镜像

注：在虚拟机挂载光盘镜像以后，务必使用某个用户进入到虚拟机LINUX下看到桌面弹出小光盘为止（图形界面）

b 进入到光盘镜像中的Package目录中将所有的软件包复制到我们预设的目录下

mkdir /yums

CENTOS6/RHEL6 镜像挂载地点

cd /media/CentOS_6.6_Final/Packages/

cp * /yums

CENTOS7/RHEL7 镜像挂载地点

/run/media/root/CentOS 7 x86_64/Packages

CENTOS 7（这个目前适用于CENTOS7.4以及以下版本，如果你使用的是高版本的话，请自己注意具体包的名称，实在不知道就用tab键补全）

cd /yums

rpm -ivh deltarpm-3.6-3.el7.x86_64.rpm

rpm -ivh python-deltarpm-3.6-3.el7.x86_64.rpm

rpm -ivh createrepo-0.9.9-28.el7.noarch.rpm

createrepo .

进入到YUM源目录进行相关操作：

cd /etc/yum.repos.d/

rm -rf *

vi yum.local.repo

[local]

name=yum local repo

baseurl=file:///yums

gpgcheck=0

enable=1

生成yum源：

yum clean all

安装ftp（这里我们不在rac2这个虚拟机上再配置本地yum源了，我们是用一种新方法叫做：使用ftp的yum服务器）/当然了你如果不喜欢我的方法的话，你可以自己在另一个节点上再配置一次YUM源/

当然了，如果你觉得本地YUM源保险的话，依旧可以使用本地yum源没问题的。

知识点补充：FTP是一种文件传输协议，他可以传输文件。非常好用，他被经常用作我们进行相关文件传送使用。

yum install -y ftp* vsftpd*

安装好后，请执行以下操作：

cd /etc/vsftpd

vi ftpusers

然后把root用户注销掉。

修改好后保存退出

vi user_list

然后把root用户注销掉。

修改好后保存退出

vi vsftpd.conf

把下面这两个配置项前的#去掉。（在vi命令格式下使用set nu就能查看行号，这两行在82和83行）

#ascii_upload_enable=YES

#ascii_download_enable=YES

修改为

ascii_upload_enable=YES

ascii_download_enable=YES

全部修改好后保存退出

vi /etc/passwd

把

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin （在第12行）

修改为

ftp:x:14:50:FTP User:/yums:/sbin/nologin

启动 vsftpd

service vsftpd start

如果service vsftpd start 报出问题的话用下面命令启动ftp

/bin/systemctl status vsftpd.service

chkconfig vsftpd on --开机自启动

如果外面能连接上这个ftp服务器就说明没什么太大问题了。重启你的虚拟机

然后配置rac2这个节点

cd /etc/yum.repos.d/

rm -rf *

vi yum.local.repo

[local]

name=yum local repo

baseurl=ftp://192.168.199.201/

gpgcheck=0

enable=1

yum clean all

测试一下

yum install gcc

如果有反应就说明你的yum服务器配置成功了

安装先决条件包（两个节点都要做）：

yum install -y bc

yum install -y compat-libcap1*

yum install -y compat-libcap*

yum install -y binutils

yum install -y compat-libstdc++-33

yum install -y elfutils-libelf

yum install -y elfutils-libelf-devel

yum install -y gcc

yum install -y gcc-c++

yum install -y glibc-2.5

yum install -y glibc-common

yum install -y glibc-devel

yum install -y glibc-headers

yum install -y ksh libaio

yum install -y libaio-devel

yum install -y libgcc

yum install -y libstdc++

yum install -y libstdc++-devel

yum install -y make

yum install -y sysstat

yum install -y unixODBC

yum install -y unixODBC-devel

yum install -y binutils*

yum install -y compat-libstdc*

yum install -y elfutils-libelf*

yum install -y gcc*

yum install -y glibc*

yum install -y ksh*

yum install -y libaio*

yum install -y libgcc*

yum install -y libstdc*

yum install -y make*

yum install -y sysstat*

yum install -y libXp*

yum install -y glibc-kernheaders

yum install -y net-tools-*

yum install -y iscsi-initiator-utils

yum install -y udev

yum install -y xclock*

三 内核参数（两个节点都做）

vi /etc/sysctl.conf

kernel.shmmax = 277495689510912

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

net.core.rmem_default = 262144

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048586

fs.file-max = 6815744

kernel.shmall = 67747971072

net.ipv4.tcp_max_tw_buckets = 6000

net.ipv4.ip_local_port_range = 9000 65500

net.ipv4.tcp_tw_recycle = 0

net.ipv4.tcp_tw_reuse = 1

#net.core.somaxconn = 262144

net.core.netdev_max_backlog = 262144

net.ipv4.tcp_max_orphans = 262144

net.ipv4.tcp_max_syn_backlog = 262144

net.ipv4.tcp_synack_retries = 2

net.ipv4.tcp_syn_retries = 1

net.ipv4.tcp_fin_timeout = 1

net.ipv4.tcp_keepalive_time = 30

net.ipv4.tcp_keepalive_probes = 6

net.ipv4.tcp_keepalive_intvl = 5

net.ipv4.tcp_timestamps = 0

fs.aio-max-nr = 1048576

net.ipv4.conf.all.rp_filter = 2

net.ipv4.conf.default.rp_filter = 2

生成系统参数

sysctl -p

四.添加下列参数到/etc/security/limits.conf (两个节点都做)

vim /etc/security/limits.conf

oracle soft nofile 1024

oracle hard nofile 65536

oracle soft nproc 16384

oracle hard nproc 16384

oracle soft stack 10240

oracle hard stack 32768

oracle hard memlock 134217728

oracle soft memlock 134217728

grid soft nofile 1024

grid hard nofile 65536

grid soft nproc 16384

grid hard nproc 16384

grid soft stack 10240

grid hard stack 32768

grid hard memlock 134217728

grid soft memlock 134217728

五.添加下列条目到/etc/pam.d/login (两个节点都做)

vim /etc/pam.d/login

session required /lib/security/pam_limits.so

session required pam_limits.so

六.环境变量中添加下列语句(两个节点都做)

vim /etc/profile

if [ $USER = "oracle" ] || [ $USER = "grid" ]; then

if [ $SHELL = "/bin/ksh" ]; then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

fi

生成环境变量

source /etc/profile

七.创建文件目录和相应的用户(两个节点都做)

#在两个节点增加用户与组：

groupadd -g 601 oinstall

groupadd -g 602 dba

groupadd -g 603 oper

groupadd -g 604 backupdba

groupadd -g 605 dgdba

groupadd -g 606 kmdba

groupadd -g 607 asmdba

groupadd -g 608 asmoper

groupadd -g 609 asmadmin

useradd -u 601 -g oinstall -G asmadmin,asmdba,dba,asmoper grid

useradd -u 602 -g oinstall -G dba,backupdba,dgdba,kmdba,asmadmin,oper,asmdba oracle

我们用这种最安全的方法修改grid和oracle用户密码

passwd grid

passwd oracle

以root用户，创建Oracle Inventory 目录

mkdir -p /u01/app/oraInventory

chown -R grid:oinstall /u01/app/oraInventory

chmod -R 775 /u01/app/oraInventory

以root用户，创建GI HOME目录

mkdir -p /u01/app/grid

mkdir -p /u01/app/19c/grid

chown -R grid:oinstall /u01/app/grid

chmod -R 775 /u01/app/grid

chown -R grid:oinstall /u01/app/19c

chmod -R 775 /u01/app/19c/

以root用户，创建Oracle Base目录

mkdir -p /u01/app/oracle

mkdir /u01/app/oracle/cfgtoollogs

chown -R oracle:oinstall /u01/app/oracle

chmod -R 775 /u01/app/oracle

以root用户，创建Oracle RDBMS Home目录

mkdir -p /u01/app/oracle/product/19c/db_1

chown -R oracle:oinstall /u01/app/oracle/product/19c/db_1

chmod -R 775 /u01/app/oracle/product/19c/db_1

八.GRID用户好ORACLE用户添加环境变量

su - grid

#grid用户的环境变量如下：

vim ~/.bash_profile

PS1="[`whoami`@`hostname`:"'PWD\]'

export PS1

umask 022

export TMP=/tmp

export TMPDIR=$TMP

export ORACLE_SID=+ASM1

export ORACLE_TERM=xterm;

export ORACLE_BASE=/u01/app/grid

export ORACLE_HOME=/u01/app/19c/grid

export NLS_LANG="AMERICAN_AMERICA.AL32UTF8"

export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"

export TNS_ADMIN=$ORACLE_HOME/network/admin

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib

export PATH=.:PATH:HOME/bin:$ORACLE_HOME/bin

export THREADS_FLAG=native

if [ $USER = "oracle" ] || [ $USER = "grid" ]; then

if [ $SHELL = "/bin/ksh" ];then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

umask 022

fi

alias sqlplus='rlwrap sqlplus'

alias rman='rlwrap asmcmd'

生成环境变量

source ~/.bash_profile

补充：两个节点的ORACLE_SID名称是不能一样的：

ora19crac1节点叫做+ASM1

ora19crac2节点叫做+ASM2

su - oracle

#oracle用户的环境变量如下：

vim ~/.bash_profile

PS1="[`whoami`@`hostname`:"'PWD\]'

export PS1

export TMP=/tmp

export TMPDIR=$TMP

export ORACLE_HOSTNAME=rac1

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=/u01/app/oracle/product/19c/db_1

export ORACLE_SID=orcl1

export NLS_LANG="AMERICAN_AMERICA.AL32UTF8"

export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"

export TNS_ADMIN=$ORACLE_HOME/network/admin

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib

export PATH=.:PATH:HOME/bin:ORACLE_BASE/product/19c/db_1/bin:ORACLE_HOME/bin

export THREADS_FLAG=native;export THREADS_FLAG

if [ $USER = "oracle" ] || [ $USER = "grid" ]; then

if [ $SHELL = "/bin/ksh" ];then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

umask 022

fi

alias sqlplus='rlwrap sqlplus'

alias rman='rlwrap rman'

生成环境变量

source ~/.bash_profile

补充：两个节点的ORACLE_SID名称是不能一样的：

ora19crac1节点叫做orcl1

ora19crac2节点叫做orcl2

如果你实例名不是orcl的话，那么请务必根据你的实例名改成xxxx1 xxxx2这样的格式。（xxxx代表你起的实例名）

九.配置ISCSI挂载外部存储

yum install -y iscsi*

开机启动iscsi服务

chkconfig iscsid on

发现磁盘

iscsiadm -m discovery -t sendtargets -p 192.168.199.235

手动登录目标（这里一定要注意 -T后面那个参数一定要按照你上面发现磁盘的那个结果进行更改）

iscsiadm -m node -T iqn.oracle19c.rac -p 192.168.199.235 -l

设置开机自启动连接

iscsiadm -m node -T iqn.oracle19c.rac -p 192.168.199.235 --op update -n node.startup -v automatic

查看

cd /dev/disk/by-path

ls -l /dev/disk/by-path/*iscsi* | awk '{FS=" "; print $9 " " $10 " " $11}'

检查磁盘的wwid

#!/bin/bash

for i in $(ls /dev/sd*|grep -v [0-9]|grep -v sda)

do

echo -ne "$(fdisk -l ${i}|grep ^Disk|grep ${i}|awk '{print $1,$2,$3,$4}') WWID:"

/lib/udev/scsi_id -g -u -d "${i}"

done|sort -nk3 -k5|column -t

输出结果：

Disk /dev/sde: 42.9 GB, WWID:14f504e46494c455267414a304a6b2d413653352d72653050

Disk /dev/sdf: 57.1 GB, WWID:14f504e46494c45525561634a51752d696d4b4c2d36576751

Disk /dev/sdb: 2147 MB, WWID:14f504e46494c4552774b6158696f2d5a7031692d35364e38

Disk /dev/sdc: 2147 MB, WWID:14f504e46494c4552555a6d3570652d506d56482d4b357167

Disk /dev/sdd: 2147 MB, WWID:14f504e46494c4552466d724d626f2d456b42732d7558575a

方法一(极端推荐)

vi /etc/udev/rules.d/99-oracle-asmdevices.rules

KERNEL=="sd*", ENV{ID_SERIAL}=="14f504e46494c455267414a304a6b2d413653352d72653050", SYMLINK+="asm_data", OWNER="grid", GROUP="asmadmin", MODE="0660"

KERNEL=="sd*", ENV{ID_SERIAL}=="14f504e46494c45525561634a51752d696d4b4c2d36576751", SYMLINK+="asm_bak", OWNER="grid", GROUP="asmadmin", MODE="0660"

KERNEL=="sd*", ENV{ID_SERIAL}=="14f504e46494c4552774b6158696f2d5a7031692d35364e38", SYMLINK+="asm_ocr_1", OWNER="grid", GROUP="asmadmin", MODE="0660"

KERNEL=="sd*", ENV{ID_SERIAL}=="14f504e46494c4552555a6d3570652d506d56482d4b357167", SYMLINK+="asm_ocr_2", OWNER="grid", GROUP="asmadmin", MODE="0660"

KERNEL=="sd*", ENV{ID_SERIAL}=="14f504e46494c4552466d724d626f2d456b42732d7558575a", SYMLINK+="asm_ocr_3", OWNER="grid", GROUP="asmadmin", MODE="0660"

方法二 (实验环境可以 生产不建议你这么玩)

vi /etc/udev/rule.d/60-raw.rules

ACTION=="add", KERNEL=="sdb", RUN+="/bin/raw /dev/raw/raw1 %N"

ACTION=="add", KERNEL=="sdc", RUN+="/bin/raw /dev/raw/raw2 %N"

ACTION=="add", KERNEL=="sdd", RUN+="/bin/raw /dev/raw/raw3 %N"

ACTION=="add", KERNEL=="sde", RUN+="/bin/raw /dev/raw/raw4 %N"

ACTION=="add", KERNEL=="sdf", RUN+="/bin/raw /dev/raw/raw5 %N"

ACTION=="add", KERNEL=="raw[1-5]",OWNER="grid",GROUP="oinstall",MODE="660"

使用以下命令是udev生效

udevadm control --reload-rules

udevadm trigger

个人建议：如果上述文件配置完成或者要执行添加或者删除磁盘任务，编辑文件结束后最好重新启动系统。但是还是要看实际情况

九 上传软件 解压 并赋权

将

sshUserSetup.sh

cvuqdisk-1.0.10-1.rpm

kmod-20-21.el7.x86_64.rpm

kmod-libs-20-21.el7.x86_64.rpm

compat-libstdc++-33-3.2.3-72.el7.x86_64.rpm

rlwrap-0.37-1.el6.x86_64.rpm

上传到rac1的/root下

互信

sh sshUserSetup.sh -user root -hosts "ora19crac1 ora19crac2" -advanced -noPromptPassphrase #有的公司不允许root用户互信的

sh sshUserSetup.sh -user grid -hosts "ora19crac1 ora19crac2" -advanced -noPromptPassphrase

sh sshUserSetup.sh -user oracle -hosts "ora19crac1 ora19crac2" -advanced -noPromptPassphrase

使用root 、oracle和grid用户测试互信是否成功：

ssh ora19crac1 date

ssh ora19crac2 date

将文件从ora19crac1传输到ora19crac2上(root用户)

scp /root/cvuqdisk-1.0.10-1.rpm ora19crac2:/root

scp /root/kmod-20-21.el7.x86_64.rpm ora19crac2:/root

scp /root/kmod-libs-20-21.el7.x86_64.rpm ora19crac2:/root

scp /root/compat-libstdc++-33-3.2.3-72.el7.x86_64.rpm ora19crac2:/root

scp /root/rlwrap-0.37-1.el6.x86_64.rpm ora19crac2:/root

用root用户安装 (两个节点)

cd /root （必须在/root这个目录下）

rpm -ivh cvuqdisk-1.0.10-1.rpm

rpm -ivh rlwrap-0.37-1.el6.x86_64.rpm

yum install -y compat-libstdc++-33-3.2.3-72.el7.x86_64.rpm

yum install -y kmod-20-21.el7.x86_64.rpm

yum install -y kmod-libs-20-21.el7.x86_64.rpm

oracle官方建议关闭透明大页 (两个节点)

1 修改grub文件

cp /etc/default/grub /etc/default/grub.bak

vi /etc/default/grub

2 增加一行transparent_hugepage=never到尾部

GRUB_CMDLINE_LINUX="rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet transparent_hugepage=never"

3 执行命令

grub2-mkconfig -o /boot/grub2/grub.cfg

4 不重启生效

echo never > /sys/kernel/mm/transparent_hugepage/enabled

5 查看是否禁用透明大页

cat /sys/kernel/mm/transparent_hugepage/enabled

always madvise [never]

或

grep AnonHugePages /proc/meminfo

AnonHugePages: 0 kB---------->>>返回值若是零代表关闭

建议重新启动。我试过了 好像不重启不行

以下所有操作都在ora19crac1上执行

用root用户把LINUX.X64_193000_grid_home.zip上传到/u01/app/19c/grid目录下

cd /u01/app/19c/grid

chown -R grid:oinstall LINUX.X64_193000_grid_home.zip

切换到grid用户并解压

su - grid

cd $ORACLE_HOME

unzip LINUX.X64_193000_grid_home.zip

export DISPLAY=xxxxxxx（按自己真实的写）

./gridSetup.sh

截图都在《19CRAC安装文档截图版.docx》

#########################################################

grid软件安装完成以后，我们开始安装database软件。

用root用户把database软件的压缩包LINUX.X64_193000_db_home.zip上传到/u01/app/oracle/product/19c/db_1

cd /u01/app/oracle/product/19c/db_1

chown -R oracle:oinstall LINUX.X64_193000_db_home.zip

切换到oracle用户并解压

su - oracle

cd $ORACLE_HOME

unzip LINUX.X64_193000_db_home.zip

export DISPLAY=xxxxxxx（按自己真实的写）

./runInstaller

截图都在《19CRAC安装文档截图版.docx》

十 卸载软件

rm -rf /u01/app/19c/grid/*

rm -rf /u01/app/grid/*

rm -rf /u01/app/oraInventory/*

rm -rf /u01/app/oracle/product/19c/db_1/*

rm -rf /etc/ora*

rm -rf /tmp/.oracle

rm -rf /tmp/OraInstall*

rm -rf /opt/ORCLfmap

rm -rf /var/tmp/.orac*

rm -rf /usr/local/bin/oraenv

rm -rf /usr/local/bin/coraenv

如果你有ASM的话，需要使用这种方式格式化

dd if=/dev/zero of=/dev/sdb bs=1M count=1024

dd if=/dev/zero of=/dev/sdc bs=1M count=1024

dd if=/dev/zero of=/dev/sdd bs=1M count=1024

dd if=/dev/zero of=/dev/sde bs=1M count=1024

dd if=/dev/zero of=/dev/sdf bs=1M count=1024

dd if=/dev/zero of=/dev/sdg bs=1M count=1024

dd if=/dev/zero of=/dev/sdh bs=1M count=1024

dd if=/dev/zero of=/dev/sdi bs=1M count=1024

dd if=/dev/zero of=/dev/sdj bs=1M count=1024

dd if=/dev/zero of=/dev/sdk bs=1M count=1024

dd if=/dev/zero of=/dev/sdl bs=1M count=1024

dd if=/dev/zero of=/dev/sdm bs=1M count=1024

dd if=/dev/zero of=/dev/sdn bs=1M count=1024

这个省略掉。

blacklist {

devnode "^sd[b-e]" #过滤磁盘，哪些不做多路径

}

defaults {

user_friendly_names yes

path_grouping_policy multibus

failback immediate

no_path_retry fail

}

service multipathd.service start

/sbin/iscsiadm -m node -T iqn.3960-05.storos.t-11 -p 192.168.10.250 -l

/sbin/iscsiadm -m node -T iqn.3960-05.storos.t-12 -p 192.168.10.250 -l

/sbin/iscsiadm -m node -T iqn.3960-05.storos.t-13 -p 192.168.10.250 -l

/sbin/iscsiadm -m node -T iqn.3960-05.storos.t-14 -p 192.168.10.250 -l

/sbin/iscsiadm -m node -T iqn.3960-05.storos.t-15 -p 192.168.10.250 -l

29335

/