Oracle DB 18cのオンプレ版としてGrid Infrastractureも提供が開始しております。
そこで今回はRACを構築してみたいと思います。
OS設定などの紹介は割愛してGrid Infrastractureのインストールをしたいと思います。
その前に環境だけご紹介しておきます。
ホスト：ESXi 6.5
OS：Oracle Linux 7.3
ディスク：30GB×3、16GB×3
OS：Oracle Linux 7.3
ディスク：30GB×3、16GB×3
OSの事前構築は1時間程度です。
また、補足までですが今回はRAC構築が目的なので以下の設計です。
共有ディスク以外はシン・プロビジョニング
Network Manager管理下で固定アドレス
Network Manager管理下で固定アドレス
OSは1台構築した後に共有ディスクのパーティションと権限を設定し、エクスポート・インポートで複製しています。
参考までに仮想マシンの設定画面を載せておきます。
ではGrid Infrastractureのインストールに行きたいと思います。
18c Grid Indrastractureをインストールしていく
事前作業
まずは直前で実施する作業をしていきます。
サーバにアップロードしたzipファイルをディレクトリ指定で解凍します。
[root@node01 ]# unzip LINUX.X64_180000_grid_home.zip -d /u01/app/18.0.0/grid/
次にcvuqdiskをrpmでインストールします。
2ノード構成ですが両方入れないといけません。
圧縮ファイルはnode01で解凍して、ファイルだけnode02へ送ります。
[root@node01 rpm]# rpm -Uvh cvuqdisk-1.0.10-1.rpm 準備しています... ################################# [100%] Using default group oinstall to install package 更新中 / インストール中... 1:cvuqdisk-1.0.10-1 ################################# [100%] [root@node01 rpm]#
[root@node01 rpm]# scp -rp cvuqdisk-1.0.10-1.rpm root@node02:/root/ cvuqdisk-1.0.10-1.rpm 100% 8860 8.7KB/s 00:00
これで直前の作業は完了です。
もちろん、等価設定などは済ませているので未実施の場合は必要です。
次はインストール作業に入るのでGUIでログインします。
インストール開始
まずoracleユーザでログインしてgridユーザへスイッチします。
スイッチしたらgridSetup.shを実行していきます。
正常に起動して来たら、設定を選択していきます。
もちろん、通常のRACで構成していきます。
「スタンドアロン・クラスタ」で構成していきます。
クラスタ名はデフォルトで行きます。
スキャン名は名前解決できる必要があるのでDNSに登録済みの「scan.oracle18c.com」に変更します。
次はノードの構成です。
node02を「Add」から追加していきます。
node02の設定値を入力します。
※エラーが出たため「con」になっている部分をcomに修正しました。
正常に等価設定されていれば次の設定に進めます。
次はネットワークの設定を実施します。
パブリック1本、インターコネクト2本を設定します。
ちなみにfirewalldを停止しておかないとnode02で通信が出来ません。
次はASMの構成ですがデフォルトで行きます。
GIMRは利用しないので「No」にします。
次はディスク・グループの作成ですが最初はディスクが見えませんでした。
理由はパーティションに対する変更権限がないためです。
以下を各ノードで実行します。
[root@node01 dev]# cd /dev [root@node01 dev]# chown grid:oinstall sd[b-g]1
権限が正常に付与されているとディスクが見えてきます。
今回は30GB×3の「DATA1」と16GB×3の「DATA02」の二つを作成します。
パスワードは全てのアカウントで共通にします。
IPMIも使いません。
EM Cloud Controlも今は使いません。
後日検証したいと思います。
ASMのグループ設定です。
「asmadmin」「asmdba」「asmoper」の3つが表示されていれば問題ありません。
次にORACLE_BASEの設定です。
特に変更は不要です。
インベントリディレクトリも変更ありません。
このようなディレクトリ設定などはOS側の権限設定が間違っていると警告画面が表示されます。
次はスクリプトの自動実行です。
私は手動で確実に当てたいのでチェックしません。
ここで次へ進むとチェックが入ります。
ASM関連でwarningが出てきました。
ASMに関しては以前から確認できている「原因無し」のエラーです。
NTPに関しては、それ自体でインストールは失敗しないので「無視して続行」します。
サマリを確認したらインストールを実行します。
時間がかかるので進捗を見つつ終わりを待ちます。
rootスクリプトの実行を求められます。
必ずnode01から実行するように注意します。
[root@node01 ~]# /u01/app/oraInventory/orainstRoot.sh Changing permissions of /u01/app/oraInventory. Adding read,write permissions for group. Removing read,write,execute permissions for world. Changing groupname of /u01/app/oraInventory to oinstall. The execution of the script is complete. [root@node01 ~]#
※なぜかnode01でroot.shが失敗するので再インストールをnode02から実行しました。
それ以外は変更していません。
[root@node02 app]# /u01/app/18.0.0/grid/root.sh
Performing root user operation.
The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /u01/app/18.0.0/grid
Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Relinking oracle with rac_on option
Using configuration parameter file: /u01/app/18.0.0/grid/crs/install/crsconfig_params
The log of current session can be found at:
/u01/app/grid/crsdata/node02/crsconfig/rootcrs_node02_2018-09-30_07-29-39PM.log
2018/09/30 19:29:54 CLSRSC-594: Executing installation step 1 of 20: 'SetupTFA'.
2018/09/30 19:29:54 CLSRSC-4001: Installing Oracle Trace File Analyzer (TFA) Collector.
2018/09/30 19:30:20 CLSRSC-4002: Successfully installed Oracle Trace File Analyzer (TFA) Collector.
2018/09/30 19:30:20 CLSRSC-594: Executing installation step 2 of 20: 'ValidateEnv'.
2018/09/30 19:30:20 CLSRSC-363: User ignored prerequisites during installation
2018/09/30 19:30:20 CLSRSC-594: Executing installation step 3 of 20: 'CheckFirstNode'.
2018/09/30 19:30:22 CLSRSC-594: Executing installation step 4 of 20: 'GenSiteGUIDs'.
2018/09/30 19:30:27 CLSRSC-594: Executing installation step 5 of 20: 'SaveParamFile'.
2018/09/30 19:30:43 CLSRSC-594: Executing installation step 6 of 20: 'SetupOSD'.
2018/09/30 19:30:43 CLSRSC-594: Executing installation step 7 of 20: 'CheckCRSConfig'.
2018/09/30 19:30:43 CLSRSC-594: Executing installation step 8 of 20: 'SetupLocalGPNP'.
2018/09/30 19:31:15 CLSRSC-594: Executing installation step 9 of 20: 'CreateRootCert'.
2018/09/30 19:31:24 CLSRSC-594: Executing installation step 10 of 20: 'ConfigOLR'.
2018/09/30 19:31:45 CLSRSC-594: Executing installation step 11 of 20: 'ConfigCHMOS'.
2018/09/30 19:31:45 CLSRSC-594: Executing installation step 12 of 20: 'CreateOHASD'.
2018/09/30 19:31:59 CLSRSC-594: Executing installation step 13 of 20: 'ConfigOHASD'.
2018/09/30 19:31:59 CLSRSC-330: Adding Clusterware entries to file 'oracle-ohasd.service'
2018/09/30 19:32:36 CLSRSC-594: Executing installation step 14 of 20: 'InstallAFD'.
2018/09/30 19:33:02 CLSRSC-594: Executing installation step 15 of 20: 'InstallACFS'.
CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'node02'
CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'node02' has completed
CRS-4133: Oracle High Availability Services has been stopped.
CRS-4123: Oracle High Availability Services has been started.
2018/09/30 19:33:38 CLSRSC-594: Executing installation step 16 of 20: 'InstallKA'.
2018/09/30 19:33:52 CLSRSC-594: Executing installation step 17 of 20: 'InitConfig'.
CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'node02'
CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'node02' has completed
CRS-4133: Oracle High Availability Services has been stopped.
CRS-4123: Oracle High Availability Services has been started.
CRS-2672: Attempting to start 'ora.driver.afd' on 'node02'
CRS-2672: Attempting to start 'ora.evmd' on 'node02'
CRS-2672: Attempting to start 'ora.mdnsd' on 'node02'
CRS-2676: Start of 'ora.driver.afd' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.cssdmonitor' on 'node02'
CRS-2676: Start of 'ora.cssdmonitor' on 'node02' succeeded
CRS-2676: Start of 'ora.mdnsd' on 'node02' succeeded
CRS-2676: Start of 'ora.evmd' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.gpnpd' on 'node02'
CRS-2676: Start of 'ora.gpnpd' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.gipcd' on 'node02'
CRS-2676: Start of 'ora.gipcd' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.cssd' on 'node02'
CRS-2672: Attempting to start 'ora.diskmon' on 'node02'
CRS-2676: Start of 'ora.diskmon' on 'node02' succeeded
CRS-2676: Start of 'ora.cssd' on 'node02' succeeded
[INFO] [DBT-30161] ディスク・ラベルは正常に作成されました。詳細は、/u01/app/grid/cfgtoollogs/asmca/asmca-180930午後073435.logを参照してください。
[INFO] [DBT-30001] ディスク・グループは正常に作成されました。詳細は、/u01/app/grid/cfgtoollogs/asmca/asmca-180930午後073435.logを参照してください。
2018/09/30 19:35:31 CLSRSC-482: Running command: '/u01/app/18.0.0/grid/bin/ocrconfig -upgrade grid oinstall'
CRS-2672: Attempting to start 'ora.crf' on 'node02'
CRS-2672: Attempting to start 'ora.storage' on 'node02'
CRS-2676: Start of 'ora.storage' on 'node02' succeeded
CRS-2676: Start of 'ora.crf' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.crsd' on 'node02'
CRS-2676: Start of 'ora.crsd' on 'node02' succeeded
CRS-4256: Updating the profile
Successful addition of voting disk 0ae168e60c7c4f81bff61129b01c1d8b.
Successful addition of voting disk fb2f36f857394fd3bf6e4e6c72344627.
Successful addition of voting disk b0a334a0a1934f09bf3617c18c83f3ea.
Successfully replaced voting disk group with +DATA01.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
## STATE File Universal Id File Name Disk group
-- ----- ----------------- --------- ---------
1. ONLINE 0ae168e60c7c4f81bff61129b01c1d8b (AFD:DATA011) [DATA01]
2. ONLINE fb2f36f857394fd3bf6e4e6c72344627 (AFD:DATA012) [DATA01]
3. ONLINE b0a334a0a1934f09bf3617c18c83f3ea (AFD:DATA013) [DATA01]
Located 3 voting disk(s).
CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'node02'
CRS-2673: Attempting to stop 'ora.crsd' on 'node02'
CRS-2677: Stop of 'ora.crsd' on 'node02' succeeded
CRS-2673: Attempting to stop 'ora.storage' on 'node02'
CRS-2673: Attempting to stop 'ora.crf' on 'node02'
CRS-2673: Attempting to stop 'ora.drivers.acfs' on 'node02'
CRS-2673: Attempting to stop 'ora.mdnsd' on 'node02'
CRS-2677: Stop of 'ora.crf' on 'node02' succeeded
CRS-2677: Stop of 'ora.storage' on 'node02' succeeded
CRS-2673: Attempting to stop 'ora.asm' on 'node02'
CRS-2677: Stop of 'ora.drivers.acfs' on 'node02' succeeded
CRS-2677: Stop of 'ora.mdnsd' on 'node02' succeeded
CRS-2677: Stop of 'ora.asm' on 'node02' succeeded
CRS-2673: Attempting to stop 'ora.cluster_interconnect.haip' on 'node02'
CRS-2677: Stop of 'ora.cluster_interconnect.haip' on 'node02' succeeded
CRS-2673: Attempting to stop 'ora.ctssd' on 'node02'
CRS-2673: Attempting to stop 'ora.evmd' on 'node02'
CRS-2677: Stop of 'ora.ctssd' on 'node02' succeeded
CRS-2677: Stop of 'ora.evmd' on 'node02' succeeded
CRS-2673: Attempting to stop 'ora.cssd' on 'node02'
CRS-2677: Stop of 'ora.cssd' on 'node02' succeeded
CRS-2673: Attempting to stop 'ora.driver.afd' on 'node02'
CRS-2673: Attempting to stop 'ora.gipcd' on 'node02'
CRS-2673: Attempting to stop 'ora.gpnpd' on 'node02'
CRS-2677: Stop of 'ora.driver.afd' on 'node02' succeeded
CRS-2677: Stop of 'ora.gpnpd' on 'node02' succeeded
CRS-2677: Stop of 'ora.gipcd' on 'node02' succeeded
CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'node02' has completed
CRS-4133: Oracle High Availability Services has been stopped.
2018/09/30 19:38:12 CLSRSC-594: Executing installation step 18 of 20: 'StartCluster'.
CRS-4123: Starting Oracle High Availability Services-managed resources
CRS-2672: Attempting to start 'ora.evmd' on 'node02'
CRS-2672: Attempting to start 'ora.mdnsd' on 'node02'
CRS-2676: Start of 'ora.mdnsd' on 'node02' succeeded
CRS-2676: Start of 'ora.evmd' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.gpnpd' on 'node02'
CRS-2676: Start of 'ora.gpnpd' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.gipcd' on 'node02'
CRS-2676: Start of 'ora.gipcd' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.cssdmonitor' on 'node02'
CRS-2676: Start of 'ora.cssdmonitor' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.crf' on 'node02'
CRS-2672: Attempting to start 'ora.cssd' on 'node02'
CRS-2672: Attempting to start 'ora.diskmon' on 'node02'
CRS-2676: Start of 'ora.diskmon' on 'node02' succeeded
CRS-2676: Start of 'ora.crf' on 'node02' succeeded
CRS-2676: Start of 'ora.cssd' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.cluster_interconnect.haip' on 'node02'
CRS-2672: Attempting to start 'ora.ctssd' on 'node02'
CRS-2676: Start of 'ora.ctssd' on 'node02' succeeded
CRS-2676: Start of 'ora.cluster_interconnect.haip' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.asm' on 'node02'
CRS-2676: Start of 'ora.asm' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.storage' on 'node02'
CRS-2676: Start of 'ora.storage' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.crsd' on 'node02'
CRS-2676: Start of 'ora.crsd' on 'node02' succeeded
CRS-6023: Starting Oracle Cluster Ready Services-managed resources
CRS-6017: Processing resource auto-start for servers: node02
CRS-6016: Resource auto-start has completed for server node02
CRS-6024: Completed start of Oracle Cluster Ready Services-managed resources
CRS-4123: Oracle High Availability Services has been started.
2018/09/30 19:41:05 CLSRSC-343: Successfully started Oracle Clusterware stack
2018/09/30 19:41:05 CLSRSC-594: Executing installation step 19 of 20: 'ConfigNode'.
CRS-2672: Attempting to start 'ora.ASMNET1LSNR_ASM.lsnr' on 'node02'
CRS-2672: Attempting to start 'ora.ASMNET2LSNR_ASM.lsnr' on 'node02'
CRS-2676: Start of 'ora.ASMNET1LSNR_ASM.lsnr' on 'node02' succeeded
CRS-2676: Start of 'ora.ASMNET2LSNR_ASM.lsnr' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.asm' on 'node02'
CRS-2676: Start of 'ora.asm' on 'node02' succeeded
CRS-2672: Attempting to start 'ora.DATA01.dg' on 'node02'
CRS-2676: Start of 'ora.DATA01.dg' on 'node02' succeeded
2018/09/30 19:42:45 CLSRSC-594: Executing installation step 20 of 20: 'PostConfig'.
2018/09/30 19:43:47 CLSRSC-325: Configure Oracle Grid Infrastructure for a Cluster ... succeeded
[root@node02 app]#
両ノード共に正常に終了しました。
最後のプロセスですが失敗しました。
原因はchrondyを停止していたためでした。（DBのインストールには不要）
今回はRAC用のセグメントにNTPサーバも無ければインターネット通信も許可していないので時刻同期は設定せずに終了します。
これでインストールは完了です。
インストール完了後
きちんとClusterwareが構成されているか確認します。
/u01/app/18.0.0/grid/binはパスを設定しました。
それでは確認します。
[root@node01 ~]# crsctl stat res -t
--------------------------------------------------------------------------------
Name Target State Server State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ASMNET1LSNR_ASM.lsnr
ONLINE ONLINE node01 STABLE
ONLINE ONLINE node02 STABLE
ora.ASMNET2LSNR_ASM.lsnr
ONLINE ONLINE node01 STABLE
ONLINE ONLINE node02 STABLE
ora.DATA01.GHCHKPT.advm
OFFLINE OFFLINE node01 STABLE
OFFLINE OFFLINE node02 STABLE
ora.DATA01.dg
ONLINE ONLINE node01 STABLE
ONLINE ONLINE node02 STABLE
ora.LISTENER.lsnr
ONLINE ONLINE node01 STABLE
ONLINE ONLINE node02 STABLE
ora.chad
ONLINE ONLINE node01 STABLE
ONLINE ONLINE node02 STABLE
ora.data01.ghchkpt.acfs
OFFLINE OFFLINE node01 STABLE
OFFLINE OFFLINE node02 volume /opt/oracle/r
hp_images/chkbase is
unmounted,STABLE
ora.helper
OFFLINE OFFLINE node01 IDLE,STABLE
OFFLINE OFFLINE node02 STABLE
ora.net1.network
ONLINE ONLINE node01 STABLE
ONLINE ONLINE node02 STABLE
ora.ons
ONLINE ONLINE node01 STABLE
ONLINE ONLINE node02 STABLE
ora.proxy_advm
ONLINE ONLINE node01 STABLE
ONLINE ONLINE node02 STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE node01 STABLE
ora.LISTENER_SCAN2.lsnr
1 ONLINE ONLINE node02 STABLE
ora.LISTENER_SCAN3.lsnr
1 ONLINE ONLINE node02 STABLE
ora.MGMTLSNR
1 ONLINE ONLINE node02 169.254.15.176 192.1
68.22.102 192.168.33
.102,STABLE
ora.asm
1 ONLINE ONLINE node02 Started,STABLE
2 ONLINE ONLINE node01 Started,STABLE
3 OFFLINE OFFLINE STABLE
ora.cvu
1 ONLINE ONLINE node02 STABLE
ora.mgmtdb
1 ONLINE ONLINE node02 Open,STABLE
ora.node01.vip
1 ONLINE ONLINE node01 STABLE
ora.node02.vip
1 ONLINE ONLINE node02 STABLE
ora.qosmserver
1 ONLINE ONLINE node02 STABLE
ora.rhpserver
1 OFFLINE OFFLINE STABLE
ora.scan1.vip
1 ONLINE ONLINE node01 STABLE
ora.scan2.vip
1 ONLINE ONLINE node02 STABLE
ora.scan3.vip
1 ONLINE ONLINE node02 STABLE
--------------------------------------------------------------------------------
[root@node01 ~]#
概ね正常です。
では縮退させてみます。
node02を停止し再度確認します。
[root@node01 ~]# crsctl stat res -t
--------------------------------------------------------------------------------
Name Target State Server State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ASMNET1LSNR_ASM.lsnr
ONLINE ONLINE node01 STABLE
ora.ASMNET2LSNR_ASM.lsnr
ONLINE ONLINE node01 STABLE
ora.DATA01.GHCHKPT.advm
OFFLINE OFFLINE node01 STABLE
ora.DATA01.dg
ONLINE ONLINE node01 STABLE
ora.LISTENER.lsnr
ONLINE ONLINE node01 STABLE
ora.chad
ONLINE ONLINE node01 STABLE
ora.data01.ghchkpt.acfs
OFFLINE OFFLINE node01 STABLE
ora.helper
OFFLINE OFFLINE node01 STABLE
ora.net1.network
ONLINE ONLINE node01 STABLE
ora.ons
ONLINE ONLINE node01 STABLE
ora.proxy_advm
ONLINE ONLINE node01 STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE node01 STABLE
ora.LISTENER_SCAN2.lsnr
1 ONLINE ONLINE node01 STABLE
ora.LISTENER_SCAN3.lsnr
1 ONLINE ONLINE node01 STABLE
ora.MGMTLSNR
1 ONLINE ONLINE node01 169.254.7.180 192.16
8.22.101 192.168.33.
101,STABLE
ora.asm
1 ONLINE OFFLINE STABLE
2 ONLINE ONLINE node01 Started,STABLE
3 OFFLINE OFFLINE STABLE
ora.cvu
1 ONLINE ONLINE node01 STABLE
ora.mgmtdb
1 ONLINE ONLINE node01 Open,STABLE
ora.node01.vip
1 ONLINE ONLINE node01 STABLE
ora.node02.vip
1 ONLINE INTERMEDIATE node01 FAILED OVER,STABLE
ora.qosmserver
1 ONLINE ONLINE node01 STABLE
ora.rhpserver
1 OFFLINE OFFLINE STABLE
ora.scan1.vip
1 ONLINE ONLINE node01 STABLE
ora.scan2.vip
1 ONLINE ONLINE node01 STABLE
ora.scan3.vip
1 ONLINE ONLINE node01 STABLE
--------------------------------------------------------------------------------
[root@node01 ~]#
正常にnode02が消えてなくなりました。
動きやインストールも12cからほとんど変化がないようです。
次回はDBのインストールを実施していきたいと思います。