VMware ESXi から ESXi への仮想マシン移行は vCenter Serverの機能で移行します。
今回の環境は vCenter Server無いので考慮事項と注意事項を参考に scp を使い仮想マシンを移動コピーします。
ということで、以前 ESXi 7へ作成した Oracle Real Application Clusters 19c (RAC), Oracle 11gR2 RAC と Oracle Database 9i R2(9.2) を前回作成した ESXi 8へ scp移行してみてみます

■ 環境

ESXi 7, ESXi 8, Oracle RAC 19c, 11gR2 は以前作成した環境を使用します。
・ ESXi 7: VMware vSphere Hypervisor 7.0 (ESXi) をインストールしてみてみた
・ ESXi 8: VMware vSphere Hypervisor (ESXi) 8 を Intel NUC 13 へインストールしてみてみた
・ Oracle RAC 19c: VMwareへOracle Real Application Clusters 19c (RAC)をインストールしてみてみた
・ Oracle RAC 11gR2: VMwareへOracle Real Application Clusters 11.2 (RAC) をインストールしてみてみた

■ 考慮事項と注意事項

次の VMware ドキュメントを参考に仮想マシンの移行方法を検討します。
・参考: VMware 環境内での仮想マシンの移動またはコピーに関する考慮事項と注意事項

■ SSH 設定

ESXi ホスト間で scp できるように ssh と ESXi Shell を有効化する設定をします。

⚫︎ ESXi 7: SSHの有効化と ESXi Shellの有効化

ナビゲータの [ホスト]を選択し、 [アクション] > [サービス] > [SSHの有効化] と [ESXi Shellの有効化] をクリックして有効化します。

⚫︎ ESXi 8: SSHの有効化と ESXi Shellの有効化

ナビゲータの [ホスト]を選択し、 [アクション] > [サービス] > [SSHの有効化] と [ESXi Shellの有効化] をクリックして有効化します。

⚫︎ sshClient firewall有効化

ESXCLIで sshClientファイアウォールを解放します。

1） ESXi 8 へ SSHログイン

shirok@macbook ~ % ssh root@192.168.0.8
	(root@ 192.168.0.2) Password:
	The time and date of this login have been sent to the system logs.
	
	WARNING:
	   All commands run on the ESXi shell are logged and may be included in
	   support bundles. Do not provide passwords directly on the command line.
	   Most tools can prompt for secrets or accept them from standard input.
	
	VMware offers powerful and supported automation tools. Please
	see https://developer.vmware.com for details.
	
	The ESXi Shell can be disabled by an administrative user. See the
	vSphere Security documentation for more information.
[root@localhost:~]

2) sshClient firewall ruleset確認

[root@vSphere8:~] esxcli network firewall ruleset list | grep sshClient
sshClient                      false

3) sshClient firewall TRUE設定

[root@vSphere8:~] esxcli network firewall ruleset set --ruleset-id=sshClient --enabled=true

4) sshClient firewall TRUE設定確認

[root@vSphere8:~] esxcli network firewall ruleset list | grep sshClient
    sshClient                       true

■ 仮想マシン移行

1) ESXi 7 ログイン

shirok@macbook ~ % ssh root@ 192.168.0.7
	(root@ 192.168.0.7) Password:
	The time and date of this login have been sent to the system logs.
	
	WARNING:
	   All commands run on the ESXi shell are logged and may be included in
	   support bundles. Do not provide passwords directly on the command line.
	   Most tools can prompt for secrets or accept them from standard input.
	
	VMware offers supported, powerful system administration tools.  Please
	see www.vmware.com/go/sysadmintools for details.
	
	The ESXi Shell can be disabled by an administrative user. See the
	vSphere Security documentation for more information.

[root@vSphere7:~]

2) DataStore確認

[root@vSphere7:~] cd vmfs/volumes/DataStore01/
[root@vSphere7:/vmfs/volumes/a9b1ac-ab14e4-6513-04d4c458bc] ls -l
    total 2560
    drwxr-xr-x    1 root     root         77824 May 21 01:05 Oracle9iR2-x86_64
    drwxr-xr-x    1 root     root         86016 Aug  7 23:41 VMware vCenter Server Appliance
    drwxr-xr-x    1 root     root         81920 Apr  3  2021 rac11g1
    drwxr-xr-x    1 root     root         77824 Nov 24  2020 rac11g2
    drwxr-xr-x    1 root     root         77824 Apr  2  2021 rac19c-node1
    drwxr-xr-x    1 root     root         77824 Dec  4  2020 rac19c-node2

3) SCP実行

[root@vSphere7:/vmfs/volumes/a9b1ac-ab14e4-6513-04d4c458bc] scp -r rac19c-node1/ root@ 192.168.0.2:/vmfs/volumes/datastore1/
    The authenticity of host ' 192.168.0.2 ( 192.168.0.2)' can't be established.
    ECDSA key fingerprint is SHA256:SRgBq4qBMZ2c121TTUX0W2iPZfF1SgMrMRgDQ8U.
    Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
    Warning: Permanently added ' 192.168.0.2' (ECDSA) to the list of known hosts.
    Password:
    rac19c-node1.vmx                                                            100% 4479   401.2KB/s   00:00
    rac19c-node1-flat.vmdk                                                        1% 1000MB  85.3MB/s   12:36 ETArekeyed outbound cipher
    rekeyed inbound cipher
    rac19c-node1-flat.vmdk                                                        3% 2035MB  96.8MB/s   10:56 ETArekeyed outbound cipher
    rekeyed inbound cipher
    rac19c-node1-flat.vmdk                                                        4% 2994MB  89.9MB/s   11:35 ETArekeyed outbound cipher
    rekeyed inbound cipher
    rac19c-node1-flat.vmdk                                                        6% 4067MB  92.2MB/s   11:06 ETArekeyed outbound cipher
    rekeyed inbound cipher
    rac19c-node1-flat.vmdk                                                        7% 5111MB  76.5MB/s   13:10 ETArekeyed outbound cipher
    rekeyed inbound cipher
    rac19c-node1-flat.vmdk                                                        9% 
    ・・・
    rac19c-node1_3-flat.vmdk                                                    100%   20GB  62.0MB/s   05:30
    rac19c-node1_3.vmdk                                                         100%  454   273.3KB/s   00:00

■ Network ポートグループ追加

Oracle RACに必要なInter Connect用ネットワークを追加します。
設定内容は既存と同じ名前とVLAN IDで作成します。

1) ESXi Host Client画面
ナビゲータ[ネットワーク]を選択し、[ポートグループの追加]をクリック

２）Network ポートグループ追加完了

■ 仮想マシンの登録

⚫︎ 仮想マシンの登録

Oracle RACを構成する仮想マシンを登録します。

1) ESXi Host Client画面
ナビゲータの [仮想マシン]を選択し、[仮想マシンの作成/登録] をクリック

2) 新規仮想マシン画面

3) 登録のための仮想マシンの選択

4) データストアブラウザ画面

5) 登録のための仮想マシンの選択
Oracle Databsae 19c と 11gR2 の RAC Nodes 仮想マシンを選択します。

6) 設定の確認

7) 仮想マシン起動

8) 質問への回答画面

9) 非シックディスクは共有できませんエラー確認

■ 仮想マシンの互換性のアップグレード

1) 仮想マシン画面
対象仮想マシンの [アクション] > [仮想マシンの互換性のアップグレード]をクリック

2) 仮想マシンの互換性の構成画面
[ESXi 8.0　仮想マシン]を選択し、[アップグレード]をクリック

3) 仮想マシンの互換性のアップグレード確認画面
内容を確認し、問題なければ[はい]をクリック

4) 仮想マシン画面
アップグレードされていることを互換性の項目で確認

■ Thin Provision から Thick Provision(Eager zeroed) ディスク変換

複製したRACの共有ディスクは、Thin Diskへ変換されて共有Diskとして利用できなくなるため、
RACの共有ディスク(OCR,Voting,ASM)を複数ノードで共有接続できるように Thick Eager zeroed ディスクへ変換します。

⚫︎ RAC仮想マシンの共有ディスクを一旦削除

1) 設定の編集画面
RACの共有ディスクを一旦削除します。

⚫︎ Oracle RAC仮想マシンの共有ディスクを eagerzeroedthickへ変換

・参考: vmkfstools を使用した仮想マシンディスクのクローン作成および変換

1) eagerzeroedthickへ変換
今回は以下RACの共有ディスクをeagerzeroedthickへ変換します。

rac19c-node1_1.vmdk
rac19c-node1_2.vmdk
rac19c-node1_3.vmdk

[root@vSphere8:rac19c-node1] cd /vmfs/volumes/datastore1/rac11g1
[root@vSphere8:rac19c-node1] vmkfstools -i rac19c-node1_1.vmdk -d eagerzeroedthick rac19c-node1_1-thick.vmdk
    Destination disk format: VMFS eagerzeroedthick
    Cloning disk 'rac19c-node1_1.vmdk'...
    Clone: 100% done.

[root@vSphere8:rac19c-node1] vmkfstools -i rac19c-node1_2.vmdk -d eagerzeroedthick rac19c-node1_2-thick.vmdk
    Destination disk format: VMFS eagerzeroedthick
    Cloning disk 'rac19c-node1_2.vmdk'...
    Clone: 100% done.

[root@vSphere8:rac19c-node1] vmkfstools -i rac19c-node1_3.vmdk -d eagerzeroedthick rac19c-node1_3-thick.vmdk
    Destination disk format: VMFS eagerzeroedthick
    Cloning disk 'rac19c-node1_3.vmdk'...
    Clone: 100% done.

⚫︎ RAC仮想マシンへ共有ディスクを追加

1) ESXi Host Client画面
対象の仮想マシンを選択し、[編集]をクリック

2) 設定の編集画面
「ハードディスクの追加] > [既存のハードディスク]をクリック

3) データストアブラウザ画面

4) 設定の編集画面
追加したRAC共有ディスクのタイプがシックプロビジョニング(Eager Zeroed) になっていることを確認
共有項目を[マルチライターの共有]へ設定
同様に他のRAC共有ディスクも同様に追加設定して、[保存]をクリック

5) 設定完了

■ Oracle Database 19c RAC仮想マシン起動

⚫︎ 仮想マシン起動

⚫︎ 仮想マシンssh接続

shirok@macbook ~ % ssh root@192.168.0.191
    The authenticity of host '192.168.0.191 (192.168.0.191)' can't be established.
    RSA key fingerprint is SHA256:IFuThFkz/+7bu+tRsZ2j+r2tL3Hv5PE+28hF.
    This key is not known by any other names
    Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
    Warning: Permanently added '192.168.0.191' (RSA) to the list of known hosts.
    root@192.168.0.191's password:
    Last login: Fri Dec  4 09:12:32 2020 from 192.168.0.71

⚫︎ Oracle Grid Infrastructure 19c 起動確認

[root@rac19c-node1 ~]# su - grid
    Last login: Thu Aug 10 04:02:11 JST 2023

[grid@rac19c-node1 ~]$ crsctl stat res -t
	--------------------------------------------------------------------------------
	Name           Target  State        Server                   State details
	--------------------------------------------------------------------------------
	Local Resources
	--------------------------------------------------------------------------------
	ora.LISTENER.lsnr
	               ONLINE  ONLINE       rac19c-node1             STABLE
	               ONLINE  ONLINE       rac19c-node2             STABLE
	ora.chad
	               ONLINE  ONLINE       rac19c-node1             STABLE
	               ONLINE  ONLINE       rac19c-node2             STABLE
	ora.net1.network
	               ONLINE  ONLINE       rac19c-node1             STABLE
	               ONLINE  ONLINE       rac19c-node2             STABLE
	ora.ons
	               ONLINE  ONLINE       rac19c-node1             STABLE
	               ONLINE  ONLINE       rac19c-node2             STABLE
	--------------------------------------------------------------------------------
	Cluster Resources
	--------------------------------------------------------------------------------
	ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup)
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	      2        ONLINE  ONLINE       rac19c-node2             STABLE
	ora.CRS.dg(ora.asmgroup)
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	      2        ONLINE  ONLINE       rac19c-node2             STABLE
	ora.DATA.dg(ora.asmgroup)
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	      2        ONLINE  ONLINE       rac19c-node2             STABLE
	ora.LISTENER_SCAN1.lsnr
	      1        ONLINE  ONLINE       rac19c-node2             STABLE
	ora.LISTENER_SCAN2.lsnr
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	ora.LISTENER_SCAN3.lsnr
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	ora.RECO.dg(ora.asmgroup)
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	      2        ONLINE  ONLINE       rac19c-node2             STABLE
	ora.asm(ora.asmgroup)
	      1        ONLINE  ONLINE       rac19c-node1             Started,STABLE
	      2        ONLINE  ONLINE       rac19c-node2             Started,STABLE
	ora.asmnet1.asmnetwork(ora.asmgroup)
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	      2        ONLINE  ONLINE       rac19c-node2             STABLE
	ora.cvu
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	ora.orcl.db
	      1        ONLINE  ONLINE       rac19c-node1             Open,HOME=/u01/app/o
	                                                             racle/product/19.0.0
	                                                             /dbhome_1,STABLE
	      2        ONLINE  ONLINE       rac19c-node2             Open,HOME=/u01/app/o
	                                                             racle/product/19.0.0
	                                                             /dbhome_1,STABLE
	ora.qosmserver
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	ora.rac19c-node1.vip
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	ora.rac19c-node2.vip
	      1        ONLINE  ONLINE       rac19c-node2             STABLE
	ora.scan1.vip
	      1        ONLINE  ONLINE       rac19c-node2             STABLE
	ora.scan2.vip
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	ora.scan3.vip
	      1        ONLINE  ONLINE       rac19c-node1             STABLE
	--------------------------------------------------------------------------------

⚫︎ Oracle Database 19c 接続確認

[root@rac19c-node1 ~]# su - oracle
    Last login: Thu Aug 10 03:25:16 JST 2023 on :0

[oracle@rac19c-node1 ~]$ sqlplus / as sysdba

    SQL*Plus: Release 19.0.0.0.0 - Production on Thu Aug 10 06:15:14 2023
    Version 19.3.0.0.0

    Copyright (c) 1982, 2019, Oracle.  All rights reserved.

    Connected to:
    Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
    Version 19.3.0.0.0



SQL> select INSTANCE_NAME, HOST_NAME, STATUS from gv$instance;
    INSTANCE_NAME	HOST_NAME	STATUS
    --------------- --------------- ------------------------------------
    orcl1		rac19c-node1	OPEN
    orcl2		rac19c-node2	OPEN

■ Oracle Database 11g RAC仮想マシン起動

⚫︎ 仮想マシン起動

⚫︎ 仮想マシンssh接続

shirok@macbook ~ % ssh root@192.168.0.11
    The authenticity of host '192.168.0.11 (192.168.0.11)' can't be established.
    DSA key fingerprint is SHA256:IXp4q2snelLNApevGO4YapeBA.
    This key is not known by any other names
    Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
    Warning: Permanently added '192.168.0.11' (DSA) to the list of known hosts.

    root@192.168.0.11's password:
    Last login: Sat Apr  3 19:14:33 2021 from 192.168.0.0

⚫︎ Oracle Grid Infrastructure 11gR2 起動確認

[root@rac11g1 ~]# su - grid
[grid@rac11g1 ~]$ crsctl stat res -t
    --------------------------------------------------------------------------------
	NAME           TARGET  STATE        SERVER                   STATE_DETAILS
	--------------------------------------------------------------------------------
	Local Resources
	--------------------------------------------------------------------------------
	ora.CRS.dg
	               ONLINE  ONLINE       rac11g1
	               ONLINE  ONLINE       rac11g2
	ora.DATA.dg
	               ONLINE  ONLINE       rac11g1
	               ONLINE  ONLINE       rac11g2
	ora.LISTENER.lsnr
	               ONLINE  ONLINE       rac11g1
	               ONLINE  ONLINE       rac11g2
	ora.asm
	               ONLINE  ONLINE       rac11g1                  Started
	               ONLINE  ONLINE       rac11g2                  Started
	ora.gsd
	               OFFLINE OFFLINE      rac11g1
	               OFFLINE OFFLINE      rac11g2
	ora.net1.network
	               ONLINE  ONLINE       rac11g1
	               ONLINE  ONLINE       rac11g2
	ora.ons
	               ONLINE  ONLINE       rac11g1
	               ONLINE  ONLINE       rac11g2
	--------------------------------------------------------------------------------
	Cluster Resources
	--------------------------------------------------------------------------------
	ora.LISTENER_SCAN1.lsnr
	      1        ONLINE  ONLINE       rac11g1
	ora.LISTENER_SCAN2.lsnr
	      1        ONLINE  ONLINE       rac11g2
	ora.LISTENER_SCAN3.lsnr
	      1        ONLINE  ONLINE       rac11g2
	ora.cvu
	      1        ONLINE  ONLINE       rac11g2
	ora.oc4j
	      1        ONLINE  ONLINE       rac11g2
	ora.orcl.db
	      1        ONLINE  ONLINE       rac11g1                  Open
	      2        ONLINE  ONLINE       rac11g2                  Open
	ora.rac11g1.vip
	      1        ONLINE  ONLINE       rac11g1
	ora.rac11g2.vip
	      1        ONLINE  ONLINE       rac11g2
	ora.scan1.vip
	      1        ONLINE  ONLINE       rac11g1
	ora.scan2.vip
	      1        ONLINE  ONLINE       rac11g2
	ora.scan3.vip
	      1        ONLINE  ONLINE       rac11g2

⚫︎ Oracle Database 11gR2 接続確認

[root@rac11g1 ~]# su - oracle
[oracle@rac11g1 ~]$ sqlplus / as sysdba

    SQL*Plus: Release 11.2.0.4.0 Production on Sat Aug 12 09:05:40 2023

    Copyright (c) 1982, 2013, Oracle.  All rights reserved.


    Connected to:
    Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
    With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP,
    Data Mining and Real Application Testing options

SQL> select INSTANCE_NAME, HOST_NAME, STATUS from gv$instance;
    INSTANCE_NAME	HOST_NAME	     STATUS
    --------------- -------------------- ------------------------------------
    orcl2		rac11g2 	     OPEN
    orcl1		rac11g1 	     OPEN

■ Oracle Database 9i R2(9.2) 仮想マシン起動

⚫︎ 仮想マシン起動

⚫︎ 仮想マシンssh接続

shirok@macbook ~ % ssh root@192.168.0.9
    The authenticity of host '192.168.0.9 (192.168.0.9)' can't be established.
    DSA key fingerprint is SHA256:uyoj43f5s/SgS3GpIWH7xsU087ETCRcMc.
    This key is not known by any other names
    Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
    Warning: Permanently added '192.168.100.9' (DSA) to the list of known hosts.
    root@192.168.100.9's password:
    Permission denied, please try again.
    root@192.168.100.9's password:
    Last login: Sat Aug 12 09:42:29 2023

⚫︎ Oracle Database 9i R2(9.2) 接続確認

[root@oracle9ir2 ~]# su - oracle
[oracle@oracle9ir2 ~]$ sqlplus /nolog

    SQL*Plus: Release 9.2.0.8.0 - Production on 土 Aug 12 10:09:35 2023

    Copyright (c) 1982, 2002, Oracle Corporation.  All rights reserved.

SQL> conn / as sysdba
    Connected.
    
SQL> select * from v$version;

    BANNER
    --------------------------------------------------------------------------------
    Oracle9i Enterprise Edition Release 9.2.0.8.0 - 64bit Production
    PL/SQL Release 9.2.0.8.0 - Production
    CORE	9.2.0.8.0	Production
    TNS for Linux: Version 9.2.0.8.0 - Production
    NLSRTL Version 9.2.0.8.0 - Production

■ 参考

　・ ESXi/ESX ホストを vCenter Server の間で移動する方法 (1004775)
　・ VMware 環境内での仮想マシンの移動またはコピー
　・仮想ディスクのプロビジョニングポリシーについて
　・ Open Virtualization Format (OVF) Tool

■ 環境

■ 考慮事項と注意事項

■ SSH 設定

⚫︎ ESXi 7: SSHの有効化 と ESXi Shellの有効化

⚫︎ ESXi 8: SSHの有効化 と ESXi Shellの有効化

⚫︎ sshClient firewall有効化

■ 仮想マシン移行

■ Network ポートグループ追加

■ 仮想マシンの登録

⚫︎ 仮想マシンの登録

■ 仮想マシンの互換性のアップグレード

■ Thin Provision から Thick Provision(Eager zeroed) ディスク変換

⚫︎ RAC仮想マシンの共有ディスクを一旦削除

⚫︎ Oracle RAC仮想マシンの共有ディスクを eagerzeroedthickへ変換

⚫︎ RAC仮想マシンへ共有ディスクを追加

■ Oracle Database 19c RAC仮想マシン起動

⚫︎ 仮想マシン起動

⚫︎ 仮想マシンssh接続

⚫︎ Oracle Grid Infrastructure 19c 起動確認

⚫︎ Oracle Database 19c 接続確認

■ Oracle Database 11g RAC仮想マシン起動

⚫︎ 仮想マシン起動

⚫︎ 仮想マシンssh接続

⚫︎ Oracle Grid Infrastructure 11gR2 起動確認

⚫︎ Oracle Database 11gR2 接続確認

■ Oracle Database 9i R2(9.2) 仮想マシン起動

⚫︎ 仮想マシン起動

⚫︎ 仮想マシンssh接続

⚫︎ Oracle Database 9i R2(9.2) 接続確認

■ 参考

⚫︎ ESXi 7: SSHの有効化と ESXi Shellの有効化

⚫︎ ESXi 8: SSHの有効化と ESXi Shellの有効化