Oracle Cloud: Enterprise Manager 13c で Exadata を管理できるようにしてみてみた

Oracle Enterprise Manager(EM) は、Oracle Database環境を管理するための最高のツールです。
データベースの管理には、企業内のデータベースおよびデータベース・グループの監視、管理および保守が含まれ、Enterprise Managerを使用することで次のことが得られます。
　・ 単一データベースまたは数千のインスタンスの管理を可能にするスケーラビリティ
　・ デプロイメントが容易で使用しやすい管理製品
　・ Oracle Databaseを管理するための完全な統合機能のセット。
　　　　- 日々のタスクと反復的なジョブの実行
　　　　- 問題の検出と、利用可能なガイド付き解決ワークフローの使用
データベース管理タスクは、Oracle Database内に組み込まれたWebベースのデータベース管理ツールであるデータベース・ホーム・ページで実行できます。
Oracle Enterprise Manager Cloud Control 13cは、Oracle Database Standard Edition One、Oracle Database Standard EditionおよびOracle Database Enterprise Editionの管理をサポートしています。ただし、Oracle Enterprise Manager Cloud Controlで提供されるデータベース管理機能の全範囲を使用するには、Oracle Database Enterprise Editionで次の管理パックを使用する必要があります。
　　　- Oracle Diagnostics Pack
　　　- Oracle Tuning Pack
　　　- Oracle Database Lifecycle Management Pack
　　　- Oracle Data Masking and Subsetting Pack
　　　- Oracle Real Application Testing
Oracle Exadata Cloud Service では、すべてのDatabase Optionを利用できます。(BYOLでなければ)
ということで、Enterprise Manager で Exadata の Database と Listener, ASM, Clusterware を管理できるようにしてみてみます。

■ 構成

EM と Exadata, VPN接続は次を参考に作成しておきます。
　　　・ Oracle Enterprise Manager 13c を作成してみてた
　　　・ Oracle Exadata Cloud Infrastructure X9M を作成してみてみた
　　　・ NEC IXルーターを冗長構成でIKEv2 IPSec VPN接続してみてみた
　　　・ Oracle Cloud: してみてみた Networking 関連まとめ

■ 前提条件のタスク

Oracle Enterprise Managerを導入する前に、以下の情報を確認し、以下に説明するすべての前提条件タスクを実行してください。
・ 始める前に
・ Single-Node構成と使用ポート
・ Multi-Node構成と使用ポート

● セキュリティリスト/NSG作成とファイアウォール構成確認

OCI 上の Enterprise Manager が使用するポートを セキュリティリスト/NSGを作成し、次の入力ルールを追加して、安全なアクセスを確保します。
Marketplace で作成した場合、Security List と Network Security Group(NSG)に自動設定されます。

項目	サービス	ソースポート範囲	宛先ポート
Bastion	SSH	"0.0.0.0/0"	TCP/22
Enterprise Manager	SSH	Private subnet: Bastion & EMDB subnet CIDR	TCP/22
Enterprise Manager	Console	Private subnet: VCN CIDR	TCP/7799
Enterprise Manager	WebLogic Console	Private subnet: VCN CIDR	TCP/7101
Enterprise Manager	Admin Server	EMDB subnet CIDR	TCP/7101
Enterprise Manager	Node Manager	EMDB subnet CIDR	TCP/7401
Enterprise Manager	Managed Server / Java Virtual Machine Diagnostics (JVMD)	Private subnet: VCN CIDR	TCP/7301
Enterprise Manager	Agent Upload	Private subnet: VCN CIDR	TCP/4900
Enterprise Manager	Agent Listen (OMS and Database Nodes)	EMDB subnet CIDR	TCP/3872
Database	DB Listener	EMDB subnet CIDR	TCP/1521
Database	DB Nodes	Private subnet: VCN CIDR	TCP/22

・ ping有効化

Enterprise Managerはping、ExadataDatabaseMachineコンポーネントの基本的な可用性とステータスを確立するために使用します。
Databaseノードでは、OMSサーバーからサービスとポートを有効 にする必要があります。

・ データベースポート

Enterprise ManagerOMSサーバー用にデータベース・リスナー・ポートを開く必要があります。Exadata Database Machineデータベースは SCANリスナーを使用することに注意してください。そのため、ベース計算ノード、計算ノード仮想IP、およびスキャンリスナーアドレス用にポートを開く必要があります。

・ Enterprise Managerアップロードポート

Enterprise Manager Cloud Control 13c エージェントは、Enterprise Manager Serversアップロードサービスにアクセスする必要があります。通常、HTTPアップロードの場合はポート4889で、HTTPSの場合は4900で構成されます。割り当てられたポートを確認するには、OMSサーバーのコマンドラインで次のコマンドを実行します。
Databaseリスナーがポート1521を使用している場合、次のアドレスに対してポート1521をEnterprise Manager サーバーに対して開く必要があります。

・ エージェントポート

OMSサーバーは、各計算ノードのEnterprise Manager Cloud Control 13cエージェントHTTP/HTTPSポートに接続できる必要があります。エージェントポートのデフォルトは3872です。ポート3872が使用できない場合は、ポート1830から始まる次の使用可能なポートが使用されます。
使用されているポートを特定するにはコマンドラインで次のコマンドを実行します。

$ emctl status agent

または、次のディレクトリの emd.propertiesファイルで EMD_URLプロパティの値で探すこともできます。

<AGENT_HOME>/agent_inst/sysman/config

・DBサーバーへの FQDN での ssh接続確認

・ DB Server への名前解決確認
EM Agentをインストールする DB Server の FQDN で名前解決できることを確認

[oracle@oms1 ~]$ exadb-node1.clientsubnet.vcn.oraclevcn.com
[oracle@oms1 ~]$ exadb-node1.clientsubnet.vcn.oraclevcn.com

・ EM から DB Server への ssh 接続確認
EM Agentを配布できるように DB Serverへ ssh接続できることを確認

[oracle@oms1 ~]$ ssh -i id_rsa exadb-node1.clientsubnet.vcn.oraclevcn.com
[oracle@oms1 ~]$ ssh -i id_rsa exadb-node2.clientsubnet.vcn.oraclevcn.com

■ Oracle Database 側での事前確認

EM Agentをインストールできるように Oracle Database を設定します。

● Host Name and IP Address要件

1）/etc/hosts設定
宛先ホストとOMSが実行されているホストが異なるネットワーク・ドメインに属している場合は、Agentをインストールするホストの /etc/hosts ファイルを更新して、OMSのIPアドレス、完全修飾名を含むFQDNのホスト名とホストの短縮名を追加してください。

[root@exadb-node1 ~]# vi /etc/hosts
    10.100.200.2	oms1.emdb.vcnexatokyo.oraclevcn.com	oms1

2) EMサーバーへの名前解決確認
EMサーバーのFQDN と 短縮名oms1 でアクセスできるか全ての Databaseノードで確認

[oracle@exadb-node1 ~]$ ping oms1.emsubnet.vcn.oraclevcn.com -c 3
	PING oms1.emsubnet.vcn.oraclevcn.com (10.100.200.2) 56(84) bytes of data.
	64 bytes from oms1.emdb.vcnexatokyo.oraclevcn.com (10.100.200.2): icmp_seq=1 ttl=64 time=0.346 ms
	64 bytes from oms1.emdb.vcnexatokyo.oraclevcn.com (10.100.200.2): icmp_seq=2 ttl=64 time=0.371 ms
	64 bytes from oms1.emdb.vcnexatokyo.oraclevcn.com (10.100.200.2): icmp_seq=3 ttl=64 time=0.403 ms

	--- oms1.emsubnet.vcn.oraclevcn.com ping statistics ---
	3 packets transmitted, 3 received, 0% packet loss, time 2030ms
	rtt min/avg/max/mdev = 0.346/0.373/0.403/0.028 ms

 [root@basedb23c-tokyo ~]# ping oms1 -c 3
	PING oms1.emdb.vcnexatokyo.oraclevcn.com (10.10.3.151) 56(84) bytes of data.
	64 bytes from oms1.emdb.vcnexatokyo.oraclevcn.com (10.100.200.2): icmp_seq=1 ttl=64 time=0.353 ms
	64 bytes from oms1.emdb.vcnexatokyo.oraclevcn.com (10.100.200.2): icmp_seq=2 ttl=64 time=0.287 ms
	64 bytes from oms1.emdb.vcnexatokyo.oraclevcn.com (10.100.200.2): icmp_seq=3 ttl=64 time=0.340 ms

	--- oms1.emdb.vcnexatokyo.oraclevcn.com ping statistics ---
	3 packets transmitted, 3 received, 0% packet loss, time 2084ms
	rtt min/avg/max/mdev = 0.287/0.326/0.353/0.035 ms

● ファイアウォール・ポート 3872 解放

OSのファイアウォール機能 Firewalld もしくは iptables が起動している場合、3872 解放します。

● dbsnmp ユーザ有効化

[opc@exadb-node1 ~]$ sudo su - oracle
[oracle@exadb-node1 ~]$ sqlplus / as sysdba
SQL> alter user dbsnmp identified by <パスワード> account unlock;
SQL> select username, account_status from DBA_USERS where username='DBSNMP';

	USERNAME	ACCOUNT_STATUS
	--------------- ---------------
	DBSNMP		OPEN

● asmsnmp ユーザ有効化

[opc@exadb-node1 ~]$ sudo su - grid
[grid@exadb-node1 ~]$ sqlplus / as sysasm
SQL> alter user asmsnmp identified by <パスワード> account unlock;
SQL> SELECT USERNAME, ACCOUNT_STATUS FROM V$PWFILE_USERS;

	USERNAME	     ACCOUNT_STATUS
	-------------------- --------------------
	ASMSNMP 	     OPEN

■ Exadata へ EM Agent インストール(ホスト・ターゲットの追加)

● EM にアクセス

1) EMにブラウザアクセス
https://:7799/em へアクセスして　sysmanユーザーでログイン

2) EM画面
[設定] > [ターゲットの追加] > [ターゲットの手動追加]をクリック

3) ターゲットの手動追加画面
[ホストにエージェントをインストール]をクリック

4) ターゲットの手動追加画面
[+追加]をクリックし、次の情報を入植し、[次]をクリック

・ホスト: Exadataの全ノードのドメイン付きホスト名を入力
・プラットフォーム: Linux X86-64 を選択

5) ホスト・ターゲットの追加: インストールの詳細画面
インストールするベース・ディレクトリを作成

[oracle@exadb-node1 ~]$ mkdir -p /u02/app/oracle/em/agent

次のインストール・ディレクトリを設定

- インストールのベース・ディレクトリ: 事前にExadataへ作成したインストール・ディレクトリを設定
- インスタンスディレクトリ: 自動入力されたままの値

設定後、「名前付き資格証明」の [+] をクリック

6) 名前付き資格証明の新規作成画面
[SSHキー資格証明]タブを選択し次を設定して[OK]をクリック

- ユーザー名: oracle ユーザーを設定
- SSH秘密鍵(id_rsa): [ファイルを選択]をクリックし oracle ユーザーのssh鍵をドロップ
- SSH公開鍵(id_rsa.pub): 設定しなくてOK
- 実行権限: [なし]を選択
- 別名保存: 任意の名前を設定

設定後、「ルート資格証明」の [+] をクリック

7) ルート資格証明画面
[SSHキー資格証明]タブを選択し次を設定して[OK]をクリック

- ユーザー名: opc ユーザーを設定
- SSH秘密鍵(id_rsa): [ファイルを選択]をクリックし oracle ユーザーのssh鍵をドロップ
- SSH公開鍵(id_rsa.pub): 設定しなくてOK
- 実行権限: [sudo]を選択
- 別名実行: root を入力
- 別名保存: 任意の名前を設定

設定後、ターゲットの手動追加画面に戻後[次]をクリック

8) ターゲットの手動追加画面
設定内容を確認し、問題なければ、[エージェントのデプロイ]をクリック

9) ホストの追加中・・・

10) ホストの追加完了
[完了]をクリックしホストの追加完了

＊ Agent のインストールが失敗した場合

次のエラーが出た場合、Exadata から EM へホスト名、各必要ポートへアクセスできることを確認します。

ホストexadb-node1.clientsubnet.vcn.oraclevcn.comでのコマンドcd /u02/app/oracle/em/agent/ADATMP_2023-06-06_06-30-55-AM;/u02/app/oracle/em/agent/ADATMP_2023-06-06_06-30-55-AM/agentDeploy.sh -ignorePrereqs ORACLE_HOSTNAME=exadb-6mcl61.clientsubnet.vcn.oraclevcn.com AGENT_BASE_DIR=/u02/app/oracle/em/agent OMS_HOST=oms1 EM_UPLOAD_PORT=4900 AGENT_INSTANCE_HOME=/u02/app/oracle/em/agent/agent_inst b_doDiscovery=false START_AGENT=false b_forceInstCheck=true -force AGENT_PORT=3872の実行 失敗

もしくは原因不明等の場合、次を参考にターゲット・ホストへ手動インストールをします。

■ ターゲットの追加: クラスタおよび Oracle 高可用性サービス

EM で Grid Inrastracture の Oracle Clusterware を管理できるようにします。

1) ターゲットの手動追加画面
[ガイド付きプロセスを使用した追加]をクリック

2) ガイド付きプロセスを使用した追加画面
「ガイドされた検出」項目から[Oracleクラスタおよび高可用性サービス]を選択し、[追加]をクリック

3) ターゲットの追加:クラスタおよび高可用性サービス画面
ターゲットホストを検索するために[虫眼鏡アイコン]をクリック

4) ターゲットの選択画面
ターゲット登録するExadataのホスト名を1つ選択し、[選択]をクリック

5) ターゲットの追加:クラスタおよび高可用性サービス画面
ホストの指定に対象の Exadata ホスト名が反映されたことを確認し[ターゲットの検出]をクリック

6) ターゲットの追加:クラスタおよび高可用性サービス画面
[ターゲットの検出]により、Exadataの情報が出力され、問題なけれなければ[保存]をクリック

7) 処理中画面
保存 - 進行中・・・

■ ターゲットの追加: Oracleデータベース、リスナー、ASM

Exadata の データベース、リスナーと　ASM を管理できるようにします。

1) ターゲットの手動追加画面
[ガイド付きプロセスを使用した追加]をクリック

2) ガイド付きプロセスを使用した追加画面
「ガイドされた検出」項目から[Oracleデータベース、リスナーおよび自動ストレージ管理]を選択し、[追加]をクリック

3) ターゲットの追加:クラスタおよび高可用性サービス画面
ターゲットホストを検索するために[虫眼鏡アイコン]をクリック

4) ターゲットの選択画面
ターゲット登録する Grid Infrastructure の Cluster名を1つ選択し、[選択]画面をクリック

5) データベース検出: 検索基準画面
[クラスタ内のすべてのホスト上]を選択し、[次]をクリック

6) 処理中画面
ターゲットの検出 - 進行中です。

7) データベース検出: 結果画面

8) クラスタ・データベース項目の設定
クラスタ・データベース項目の DBSNMPユーザーのパスワードを入力し、「接続テスト」をクリックし、成功することを確認

9) クラスタASM項目の設定
クラスタASM項目のASMSNMPユーザーのパスワードを入力し、「接続テスト」をクリックし、成功することを確認

10) クラスタASMの接続テストが成功しない場合、クラスタASM項目の[構成]をクリック

・クラスタASMの構成画面
[インスタンス]タブを選択し、ASMのポート番号とプロトコルを確認し修正して[保存]をクリック

・ポート: 1521
・プロトコル: TCP

11) データベース検出: 結果画面
すべての接続テストが成功したら、[次]をクリック

12) パスワードを保存しますか画面
[パスワードを保存]をクリック

13) データベース検出: 確認
内容を確認し、[保存]をクリック

14) 処理中画面
保存 - 進行中・・・

15) 確認画面
[閉じる]をクリック

16) すべてのターゲット画面

17）データベース管理画面
Database管理画面でデータベースを管理します。

■ 参考

・Oracle Marketplace
　- Enterprise Manager Cloud Control

・Documents
　- Oracle Enterprise Manager 13c ドキュメント
　- Oracle Enterprise Manager Cloud Control 13.5 ドキュメント
　- OracleCloudInfrastructureでのOracleEnterpriseManager13.5のセットアップ
　- Oracle Enterprise Manager Cloud Control 13cの概要
　- OEM 13c: SSH Connection Check Failed When Trying To Push Agent On RHEL 8 Server (Doc ID 3000984.1)