OCI Logging AnalyticsでOracle Databaseの関連ログを取り込んで分析する

OCI Logging Analyticsは、OCIのサービス・ログやVMインスタンスの内の様々なログを取り込んで分析することができるサービスです。Oracle Databaseを対象に考えた場合、DBの監査表・ログやアラート・ログ、トレース・ログ、リスナーログなど様々なDatabase関連のログを対象に取り込んで分析するという運用が考えられます。

データベースのログを定期的に収集し、Logging Analyticsにアップロードする役目を持つのが、管理エージェントと呼ばれるプログラムです。これを対象のDBサーバにインストールし、Logging Analyticsへのアウトバウンド通信が確立するようにネットワークの事前設定が必要です。

BaseDBやExaDB-DなどのOracle Cloud Databaseは、Service GatewayやNAT Gateway経由でアクセスできるようにVCNを設定します。また、オンプレミスのDatabaseを対象とする際に、管理エージェントが直接Logging Analyticsと通信できない制限がある場合は、ゲートウェイという方式を取ることも可能です。
Autnomous Databaseの場合は、異なる設定方法になりますので、詳しくはこちらを参照下さい。

また、管理エージェントのインストールできるLinuxやWindowsのバージョンはこちら

今回は、BaseDBに管理エージェントのインストールからLogging Analyticsの設定までの手順を紹介します。ExaDB-Dも場合も手順はほぼ同じです。

※ここでは、設定を実施するOCIユーザーは、Cloud Admin相当の権限を持っていることを前提にしています。設定途中でエラーメッセージが表示される場合は、必要な権限が自身に付与されているか以下のマニュアルを参照して管理者に確認して下さい。

管理エージェントの IAMポリシー
ログ・アナリティクスのIAMポリシー

管理エージェントに必要な動的グループ、ポリシーの作成

管理エージェントとLogging Analyticsを動作させるための動的グループとポリシーを作成

• 動的グループの作成

  • 名前：ManagemntAgentAdmins
  • ルール：All {resource.type = 'managementagent', resource.compartment.id = '対象のコンパートメントOCID'}

• ポリシーの作成
  Logging Analyticsのサービスと作成した動的グループに対するポリシーを定義
  allow service loganalytics to {LOG_ANALYTICS_LIFECYCLE_INSPECT, LOG_ANALYTICS_LIFECYCLE_READ} in tenancyallow service loganalytics to read loganalytics-features-family in tenancy
  allow dynamic-group ManagemntAgentAdmins to MANAGE management-agents IN COMPARTMENT コンパートメント名
  allow dynamic-group ManagemntAgentAdmins to USE METRICS IN COMPARTMENT コンパートメント名
  allow dynamic-group ManagemntAgentAdmins to {LOG_ANALYTICS_LOG_GROUP_UPLOAD_LOGS} IN COMPARTMENT コンパートメント名

管理エージェントをインストール

• OCIメニューから、監視及び管理 -> 管理エージェント -> ダウンロードとキーからLinuxエージェントのRPMをダウンロードする
  

• 同ページにあるインストール・キーからキーを新規作成し、キーファイルをダウンロードしておく
  

• 管理エージェントのインストール
  各プラットフォームにインストール手順はこちら

#BaseDBにopcでログイン

#ダウンロードしたエージェントをインストール(Java SDK 8u281が必要)
sudo rpm -ivh oracle.mgmt_agent.xxxx.xxxx.Linux-x86_64

#input.rspファイルを作成し、ダウンロードしたキーファイルの内容を貼り付ける
sudo vi /opt/oracle/mgmt_agent/agent_inst/bin/input.rsp

#主に必要となるパラメータは以下。ManagementAgentInstallKeyは記述されているはずなので、CredentialWalletPasswordに好きな値を設定
ManagementAgentInstallKey = xxxxxxxxxxxxxxxxxxxxxx
CredentialWalletPassword = xxxxxxxxxxxxxxxxxxxxxxx

#ファイル所有者変更
sudo chown  mgmt_agent:mgmt_agent /opt/oracle/mgmt_agent/agent_inst/bin/input.rsp

#エージェントインストール実行
sudo /opt/oracle/mgmt_agent/agent_inst/bin/setup.sh opts=/opt/oracle/mgmt_agent/agent_inst/bin/input.rsp

#ステータス確認
sudo systemctl status mgmt_agent

#OSのログファイルをまとめて読み取り可能にする 
sudo chmod -R 755 /var/log

#ファイルにエージェント・ユーザー(mgmt_agent)でアクセスできるか確認
sudo -u mgmt_agent head -5 /var/log/messages

• mgmt_agentユーザーにDatabaseのファイルへのアクセス権限を個別に付与する方法 (※同様にchmodでも可)　

例) アラートログにsetfaclでmgmt_agentにread権限の付与 
sudo setfacl -R -m u:mgmt_agent:rx /u01/app/oracle/diag/rdbms/db001_fz7_iad

#File Readできるか確認しておく
sudo -u mgmt_agent head -5  /u01/app/oracle/diag/rdbms/db001_fz7_iad/DB0011/trace/alert_DB0011.log

Logging AnalyticsにOracle Databaseのアラートログを取りこむ

• まず、Oracle Databaseのエンティティを作成する。ログ・アナリティクス -> 管理 -> エンティティの作成をクリック

• エンティティの作成項目。赤字の部分は必須入力項目

  • エンティティ・タイプはOracle Databaes Instanceを指定する
  • Host/Port/ServiceNameは、Unified Auditのアクセスの際に必要になるので間違えないように
    

• ログ・グループを作成する。管理 -> ログ・グループ -> 作成

• ソースにエンティティを追加する。管理 -> ソース -> Database Alert Logsのソースを見つけてクリックする
  

• 編集をクリック
  

• アラートログへのパスを追加する
  

• 関連付られていないエンティティからアソシエーションの追加
  

• 正しく設定できていれば、アラートログがログ・エクスプローラに表示されている
  

アラートログ以外のトレースログやXML、ファイル形式の監査ログの取り込み手順は、同様にログ・ソースからOracle Database関連のものを検索し、エンティティを紐づけていくという流れになります

Logging AnalyticsにOracle Databaseの監査ログ(Unified Audit)を取りこむ

• Unified Auditは、データベース内にある監査表のため、まずクレデンシャルを準備する必要がある

#opcユーザでagent_dbcreds.jsonというファイル名で以下の情報を含むJSONファイルを作成
エンティティ名は前述で作成した名前、DBユーザーはUnified Auditビューにアクセスできるユーザーを指定
SYSTEMユーザなどでもOK

{
    "source": "lacollector.la_database_sql",
    "name": "LCAgentDBCreds.エンティティ名",
      "type": "DBCreds",
    "usage": "LOGANALYTICS",
    "disabled": "false",
    "properties": [
        {
            "name": "DBUserName",
            "value": "CLEAR[DBユーザ]"
        },
        {
            "name": "DBPassword",
            "value": "CLEAR[パスワード]"
        },
        {
            "name": "DBRole",
            "value": "CLEAR[normal]"
        }
    ]
}

#管理エージェントをインストールしたサーバーで作成したJSONファイルを使って実行
cat agent_dbcreds.json | sudo -u mgmt_agent /opt/oracle/mgmt_agent/agent_inst/bin/credential_mgmt.sh -o upsertCredentials -s logan

    Effect Credential         Source
---------- ------------------ -------------------------------------------------
     ADDED LCAgentDBCreds.OracleDB1 lacollector.la_database_sql
             Type: DBCreds [DBUserName, DBPassword, DBRole]
1 credential(s) added to the logan service.

• ソースからUnified DB Audit Log Scorce Stored in Database 12.2を選択
  

• アラートログの場合と同様に、関連づけられていないエンティティからアソシエーションの追加
  

• 正しく設定できていれば、Unified Auditのログ・エクスプローラに表示されている
  

Unified Audit以外の表からデータを取り込む場合は、自身でソースを作成することで可能です。詳しくはこちらを参照下さい。

管理 -> ソースには、エンティティ・タイプがLinuxやWindowsのログを対象にした様々なソースがされています。OSのログも合わせて取り込み、下記のようなDatabaseの監査ダッシュボードを作成するという使い方もできるかと思います。

補足

BaseDBのRAC構成やExaDB-Dの場合、管理エージェントをすべてのノードにインストールするべきかという疑問があるかと思います。各ノードのディレクトリに出力されるログに関しては、それぞれに管理エージェントをインストールしてログを収集する必要があります。
Unified Auditや共有ファイルシステムにある共通ファイルの場合は、いずれかの管理エージェントのみを起動し取得させるというのも可能です。

また、管理エージェントがLogging Analyticsにログをアップロードするインターバルやレコード数は基本的にチューニングすることはできません。ファイル形式のログは大量・高速に処理されるのですが、Unified AuditのようなDB表は、環境によりますが約1000レコード/分程度の処理スピードになることがあります。
ターゲットのログが遅延なくLogging Analyticsにアップロードされているかを確認し、Unified Auditログ > 転送量を大幅に超える場合は、Unified Auditの絞り込みやData Safeのサービスの検討が必要かもしれません。