OMC Log Analyticsがまだサポートしていないログフォーマットや独自のアプリケーションのログなどの場合は、自身でログ・パーサーを手動作成することでOMCに取り込んで分析することができます。
ここでは実際にサンプルのProxyログを使って、その手順を紹介してきます。

ここからサンプルのProxyログをダウンロードします
https://github.com/western24/omcdemo/blob/master/sample_proxy_log.txt

ログ・パーサーの作成

ログ・パーサーは、ログファイルを読み込んでフィールドに紐づける定義です。OMCのコンソールで設定した定義情報に基づいて正規表現が自動的に作成されていきます

ログ・パーサーをクリックします
作成クリックし、Regex Type(正規表現タイプ)を選択
任意のパーサー名を入力、ファイルからの追加でダウンロードしたsample_proxy_log.txtを選択する
先頭のレコードをクリックして一番下の次をクリック
レコードから時刻に関する情報をTimeフィールドとして指定する
正しく指定できていればパーサー・テストに時間が表示される
同様に、レコードからサーバー名に関する情報をHost Nameフィールドとして指定する
レコードからユーザー名に関する情報をUser Nameフィールドとして指定する
レコードから接続元IPアドレスに関する情報をSource IPフィールドとして指定する
レコードから接続先IPアドレスに関する情報をDestination IPフィールドとして指定する
レコードから接続先URLに関する情報をDestination URLフィールドとして指定する
レコードからステータス・コードに関する情報をStatus Codeフィールドとして指定する
レコードからリクエスト関する情報をRequestフィールドとして指定する
一番下の次をクリック
パーサーの作成をクリック

ルックアップの作成

ルックアップは、マスタ表のように、コードに対する付加情報を紐づける定義です。以下のようなコードに対応するメッセージやタイプの情報を予め用意しておきます

ルックアップをクリック
新規をクリック
ルックアップ名は、StatusCodeを入力し、インポートをクリック。status_code.csvを選択して保存する
status_code.csvは、ここからダウンロード
https://github.com/western24/omcdemo/blob/master/status_code.csv

※保存に失敗する場合があります。その場合は気にせず、何度かトライして下さい

フィールドの作成

Oracle Management Cloudで用意されていないフィールド名を使いたい場合は、ここで作成します

ログ・ソースの作成

ログ・ソースは、最終的なログの定義情報です。今まで作成したパーサーやルックアップなどの情報を紐づけて、ログを取り込むために必要な情報をまとめます

ログ・ソースをクリック
作成をクリック
任意のソース名を入力
- エンティティ・タイプは、Host(Linux)
- ファイル・パーサーは、作成したカスタム・パーサーを選択
下記、フィールド・エンリッチメントを選択し、追加をクリック
関数はGeolocationを選択。IPフィールドはDestination IPを選択し、追加をクリック
- この設定をすると、OMCがIPアドレスを逆引きして、国や州などのフィールドを自動的に追加します
Geolocation関数が追加される。もう一度、追加をクリック
関数はLookupを選択。ルックアップ名は、StatusCode、入力フィールドはStatus Codeを選択。Addをクリックし以下を追加。
- status_description --> Status Description
- status_type Status --> Status Type
右上の保存をクリック

ログファイルのアップロード

アップロードをクリック
新規アップロードのクリック
任意のアプロード名、ファイル選択でsample_proxy_log.txtを指定して右上の>をクリック
ログソースの関連付けをクリックし、作成したログ・ソースを指定して右上の>をクリック
アップロードを実行
ログ・エクスプローラで表示をクリック
Status Coded "407" に対応する、Status DescriptionとStatus TypeのフィールドがLookupフィールドから追加されている
Destination IPに対応するHost CountryやHost Country codeなどが追加されている
マップビューによるログ分析例

OMCが対応していないログを取り込む場合は上記の手順でログ・パーサーを作成し、ログソースの定義をするという流れになります。OMCのコンソールを使用すれば、テキスト形式のログはGUIで正規表現のフォーマットを自動作成することができます。
また、テキストのログだけでなくXML, JSONも同様にGUIベースでのパーサーを作成することが可能です。

Lookupの仕組みを使えば、ありがちなレポート画面にログデータのコードや略称で表示され第三者が良く分からないというケースを付加的な情報を表示することより分かりやすいレポートやダッシュボードを作成することにも役立ちします。

Oracle Management Cloud関連の情報はこちら