Go to Qiita Advent Calendar 2024 Top
LoginSignup
3
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

@western24in日本オラクル株式会社

OMC Log Analyticsで未対応のログをカスタム・パーサで取り込む

Last updated at Posted at 2020-01-14

OMC Log Analyticsがまだサポートしていないログフォーマットや独自のアプリケーションのログなどの場合は、自身でログ・パーサーを手動作成することでOMCに取り込んで分析することができます。
ここでは実際にサンプルのProxyログを使って、その手順を紹介してきます。

ここからサンプルのProxyログをダウンロードします
https://github.com/western24/omcdemo/blob/master/sample_proxy_log.txt

ログ・パーサーの作成

ログ・パーサーは、ログファイルを読み込んでフィールドに紐づける定義です。OMCのコンソールで設定した定義情報に基づいて正規表現が自動的に作成されていきます

  • ログ・パーサーをクリックします
    image.png

  • 作成クリックし、Regex Type(正規表現タイプ)を選択
    image.png

  • 任意のパーサー名を入力、ファイルからの追加でダウンロードしたsample_proxy_log.txtを選択する
    image.png

  • 先頭のレコードをクリックして一番下の次をクリック
    image.png

  • レコードから時刻に関する情報をTimeフィールドとして指定する
    image.png

  • 正しく指定できていればパーサー・テストに時間が表示される
    image.png

  • 同様に、レコードからサーバー名に関する情報をHost Nameフィールドとして指定する
    image.png

  • レコードからユーザー名に関する情報をUser Nameフィールドとして指定する
    image.png

  • レコードから接続元IPアドレスに関する情報をSource IPフィールドとして指定する
    image.png

  • レコードから接続先IPアドレスに関する情報をDestination IPフィールドとして指定する
    image.png

  • レコードから接続先URLに関する情報をDestination URLフィールドとして指定する
    image.png

  • レコードからステータス・コードに関する情報をStatus Codeフィールドとして指定する
    image.png

  • レコードからリクエスト関する情報をRequestフィールドとして指定する
    image.png

  • 一番下の次をクリック
    image.png

  • パーサーの作成をクリック
    image.png

ルックアップの作成

ルックアップは、マスタ表のように、コードに対する付加情報を紐づける定義です。以下のようなコードに対応するメッセージやタイプの情報を予め用意しておきます

image.png

  • ルックアップをクリック
    image.png

  • 新規をクリック
    image.png

  • ルックアップ名は、StatusCodeを入力し、インポートをクリック。status_code.csvを選択して保存する
    status_code.csvは、ここからダウンロード
    https://github.com/western24/omcdemo/blob/master/status_code.csv
    image.png
    ※保存に失敗する場合があります。その場合は気にせず、何度かトライして下さい

フィールドの作成

Oracle Management Cloudで用意されていないフィールド名を使いたい場合は、ここで作成します

  • 作成をクリック
    image.png

  • Status DescriptionとStatus Typeを２つ新しく作成する
    image.png

ログ・ソースの作成

ログ・ソースは、最終的なログの定義情報です。今まで作成したパーサーやルックアップなどの情報を紐づけて、ログを取り込むために必要な情報をまとめます

  • ログ・ソースをクリック
    image.png

  • 作成をクリック
    image.png

  • 任意のソース名を入力

    • エンティティ・タイプは、Host(Linux)
    • ファイル・パーサーは、作成したカスタム・パーサーを選択
      image.png

  • 下記、フィールド・エンリッチメントを選択し、追加をクリック
    image.png

  • 関数はGeolocationを選択。IPフィールドはDestination IPを選択し、追加をクリック

    • この設定をすると、OMCがIPアドレスを逆引きして、国や州などのフィールドを自動的に追加します
      image.png

  • Geolocation関数が追加される。もう一度、追加をクリック
    image.png

  • 関数はLookupを選択。ルックアップ名は、StatusCode、入力フィールドはStatus Codeを選択。Addをクリックし以下を追加。

    • status_description --> Status Description
    • status_type Status --> Status Type
      image.png

  • 右上の保存をクリック
    image.png

ログファイルのアップロード

  • アップロードをクリック
    image.png

  • 新規アップロードのクリック
    image.png

  • 任意のアプロード名、ファイル選択でsample_proxy_log.txtを指定して右上の>をクリック
    image.png

  • ログソースの関連付けをクリックし、作成したログ・ソースを指定して右上の>をクリック
    image.png

  • アップロードを実行
    image.png

  • ログ・エクスプローラで表示をクリック
    image.png

  • Status Coded "407" に対応する、Status DescriptionとStatus TypeのフィールドがLookupフィールドから追加されている
    image.png

  • Destination IPに対応するHost CountryやHost Country codeなどが追加されている
    image.png

  • マップビューによるログ分析例
    image.png

OMCが対応していないログを取り込む場合は上記の手順でログ・パーサーを作成し、ログソースの定義をするという流れになります。OMCのコンソールを使用すれば、テキスト形式のログはGUIで正規表現のフォーマットを自動作成することができます。
また、テキストのログだけでなくXML, JSONも同様にGUIベースでのパーサーを作成することが可能です。

Lookupの仕組みを使えば、ありがちなレポート画面にログデータのコードや略称で表示され第三者が良く分からないというケースを付加的な情報を表示することより分かりやすいレポートやダッシュボードを作成することにも役立ちします。

Oracle Management Cloud関連の情報はこちら

3
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
3
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?