概要
※こちらの記事は以前noteで投稿していた記事の移植版です。
BizRobo!でロボットをMCで運用している方はエラーの発生等があったり稼働状況を確認する際、ログを見に行くと思います。
こんな感じですね。
※v11.1の画面です。
この画面からエラーメッセージとか発生日時とか確認していくわけですが、
エラーログをスプレッドシートやシステムにその都度どんな対応をしたか等を書き溜めている方もいらっしゃるのではないでしょうか。
いつ何のロボットでエラーが発生したかログを残しておくことで、このロボットはこの時間帯でよくエラーになるなぁとか傾向分析できますからね。
私もやっていて、この時間だけエラーになるから稼働時間帯をずらそうとかの意思決定に利用したことがあります。
その際、エラーが出るたびにいちいち手作業でエラー履歴を起票してメッセージ内容をコピペするのは大変だなぁと思っていたので、
せっかくデータベースにログ記録しているのだから、SQL打ってデータを取り出してシステム転記するのをロボットにやらせてしまおう！
となったわけです。
さてここで問題になるのは、ログデータベースのテーブル名とカラム名って何が使われていてどのデータと紐づいているの？
エラーになったロボットとならなかったロボットのログの違いって？
スケジュールとの紐づけは？ってところです。
これが分からないとどんな条件でどのデータを取り出せばいいのかわからないので、どうしようもないわけです。
ということで、今回は必要になるテーブル名から、データの内容、実際のSQLの例、そしてロボットでの実装例までやっていきたいと思います。
今回は、スケジュール実行ログをもとに、
エラーが発生したロボットが存在するスケジュールから、
エラーが起きたロボットの情報とエラーメッセージを抽出し、メール送信するのがゴールです。
ロボットの手順としては以下のような形です。
1 パラメータシートExcelを開く。
2 各パラメータを変数に読み込む。
3 エラー発生したスケジュールログを抽出する。
4 スケジュールログをもとにロボットメッセージを抽出する。
5 抽出したエラーログが重複していないか判定する。
6 メール送信。
7 実行IDをファイル名とした空ファイルを出力する。
テーブル名
まずは対象になるテーブルですね。
これが分からないとどこから取り出す？ということが分かりません。
今回は取り出したいものとしては、大きく分けて2つのログになります。
まず1つ目は、スケジュール実行ログ
2つ目は、ロボットメッセージログになります。
テーブル名としてはそれぞれ以下になります。
スケジュール実行ログ：SCHEDULE_RUN
ロボットメッセージログ：ROBOT_MESSAGE
この2つからそれぞれ必要なデータを抽出します。
カラム名
Excelでいうところのヘッダーにあたる箇所ですが、これが結構な数あります。
ただ、必要なものはそれほど多くなく、今回はエラーが発生した際の以下の情報が分かれば十分だと思います。
▼スケジュール
スケジュール実行ID、プロジェクト名、スケジュール名
▼ロボットメッセージ
実行ID、ロボット名、ステップ名、ロケーションコード、ロボットメッセージ、エラー発生時刻
エラーの対応時に見るのはおそらくここら辺の情報だと思いますが、
もし必要であれば適宜調整します。
ではそれぞれどのカラム名に相当するかというと…
右側がDBのカラム名です。
▼スケジュール
スケジュール実行ID：ID
プロジェクト名：PROJECTNAME
スケジュール名：SCHEDULENAME
▼ロボットメッセージ
実行ID：EXECUTIONID
ロボット名：ROBOTNAME
ステップ名：STEPNAME
ロケーションコード：LOCATIONCODE
ロボットメッセージ：MESSAGE
エラー発生時刻：TIME
なかなか素直で分かりやすいカラム名でありがたいですね。
各テーブルからこれらのカラムを抽出してきます。
次はそのためのSQLを見ていきます。
SQL
今回は、ロボットエラーが発生しているスケジュール情報を抜き出し、
それに紐づき、かつエラーが発生しているロボットを抜き出します。
そのため、まずはスケジュール情報を抽出してきます。
たとえば、以下のように
「SCHEDULE_RUN」テーブルからロボットエラーが発生していることを示す「RESULT = 1」の条件で、
かつ終了時間「ENDTIME」が今(NOW)から1(DAY)日前までのデータを抽出、とします。
SELECT
*
FROM
SCHEDULE_RUN
WHERE
RESULT = 1
AND ENDTIME > DATE_SUB(NOW(), INTERVAL 1 DAY)
ORDER BY ENDTIME ASC
こうすることで、1日前から現在までにロボットエラーが発生したスケジュール情報を抜き出せます。
DAYの部分はhourでもminuteでも要件に合わせて好きに設定してください。
ORDER BYは表示順を指定するのですが、今回はスケジュール終了時間の昇順にしています。
早くスケジュールが完了したものから出す、ということです。
では、次にロボットメッセージを取り出します。
EXECUTIONID の前半部分をSCHEDULEIDで指定し「SEVERITY」が0ではない履歴を抽出します。
SELECT
FROM
ROBOT_MESSAGE
WHERE
EXECUTIONID like '[SCHEDULEID]-%'
AND SEVERITY <> 0[SCHEDULEID]の部分は、スケジュールログの方から変数で置き換えるようにします。
なぜEXECUTIONIDをスケジュールの実行IDから指定しているかというと、
スケジュールで実行したロボットの実行IDの「-」より前の数字はスケジュールのIDに紐づくからなのです。
たとえば、スケジュールのIDが「3」だった場合、ロボットの方は「3-8-22c19b6da4」といった値になります。
そのため、最初の数字をスケジュールのIDで指定し、それ以下の値を「like」で指定してあいまい検索をしているわけです。
後半は分からないけど、とにかくその値に紐づく情報ちょうだいって言っているわけです。
これで、エラーが発生したロボットメッセージを取り出せます。
ちなみに、ロボットエラーを全部取り出すとエラーが100件とか出ているときに大変なので、
ロボット実装する際は値判定とかで停止させましょう。
本当に大変な目に遭います。
ロボット実装
ようやくロボットでの実装例です。
フローとしてはこんな感じ
1 パラメータシートExcelを開く。
2 各パラメータを変数に読み込む。
3 エラー発生したスケジュールログを抽出する。
4 スケジュールログをもとにロボットメッセージを抽出する。
5 抽出したエラーログが重複していないか判定する。
6 メール送信。
7 実行IDをファイル名とした空ファイルを出力する。
先ほどの大変なことになるのを防ぐため、値判定でループ回数制限かけています。
なので最初の一件しか取らない前提です。
経験上たいていの場合最初の一件が問題なのでそれ以降は適宜自分で取り出しましょう。
SQLの取得期間やスケジュールIDの置き換えは、エクスプレッションのreplaceText関数を利用できます。
replaceText(infoログ抽出.スケジュール取得SQL,>>取得期間<<,infoログ抽出.取得期間)
replaceText(infoログ抽出.ロボットメッセージ取得SQL,>>SCHEDULEID<<,スケジュールログ.ID)あとはこんな感じでファイル有無判定とファイル出力を駆使してファイルを出力したりファイル有無確認して重複処理しないようにします。
あとはひな形として作成しておいた件名とメール本文の一部をデータベースから抽出した変数で置き換えると、こんなメールを送ることもできます。
今回はメール送信にしましたが、私は実際の業務ではエラー対応履歴を記載するためのKintoneアプリを作成し、そちらにロボットで転記後、Slack通知、ということをしていました。
データベースからのログ抽出をマスターすると、各ロボットの実行時間を抽出し、各時間帯やロボット毎のKCU Waitの割合を算出したり、ロボットがどれぐらい働いてくれているか等の分析にも利用できると思います。
サンプルロボット
今回のロボットをサンプル化してRobot-Hubにアップロードしました。
無料でダウンロードできますのでアレンジして使ってみてください。
【サンプル】MCロボットエラーログデータベース抽出