性能検証をやると何度もやり直したりするわけで、、、都度、ログから分析評価作業をExcelで作って配布することになるのですが。。。
これが毎回となるとチョーめんどくさいことになってくるわけです。
ということでちょっとスキマ時間ができたので手元にあるツールを使って、半自動で指標算出＋グラフ作成＋公開するような仕組みを作りました。
特に目新しい物はなく使ったのは以下の通り
- egrep
- scp
- Python+Jupyter
- Redmine
自動実行はおなじみの方にお願いしました。
- Jenkins
追伸：
実際に使いはじめると様々考慮が必要なことがわかりました。
- egrep結果が０件考慮・・・RCは0で返らず途中で止まる
- 0件レコードをdfへ読み込む場合、parseを指定している場合の考慮・・・エラーになります。
- 空ファイルはチケット添付ができない・・・エラーとなります。
といった対策も必要ですのでお気をつけください。
申し訳ないのですが会社でコードを書いたのでここでは開示できません。
ご了承ください。
データ抽出
apacheログとWACsログから業務トランザクション総量、Service毎のトランザクション明細を抽出します。この段階でカウント対象外の明細も落とします（egrep）。
サーバは各所にあるのでそれぞれ作業をするのがちょー面倒くさい。
SCPを使ってひとつのサーバに集めます。
集まってきたデータに対してJupyterであれこれ楽しみます。
指標算出とグラフ作成までやってしまいます。
指標とグラフをどう見せようか、、となるのですが
開発現場ですのでRedmineとPythonを連携させます（RESTで・・・便利！）
ここまでの作業をJenkinsに登録、自動実行します。
何度でも、文句をたれずやってくれます。さすが。
結果を公表する
利用者は発行されたチケットをブラウザでみるだけ！
なんだ〜この便利さは。。。。
本日より使いはじめましたが実によいです。
あっという間に分析結果を還元できますのでプロジェクト参加者からも好評でした。
テスト作業に集中できると。
ただegpre結果０件考慮などいろいろありまして、、、、コードはまだちまちまと改修してます。
現場では思わぬことも起きるものです。。。と。