学習モデルのレポートを自動的に作ってくれる？

今回も、これまでにいくつか記事を書いているDriverless AIについて書きます。
(Driverless AIは略してDAIと表記します。)
この記事では、AutoReportというものを自動で作ってくれています。

AutoReportって？

DAIがAutoReportという学習結果をまとめたレポートを作っていることをご存知でしょうか。
青枠でくくられた部分の AUTOREPORTダウンロード というボタンをクリックするとダウンロードができます。

※作成されていない場合は、同じところにAUTOREPORT作成ボタンが表示されるので、まずはそちらをクリックしてください。

実際にダウンロードしてみると、こんな感じのWord形式ファイルが取得できます。

使用したデータのサマリー情報であったり、使ったアルゴリズムや最終的なモデル精度まで全てまとまっています。
ただし、英語なので学習結果について詳しく書かれていてもわかりづらい。
ということで、このAutoReportを日本語化する方法について書きます。

日本語化テンプレート

このレポートは、テンプレートが用意されていてそれを読み込む形で作られています。
なので、そのテンプレートを書き換えてしまえば日本語化もできるわけです。

日本語用のテンプレートをGitHubにアップロードしたので、ご自由にお使いください。
https://github.com/tom-m-m/dai-autoreport

テンプレートの使い方

コンテナ環境での使い方

コンテナでDAIを起動する場合は、オプションでテンプレートファイルを指定します。
コンテナ用のファイルは下のURLからDockerのところからダウンロードしてください。
https://s3.amazonaws.com/artifacts.h2o.ai/releases/ai/h2o/dai/rel-1.8.0-6/index.html

自分の場合は、POEWRアーキテクチャを使っているので下の枠の内のURLをクリックします。
そうすると、dai-docker-centos7-ppc64le-1.8.0-10.0.tar.gz がダウンロードされます。
アーキテクチャやバージョンの違いでファイル名が異なります。

そして、

docker load < dai-docker-centos7-ppc64le-1.8.0-10.0.tar.gz

を実行すると、DAIのコンテナイメージがDocker環境上に追加されます。

コンテナを起動する前に、テンプレートファイルをダウロードしておきます。
こちらから/data/report_template_jp_v180.docxをダウンロードしてください。
今回は、このファイルをDAIコンテナを起動する環境の/data内に配置しておきます。

DAIコンテナの起動

テンプレートの日本語化は、コンテナを起動する際のオプションで指定します。
日本語化テンプレート & GUIの日本語化をするときの起動コマンドはこんな感じです。

docker run \
    --name dai\
    --pid=host \
    --init \
    --shm-size=256m \
    -u `id -u`:`id -g` \
    -d \
    -p 12345:12345 \
    -p 8888:8888 \
    -v `pwd`/data:/data \
    -v `pwd`/log:/log \
    -v `pwd`/license:/license \
    -v `pwd`/tmp:/tmp \
    -e DAI_APP_LANGUAGE="ja" \
    -e DAI_AUTODOC_TEMPLATE="/data/report_template_jp_v180.docx" \
    h2oai/dai-centos7-ppc64le:1.8.0-cuda10.0

詳しいコンテナの起動方法はドキュメントを確認してください。(コンテナ起動の記事も書く予定です)

日本語化の記事を書いたときにコンテナ起動オプションについて少し触れましたが、-e DAI_APP_LANGUAGE="ja"をつけると日本語化されます。

AutoReportを日本語化する場合は、-e DAI_AUTODOC_TEMPLATE="/data/report_template_jp_v180.docx"をつけると使用するテンプレートを指定できます。

実際に作られるレポートはこんな感じです。

中身を少し見ていきます。
Experimentの概要の項目を見ると、でき上がったモデルに使われたアルゴリズムや学習に使われた特徴量、DAI内で作られた特徴量がいくつあるのか記載されています。

最終モデルの性能という項目には、一般的に使われている精度を表す指標の結果が一覧で書かれていますね。
他にも、このExperimentは2値分類だったので混同行列の記載もあります。

これ以外にも、「どんな特徴量を内部で生成したか」や「どの特徴量がもっとも寄与しているか」などの情報もこのレポートには書かれています。

通常のインストールの場合

/etc/dai/config.tomlに設定が記述されているので、ここを編集します。
このファイルの中に、autodoc_templateという項目があります。
このパラメータに、テンプレートのファイルパスを指定します。
変更した後、DAIをsystemctl restart daiなどで再起動すれば完了です。

これまでに書いたDAI関連の記事

まずは起動から！Driverless AI -MLの自動化ツール- Part 1
学習の実行！Driverless AI -MLの自動化ツール- Part 2
モデルの評価！ Driverless AI -MLの自動化ツール- Part 3
モデルの外部実行 Driverless AI -MLの自動化ツール- Part 4
Driverless AI ついに日本語化！
機械学習の自動化ツールをPythonから動かしてみる