More than 1 year has passed since last update.

DataikuのFlow Docoumentation機能

Posted at 2022-09-27

7月にver.11にアップデートしたDataikuのドキュメンテーション機能が充実していたので触ってみました。
フロー画面のドキュメンテーションと、モデルのドキュメンテーションの二つがあります。
ここでは、フロー画面のドキュメンテーションを備忘録替わりに触っていきます。

Credit Card Fraud (Tutorial)プロジェクトを使って試しています。

Flow Document Generator

フロー画面のドキュメントが生成できます。今までは、フロー画面の画像イメージをエクスポートできる程度でしたが、なんとドキュメントとして生成してくれます。

画面右下の[Export documentation]を押下

[EXPORT]押下で生成。

しばらく待つと[DOWNLOAD]ボタンが出現するので押下。プロジェクトのボリュームにもよりますが、DOWNLOADボタンが出るまで少し待ちます。

40ページのwordファイルがダウンロードできました。なかなかのページ数です。

記載内容は以下

その冒頭一部は以下のような雰囲気です。全部英語です。テンプレートのカスタマイズもできるので、ベタ書きの文章は日本語にできそうな気がします。

もう少し詳しく見てみます。

プロジェクトのDescriptionなどに書かれる内容が記載されます。プロジェクトのホーム画面の左下に記載されているやつです。
生成されたドキュメント（左）と実際のDescription(右）を比較したのが以下となります。生成されたドキュメントは中のコードをそのまま出力しています。

フロー画面の画像、そのままですね。今回のケースは縦長なので手動でトリミングした方がよさそうです。

サマリととして
- short descriptionの内容
- Tag情報
a) データセットのステータス
Typeやファイルサイズ、作成者などの情報が得られます。ここでは、Not computedになっていますが、データセットのStatusタブで計算していれば出力されます。（確認済み）
b) Related Recipes
対象のデータセットに関連するレシピ情報
c) Schema
データセットのスキーマ情報が出力されます。

ちなみにc)は、上記の画像では切れていますが、実際には以下のように出力されます。

Prepareレシピの場合は以下のようにステップが表示されます。
左図がドキュメントで出力された内容で、右側が実際のレシピのステップ画面です。Commentに書いた内容がドキュメントにも反映されていることがわかります。

ちゃんとpythonコードも記載されています。

このあたりは、そこまで詳しい情報は記載されていません。どのデータセットやレシピと紐づいているか、といった情報が簡単に記載されている程度

モデルに対しての基本情報が載っています。Active versionはどれかや、idはどれか、など。モデルの方でもドキュメントは出せるようなので、そちらで見るのがよいかも。

やはりやりたくなるのは、自動的に定期的にこのドキュメントを作っておいて、バックアップがわりにとっておくことです。
ライセンスは必要ですが、シナリオ機能を使うことで実現できます。

まず、フォルダを作成します。

シナリオ作成します。

Export flow documentationをステップに追加します。Destination folderに先ほど作成したフォルダを指定します。

さきほど作成したフォルダの中を見に行くと、ドキュメントができています。ファイル名に日付時間がふくまれているので、複数作ってもそのまま蓄積されてわかりやすそうです。

あとはシナリオの設定で定期実行させておけば、自動バックアップになる、と。

DataikuのFlow Documentジェネレータでの出力内容をまとめました。
Dataiku内のDescriptionやコメントをきっちり書いておけば、自動的にドキュメント化されるのはすごくよいです。しかもpyhonレシピのコードも記載されます。
シナリオで定期的なドキュメント化もできるので、簡易的なバックアップ替わりによさそうです。
Defaultではなく日本語テンプレとか、自分とこ用テンプレを作っておけると、なかなか活躍しそうです。