Python
DataVisualization
Jupyter

Jupyter Notebookを用いて、同フォーマットの異なるデータにおけるhtml分析レポートを自動出力する

アウトラインメモです。時間があるときに詳細を書くつもり。

概要

  • 同フォーマットで複数ある異なる種類のデータに対して、Jupiter Notebookで分析レポートを自動で作成できるようにする。
  • 例えば、為替レート(USD/JPY,GBP/JPY...)のような時系列データにおいて、チャートや基礎統計量等、各種指標を見れるようなレポートをそれぞれのレートで自動的に作成したい場合。

背景

  • データを傾向を可視化するのにjupyter notebookを使っていた
  • フォーマットは同じだが異なる種類のデータを可視化したい
  • 可視化のテンプレートを作って、異なるデータに対して出力結果のhtmlを出力したい
  • データ毎にJupyter notebookを実行してhtml出力するのは面倒臭いから自動化したい
  • Jupyter notebookには標準入力のようなものがないので、コマンドライン等から引数を取って表示内容を変更できない

やったこと

  • notebookのテンプレートを作成
  • notebookテンプレートの入力データは必ず指定フォルダの指定ファイルを参照するようにする
  • シェルスクリプトで以下を繰り返す
    1. 指定フォルダのファイルを削除
    2. インプットフォルダからデータを指定フォルダにコピー
    3. nbconvertでnotebookを実行
    4. nbconvertでnotebookをhtml化