AutoAIでお手軽機械学習(その5) API編

はじめに

「AutoAIでお手軽機械学習」シリーズの第5弾です。
AutoAIは、元々UIで機械学習モデルを作るツールなのですが、最近APIも用意されて、Pythonからモデル生成機能を呼び出すことが可能になりました。
当記事は、その事例の紹介となります。
前4つの記事は以下のとおりです。

• AutoAIでお手軽機械学習(その1) 準備編
• AutoAIでお手軽機械学習(その2) モデル構築編
• AutoAIでお手軽機械学習(その3) Webサービス編
• AutoAIでお手軽機械学習(その4) Jupyter Notebook編

元ネタ

Githubに公開されているAutoAI and COVID-19 with TEST DATAが元ネタです。
このコードのコメントを日本語化したものを、次のリンクに公開しました。

また、このNotebookは(英語ですが)以下のブログでも解説されているので、こちらも参照して下さい。

モデルのユースケース

モデルのユースケースは、「コロナの感染者数予測」です。データはジョンズ・ホプキンス大学でリアルに公開されているデータを利用します。
オリジナルのコードではポーランドの予測をしていましたが、折角なので絞り込み対象を「日本」に変更しています。
モデルの種類としては、感染者数の予測なので、「回帰」モデルとなります。

以下、オリジナルのnotebookに沿った章立てで説明をしていきます。

1. セットアップ

WMLの資格情報

wml_credentials = {
                   "url": "xxx",
                   "apikey":"xxx",
                   "instance_id": "xxx"
                  }

まず、WMLの資格情報をNotebookに設定します。資格情報の入手手順は下記リンク先を参考にして下さい。

ライブラリの導入

次に必要ライブラリを導入します。Notebook内の関連するコードは以下のとおりです。

!pip uninstall -y watson-machine-learning-client-V4 | tail -n 1

!pip install -U watson-machine-learning-client-V4 | tail -n 1
!pip install -U autoai-libs | tail -n 1

!pip show watson-machine-learning-client-V4e

データ入手

ジョンズ・ホプキンス大学システム科学工学センターで公開されているデータを入手します。

import pandas as pd
import numpy as np

confirmed_df = pd.read_csv('https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_confirmed_global.csv')
confirmed_df.head()

こんな感じの出力が得られます。

日本の感染者数を時系列形式で抽出

次のコードで日本の感染者数を時系列形式で入手します。

country = 'Japan'

confirmed = confirmed_df.loc[:, confirmed_df.keys()[4]:confirmed_df.keys()[-1]]
days_since_1_22 = np.array([i for i in range(len(confirmed.keys()))]).reshape(-1, 1)
country_cases = [confirmed_df[confirmed_df['Country/Region']==country][i].sum() for i in confirmed.keys()]
training_df = pd.DataFrame(days_since_1_22, columns=['Day'])
training_df['Elapsed_days'] = training_df.Day
training_df['Cases'] = country_cases
training_df = training_df.fillna(0)
test_df = training_df.tail(5)
training_df = training_df.iloc[:-5]
training_df

最終結果はこんな表データになります。

Cloud Object Storageに新しいデータセットをcsvとしてアップロードする

APIでモデルを作るため、こうやって作った学習データをCSVファイルにする必要があります。さらに、このCSVファイルをIBM Cloudの別サービスであるCloud Object Storageにアップロードします。
具体的なコードは以下のとおりです。
project_idとproject_access_tokenの入手方法についてはNotebook内に説明がありますので、そちらを参照して下さい。

project_id = 'xxx`
project_access_token = 'xxx`

from project_lib import Project

project = Project(project_id=project_id, project_access_token=project_access_token)
pc = project.project_context

csv_details = project.save_data(data=training_df.to_csv(index=False),file_name='covid19_training.csv',overwrite=True)

storage_meta = project.get_storage_metadata()

2. オプティマイザー定義

これで事前準備は完了です。いよいよ、モデル生成のための「オプティマイザー」の定義に入ります。

トレーニングデータ定義

前のステップでObject StorageにアップロードしたCSVファイルのリファレンスを定義します。
具体的なコードは以下のとおりです。

filename = csv_details['file_name']
bucket_name = csv_details['bucket_name']

from watson_machine_learning_client.helpers import DataConnection, S3Connection, S3Location

csv_data_conn = DataConnection(
    connection=S3Connection(endpoint_url=storage_meta['properties']['endpoint_url'],
                            access_key_id=storage_meta['properties']['credentials']['editor']['access_key_id'],
                            secret_access_key=storage_meta['properties']['credentials']['editor']['secret_access_key']),
    location=S3Location(bucket=bucket_name,
                        path=filename))

training_data_reference=[csv_data_conn]

オプティマイザの設定

UIの場合、画面で設定する情報を、パラメータの形で指定していきます。
具体的なコードは以下の形になります。

from watson_machine_learning_client.experiment import AutoAI

experiment = AutoAI(wml_credentials)

pipeline_optimizer = experiment.optimizer(
    name='COVID-19 Japan - AutoAI',
    prediction_type=AutoAI.PredictionType.REGRESSION,
    daub_include_only_estimators=['RidgeEstimator', 'LinearRegressionEstimator'],
    prediction_column='Cases',
    scoring=AutoAI.Metrics.R2_SCORE,
)

get_params()でオプティマイザのすべてのパラメータを確認できます。

pipeline_optimizer.get_params()

結果は、以下の形になります。

{'name': 'COVID-19 Japan - AutoAI',
 'desc': '',
 'prediction_type': 'regression',
 'prediction_column': 'Cases',
 'scoring': 'r2',
 'test_size': 0.1,
 'max_num_daub_ensembles': 1,
 't_shirt_size': 'l',
 'train_sample_rows_test_size': None,
 'daub_include_only_estimators': ['RidgeEstimator',
  'LinearRegressionEstimator'],
 'data_join_graph': False,
 'csv_separator': ',',
 'excel_sheet': 0,
 'positive_label': None,
 'run_id': None}

ちなみにまだ工事中のようですが、APIリファレンスは下記です。サンプル以外のパラメータを指定したい場合は、こちらを参照して下さい。

3. モデル構築

これで学習のためのすべての準備は完了です。あとは、optimizerに対してfit関数を呼び出すと、モデル構築がはじまります。
この時の引数として1で準備したCSVファイルのリファレンスを利用します。
また、background_modeというパラメータもあり、学習を同期・非同期どちらで行うかが指定できます。

run_details = pipeline_optimizer.fit(
            training_data_reference=training_data_reference,
            background_mode=False)

4. パイプラインの比較とテスト

学習が完了したら、できたモデル(パイプライン)間の比較が可能です。
実装とその結果を以下に示します。

summary = pipeline_optimizer.summary()
summary

可視化

また、次のコードで、パイプライン間の比較をグラフで行うこともできます。

%matplotlib inline

summary.holdout_r2.plot();

結果は以下のとおりです。

最適なパイプラインモデルを取得する

次のコードにより、最適なパイプラインをNotebook上に取得することができます。
また、'Pipeline_1'のような参照方法でそれ以外のパイプラインも取得できます。

best_pipeline = pipeline_optimizer.get_pipeline()
pipeline1 = pipeline_optimizer.get_pipeline(pipeline_name='Pipeline_1')

パイプラインの可視化

Notebook上に取得したパイプラインはvisualizeという関数を持っていて、処理プロセスの可視化が可能です。
コードと、結果を以下に示します。

最適なパイプラインの可視化

best_pipeline.visualize()

最初のパイプラインの可視化

pipeline1.visualize()

パイプラインのコード化

パイプラインはpretty_print関数も持っていて、パイプライン構築のためのコードを生成してくれます。
実装と結果を以下に示します。

best_pipeline.pretty_print(ipython_display=True)

from autoai_libs.transformers.exportable import ColumnSelector
from lale.lib.autoai_libs import NumpyColumnSelector
from lale.lib.autoai_libs import FloatStr2Float
from lale.lib.autoai_libs import NumpyReplaceMissingValues
from lale.lib.autoai_libs import NumImputer
from lale.lib.autoai_libs import OptStandardScaler
from lale.lib.autoai_libs import float32_transform
from lale.lib.autoai_libs import TA1
import numpy as np
import autoai_libs.utils.fc_methods
from lale.lib.autoai_libs import FS1
import autoai_libs.cognito.transforms.textras_methods
from lale.lib.sklearn import Ridge
import lale
lale.wrap_imported_operators()

column_selector = ColumnSelector(columns_indices_list=[1])
numpy_column_selector = NumpyColumnSelector(columns=[0])
float_str2_float = FloatStr2Float(dtypes_list=['int_num'], missing_values_reference_list=[])
numpy_replace_missing_values = NumpyReplaceMissingValues(filling_values=float('nan'), missing_values=[])
num_imputer = NumImputer(missing_values=float('nan'), strategy='median')
opt_standard_scaler = OptStandardScaler(num_scaler_copy=None, num_scaler_with_mean=None, num_scaler_with_std=None, use_scaler_flag=False)
ta1_0 = TA1(fun=np.sqrt, name='sqrt', datatypes=['numeric'], feat_constraints=[autoai_libs.utils.fc_methods.is_non_negative, autoai_libs.utils.fc_methods.is_not_categorical], col_names=['Elapsed_days'], col_dtypes=[np.dtype('float32')])
fs1_0 = FS1(cols_ids_must_keep=range(0, 1), additional_col_count_to_keep=4, ptype='regression')
ta1_1 = TA1(fun=np.square, name='square', datatypes=['numeric'], feat_constraints=[autoai_libs.utils.fc_methods.is_not_categorical], col_names=['Elapsed_days', 'sqrt(Elapsed_days)'], col_dtypes=[np.dtype('float32'), np.dtype('float32')])
fs1_1 = FS1(cols_ids_must_keep=range(0, 1), additional_col_count_to_keep=4, ptype='regression')
ta1_2 = TA1(fun=autoai_libs.cognito.transforms.textras_methods.cube, name='cube', datatypes=['numeric'], feat_constraints=[autoai_libs.utils.fc_methods.is_not_categorical], col_names=['Elapsed_days', 'sqrt(Elapsed_days)', 'square(Elapsed_days)', 'square(sqrt(Elapsed_days))'], col_dtypes=[np.dtype('float32'), np.dtype('float32'), np.dtype('float32'), np.dtype('float32')])
fs1_2 = FS1(cols_ids_must_keep=range(0, 1), additional_col_count_to_keep=4, ptype='regression')
ridge = Ridge(alpha=3.739450909578426e-05, max_iter=53, random_state=33, solver='cholesky', tol=3.913158955537585e-05)
pipeline = column_selector >> numpy_column_selector >> float_str2_float >> numpy_replace_missing_values >> num_imputer >> opt_standard_scaler >> float32_transform() >> ta1_0 >> fs1_0 >> ta1_1 >> fs1_1 >> ta1_2 >> fs1_2 >> ridge

トレーニングデータとホールドアウトデータをCOSから読み取る

オプティマイザーからは、トレーニングデータとホールドアウトデータを取得することも可能です。
実装は以下の通りです。

train_df, holdout_df = pipeline_optimizer.get_data_connections()[0].read(with_holdout_split=True)

holdout_X = holdout_df.drop(['Cases'], axis=1).values
holdout_y = holdout_df.Cases.values

パイプラインモデルをローカルでテストする

sckit-learnのパイプランを取得することもできるので、ローカル環境でモデルの予測・評価ができます。
実装は、以下のとおりです。

model = pipeline_optimizer.get_pipeline(astype='sklearn')

from sklearn.metrics import r2_score

predicted_y = model.predict(holdout_X)
score = r2_score(predicted_y, holdout_y)
print(f'r2_score {score:.1%}')

r2_score 94.9%

5. デプロイとスコアリング

構築したモデルをWatson Machine Learningにデプロイし、Webサービスとして呼び出してスコアリングをしてみます。
最初のコードは、モデルをWebサービスとしてデプロイするためのコードです。

デプロイメントの作成

from watson_machine_learning_client.deployment import WebService

service = WebService(wml_credentials)

service.create(
    experiment_run_id=pipeline_optimizer._engine._current_run_id,
    model=best_pipeline, 
    deployment_name="COVID-19 AutoAI WebService")

正常に処理されると以下のようなメッセージが表示されます。

Preparing an AutoAI Deployment...
Published model uid: ad36b2be-0394-4ca1-9697-336b3ea49d63
Deploying model ad36b2be-0394-4ca1-9697-336b3ea49d63 using V4 client.


#######################################################################################

Synchronous deployment creation for uid: 'ad36b2be-0394-4ca1-9697-336b3ea49d63' started

#######################################################################################


initializing.......
ready


------------------------------------------------------------------------------------------------
Successfully finished deployment creation, deployment_uid='a8993acd-0519-48ae-9245-cc17bd41f35a'
------------------------------------------------------------------------------------------------

配置済みのオブジェクトはprint関数で、その内容が表示できます。

print(service)

name: COVID-19 AutoAI WebService, id: a8993acd-0519-48ae-9245-cc17bd41f35a, scoring_url: https://us-south.ml.cloud.ibm.com/v4/deployments/a8993acd-0519-48ae-9245-cc17bd41f35a/predictions, asset_id: ad36b2be-0394-4ca1-9697-336b3ea49d63

ウェブサービスのスコアリング

デプロイされたパイプライン上で score() を呼び出すことでスコアリングリクエストを行うことができます。

predictions = service.score(payload=holdout_df.drop(['Cases'], axis=1).iloc[:10])
predictions

{'predictions': [{'fields': ['prediction'],
   'values': [[17298.03515625],
    [39230.00390625],
    [57713.87890625],
    [-248.7548828125],
    [-2589.3232421875],
    [36067.33203125],
    [15313.1142578125],
    [21764.03125],
    [52552.86328125],
    [49318.40234375]]}]}

予測値と実測値の比較

予測値と実測値の比較をしてみます。

full_df = training_df.append(test_df)
predicted_cases = model.predict(full_df.drop(['Cases'], axis=1).values)
df = pd.DataFrame(predicted_cases, columns=['Predicted'])
df['Cases'] = full_df.Cases.values
df['Day'] = full_df.Day.values
df = df.sort_values(by=['Day'])
df

plotlyを使用して可視化する

最後に予測値と実測値の可視化をしてみます。
このサンプルではplotlyというライブラリを利用しています。

!pip install -U plotly

import plotly.graph_objects as go
import plotly.offline as pyo
pyo.init_notebook_mode()

fig = go.Figure()
fig.add_trace(go.Scatter(x=df.Day, y=df.Cases, mode='markers', name='Actual train'))
fig.add_trace(go.Scatter(x=holdout_df.Day, y=holdout_df.Cases, mode='markers', marker_size=10, name='Actual holdout'))
fig.add_trace(go.Scatter(x=test_df.Day, y=test_df.Cases, mode='markers', marker_size=10, name='Actual test'))
fig.add_trace(go.Scatter(x=df.Day, y=df.Predicted, mode='lines', name='Predicted'))

fig.update_layout(title="COVID19 AutoAI model for Japan",
                  xaxis_title="day",
                  yaxis_title="confirmed cases count",
                  font=dict(family="Courier New, monospace", size=18, color="#7f7f7f"))
fig.show()

結果は以下のとおりです。

お疲れ様でした。以上で、チュートリアルは完了となります。