この記事は、IBM Cloudで機械学習/深層学習モデル(AIモデル)を開発・運用するためのPythonプログラムについて記載しています。
概要
IBM CloudでAIモデルを開発・運用するためのステップの一例として、以下が挙げられます。
- AIモデルの開発はIBM CloudのWatson Studioサービスで行い、AIモデルの管理はIBM CloudのWatson Machine Learningサービスで行うため、これらのサービスを作成します
- AIモデルを開発するためにプロジェクトを作成します
- 作成したプロジェクトで、Jupyterノートブック・エディターを使用してAIモデルの開発を行います
- AIモデルの学習に必要なデータはデータベースやオブジェクト・ストレージなどから取得します。それらのデータ・ソースへの接続情報は、プロジェクトに定義します
- 作成したAIモデルをプロジェクトに保存します
- AIモデルを管理するために、デプロイメント・スペースを作成します
- プロジェクトに保存されたAIモデルをデプロイメント・スペースに取り込みます(プロモート)
- デプロイメント・スペースにプロモートされたAIモデルを同じデプロイメント・スペース上にデプロイします。デプロイすると、そのAIモデルに対してREST APIを使って推論できるようになります
- REST APIで、デプロイされたAIモデルを使って推論します
この記事では、上記、4, 5, 7, 8, 9 について、Pythonでどのように実装するのかについて述べます。7と8はIBM CloudのWeb画面を使って実現可能ですが、Pythonのプログラムでできるようにしておくと自動化に利用できて便利です。
Pythonのライブラリは、ibm-watson-machine-learing を使用します。
AIモデルの例として、scikit-learnを使った機械学習モデル(住宅ローンの許可/却下の分類)、Kerasを使った深層学習モデル(画像の分類)、PyTorchを使った深層学習モデル(画像の分類)を取り上げます。
1. ベースとなるAPIClientオブジェクトの作成
Pythonのライブラリ ibm-watson-machine-learning で各種処理を行うためには、ベースとなるAPIClientオブジェクトを作成する必要があります。
この作成時に認証も行いますが、IBM CloudのSaaS環境 (Cloud Pak for Data as a Service) か、オンプレ環境 (Cloud Pak for Data) かで、やり方が異なります。
1.1. SaaS環境 (Cloud Pak for Data as a Service)
オブジェクトを作成する際の認証情報として、APIキーとSaaS環境のURLが必要となります。APIキーは、IBM CloudのWeb画面を使用して作成することができます。
IBM Cloudにログインし、管理 > アクセス(IAM) を選択
画面左メニューの APIキー を選択し、画面右にある作成ボタンを選択してAPIキーを作成
SaaS環境のURLは、https://[ロケーション].ml.cloud.ibm.com で、ロケーション情報は、IBM Cloud の Jupyter ノートブック・エディターを使用する場合、RUNTIME_ENV_REGION 環境変数から得られます。
APIClientオブジェクトを作成するプログラムは以下になります。
import os
from ibm_watson_machine_learning import APIClient
location = os.environ['RUNTIME_ENV_REGION']
apikey = "[APIキー]"
wml_credentials = {
"apikey": apikey,
"url": 'https://' + location + '.ml.cloud.ibm.com'
}
wml_client = APIClient(wml_credentials)
1.2. オンプレ環境 (Cloud Pak for Data)
オンプレでAPIClientオブジェクトを作成するためには、url, username, apikey, instance_id, version が必要となります。
- URLは、https://[Cloud Pak for Data のホスト名]
- usernameは、Cloud Pak for Data のユーザー名
- apikeyは、上記ユーザーのAPIキー。上記ユーザーでCloud Pak for Data にログインしたWeb画面で、上部のメニュー右から2つ目のアイコンをクリックし、「プロファイルと設定」を選択。切り替わった画面右にある「API鍵」をクリックして「新規鍵の生成」を選択するとAPIキーを作成することができます
- instance_idは、openshift
- versionは、Cloud Pak for Dataのバージョン(例: "5.0")
APIClientオブジェクトを作成するプログラムは以下になります。
cp4d_url = "https://[Cloud Pak for Data のホスト名]"
cp4d_user = "[ユーザー名]"
cp4d_apikey = "[APIキー]"
cp4d_version = "Cloud Pak for Data のバージョン(例: 5.0)"
wml_credentials = {
"url": cp4d_url,
"username": cp4d_user,
"apikey": cp4d_apikey,
"instance_id": "openshift",
"version": cp4d_version
}
wml_client = APIClient(wml_credentials)
以降、生成したAPIClientオブジェクトの変数名をwml_clientとして説明します。
2. 作業する対象環境(特定のプロジェクトまたはデプロイメント・スペース)を指定
プロジェクトにAIモデルを保存したり、プロジェクトのAIモデルをデプロイメント・スペースにプロモートする場合、プロジェクトIDを以下のようにセットします。
project_id = "[プロジェクトID]"
wml_client.set.default_project(project_id)
プロジェクトIDは、プロジェクトの「管理」タブの「一般」に表示されています。
デプロイメント・スペースにプロモートされたAIモデルをデプロイする場合、デプロイメント・スペースのID(スペースID)を以下のようにセットします。
space_id="[スペースID]"
wml_client.set.default_space(space_id)
スペースIDは、以下のプログラムで、デプロイメント・スペース名から特定することができます。
space_name = "[デプロイメント・スペース名]"
space_id = None
for space in wml_client.spaces.get_details()['resources']:
# print(space['metadata']['id'], space['entity']['name'], space['metadata']['created_at'])
if space['entity']['name'] == space_name:
space_id = space['metadata']['id']
break
if space_id:
print(f'Deployment space name: "{space_name}", Deployment space ID: "{space_id}"')
else:
emsg = f'Deployment space name "{space_name}" not found.'
raise Exception(emsg)
IBM CloudのWeb画面からも得ることができ、デプロイメント・スペースの「管理」タブの「一般」に表示されています(スペースGUID)。
3. AIモデル開発に使用するデータ・アクセス
3.1. Db2データベースに保存されたデータ取得
プロジェクトに保存したDb2接続情報の取得とSELECT文の結果をPandasのデータフレームに保存するプログラム例を以下に述べます。
import ibm_db_dbi
import pandas as pd
wml_client.set.default_project(project_id)
db2_name = "Db2 Mortgage Approval Data" # Db2接続情報名
db2_info = None
for detail in wml_client.connections.get_details()["resources"]:
if detail["entity"]["name"] == db2_name:
db2_info = wml_client.connections.get_details(detail["metadata"]["id"])["entity"]["properties"]
print(f"db2_info={db2_info}")
con_url = f'DATABASE={db2_info["database"]};HOSTNAME={db2_info["host"]};PORT={db2_info["port"]};PROTOCOL=TCPIP;UID={db2_info["username"]};PWD={db2_info["password"]}'
if db2_info["ssl"] == "true":
con_url = con_url + ";Security=SSL"
print(f"con_url={con_url}")
con = ibm_db_dbi.connect(con_url,'','')
sql_query = "select * from AI_MORTGAGE.MORTGAGE_APPROVAL_VIEW"
df_mortgage = pd.read_sql_query(sql_query, con)
df_mortgage.head()
画面出力例
db2_info={'database': 'BLUDB', 'auth_method': 'username_password', 'password': 'xxx', 'port': '50001', 'host': 'xxx.us-south.db2w.cloud.ibm.com', 'ssl': 'true', 'username': 'xxx'}
ID NAME STREET_ADDRESS CITY STATE STATE_CODE ZIP_CODE EMAIL_ADDRESS PHONE_NUMBER GENDER ... NUMBER_OF_CARDS CREDITCARD_DEBT LOANS LOAN_AMOUNT CREDIT_SCORE COMMERCIAL_CLIENT COMM_FRAUD_INV PROPERTY_VALUE AREA_AVG_PRICE MORTGAGE_APPROVAL
0 110424 Adah Marks 4355-5 Pelham South Park Ridge Illinois IL 41227 Adah.Marks@donny.ca 206-220-3128 Male ... 2 1168.0 1 7478.0 547 FALSE FALSE 548618.0 NaN 0
1 110425 Jerrell Eichmann 5642-1 Hwy 78 East Reston Virginia VA 41198 Jerrell.Eichmann@trycia.biz 972-510-7295 Male ... 2 1167.0 1 7476.0 547 TRUE FALSE 548638.0 NaN 0
2 110426 Glennie Barrows 6736-1 Whitfield Ave Houston Texas TX 41169 Glennie.Barrows@elwin.us 609-564-9894 Female ... 2 1166.0 1 7474.0 547 FALSE FALSE 548658.0 NaN 0
3 110427 Susanna Schaefer 4529-0 Madison Blvd Woodridge Illinois IL 41140 Susanna.Schaefer@elta.ca 484-261-6798 Female ... 2 1165.0 1 7471.0 547 FALSE FALSE 548678.0 NaN 0
4 110428 Jettie Waters 3698-Kelley Blvd Truckee California CA 41110 Jettie.Waters@kacie.co.uk 253-973-4793 Male ... 2 1164.0 1 7469.0 546 TRUE FALSE 548698.0 721244.0 0
5 rows × 29 columns
3.2. IBM Cloud Object Storage (ICOS) に保存されたデータ取得
認証方法を「リソース・インスタンスIDとAPIキー」として登録した場合のプログラム例を以下に示します。
import ibm_boto3
from ibm_botocore.client import Config
wml_client.set.default_project(project_id)
icos_name = "icos1" # ICOS接続情報名
bucket_name = "cloud-object-storage-mortgage-2021-jp"
file_name = "mortgage_approval_view.csv"
icos_info = None
for detail in wml_client.connections.get_details()["resources"]:
if detail["entity"]["name"] == icos_name:
icos_info = wml_client.connections.get_details(detail["metadata"]["id"])["entity"]["properties"]
print(f"icos_info={icos_info}")
if not icos_info["url"].startswith("http"):
icos_info["url"] = "https://" + icos_info["url"]
cos = ibm_boto3.client(service_name="s3",
ibm_api_key_id=icos_info["api_key"],
ibm_service_instance_id=icos_info["resource_instance_id"],
ibm_auth_endpoint='https://iam.bluemix.net/oidc/token',
config=Config(signature_version='oauth'),
endpoint_url=icos_info["url"])
cos.download_file(Bucket=bucket_name, Key=file_name, Filename=file_name)
!ls -l $file_name
画面出力例
icos_info={'trust_all_ssl_cert': 'false', 'auth_method': 'instanceid_apikey', 'iam_url': 'https://iam.cloud.ibm.com/identity/token', 'api_key': 'xxx', 'resource_instance_id': 'crn:v1:bluemix:public:cloud-object-storage:global:xxx', 'url': 's3.us-south.cloud-object-storage.appdomain.cloud'}
-rw-rw---- 1 wsuser wscommon 1281702 Jan 25 05:42 mortgage_approval_view.csv
Jupyter ノートブックのファイルシステムにあるファイルをICOSにアップロードするには、upload_file メソッドをコールします。引数は、上記の例で使用している download_file メソッドと同じです。
4. AIモデルの保存
4.1. scikit-learnを使った機械学習モデルの保存
scikit-leanのpiplelineを使った機械学習モデルを例として述べます。
機械学習モデルを開発するプログラムの詳細は省略しますが、その中で、モデルの保存に必要な情報は以下になります。
target_col='MORTGAGE_APPROVAL' # 推論結果を表す列
X = df_mortgage.drop([target_col], axis=1)
model = Pipeline(steps=[('preprocessor', preprocessor),
('model', RandomForestClassifier(n_estimators=top_ne, max_depth=top_md, max_features=top_mf, random_state=0))])
AIモデルを新規保存またはバージョンアップするプログラムの例は以下になります。AIモデルの保存は wml_client.repository.store_model メソッドを利用します。このメソッドでAIモデルを保存すると、同じ名前でもIDの異なる新規のAIモデルが作成されてしまいます。同じ名前の場合は、wml_client.repository.update_model メソッドを使ってバージョンアップするのがお勧めです。
model_name = "Mortgage Approval Model"
# AIモデルが既に保存されているか確認
models = wml_client.repository.get_model_details()['resources']
model_ids = [m['metadata']['id'] for m in models if m['metadata']['name'] == model_name]
model_id = None
if len(model_ids) > 1:
emsg = 'Multiple models with the same model name "{}" exist: {}'.format(model_name, model_ids)
raise KeyError(emsg)
elif len(model_ids) == 1:
model_id = model_ids[0]
print(f"existing model_id: {model_id}")
# AIモデルが保存されていなかったら新規作成、保存されていたらバージョンアップ
if model_id == None:
# 実行環境情報のセット
software_spec_uid = wml_client.software_specifications.get_id_by_name("runtime-24.1-py3.11")
print(software_spec_uid)
# training_data_references情報のセット
db2_name = "Db2 Mortgage Approval Data" # Db2接続情報名
connection_id = None
for detail in wml_client.connections.get_details()["resources"]:
if detail["entity"]["name"] == db2_name:
connection_id = detail["metadata"]["id"]
sql_query = "select * from AI_MORTGAGE.MORTGAGE_APPROVAL_VIEW"
training_data_references = [{
"id": "Mortgage_data",
"type": "connection_asset",
"connection": {
"id": connection_id,
},
"location": {
"select_statement": sql_query,
"table_name": "Mortgage_Approval_view"
}
}]
# モデル・プロパティ値のセット
model_props = {
wml_client._models.ConfigurationMetaNames.NAME:model_name,
wml_client._models.ConfigurationMetaNames.TYPE: "scikit-learn_1.3",
wml_client._models.ConfigurationMetaNames.SOFTWARE_SPEC_UID: software_spec_uid,
wml_client._models.ConfigurationMetaNames.LABEL_FIELD:target_col,
wml_client._models.ConfigurationMetaNames.INPUT_DATA_SCHEMA:[{'id': '1', 'type': 'struct', 'fields': [{"name":column_name,"type":str(column_type[0])} for column_name,column_type in pd.DataFrame(X.dtypes).T.to_dict('list').items()]}],
wml_client.repository.ModelMetaNames.TRAINING_DATA_REFERENCES: training_data_references
}
# モデルをプロジェクトに保存
model_detail = wml_client.repository.store_model(model=model, meta_props=model_props,
training_data=X_train, training_target=y_train)
print(f'The model "{model_name}" successfully stored in the project.')
else:
model_props = {
wml_client._models.ConfigurationMetaNames.NAME:model_name
}
# モデルの更新(バージョン・アップ)
model_detail = wml_client.repository.update_model(
model_uid=model_id,
updated_meta_props=model_props,
update_model=model
)
print(f'The model "{model_name}" successfully updated in the project.')
model_id = wml_client.repository.get_model_id(model_detail)
new_model_revision = wml_client.repository.create_model_revision(model_id)
rev_id = new_model_revision["metadata"].get("rev")
print(f"Model ID: {model_id}")
print(f"Revison ID: {rev_id}")
4.2. Keras を使った深層学習モデルの保存
AIモデルのバージョンアップについては 4.1. scikit-learnを使った機械学習モデルの保存 と同じようにできるので、ここでは、新規保存についてのみ述べます。
以下のモデルを例に述べます。
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D, Dropout, Flatten, Dense, Activation
def cnn_model(x_train, class_labels_count):
model = Sequential()
model.add(Conv2D(32, (3, 3), padding="same", input_shape=x_train.shape[1:]))
model.add(Activation('relu'))
model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Conv2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(class_labels_count))
model.add(Activation('softmax'))
model.compile(
loss='categorical_crossentropy',
optimizer='adam',
metrics=['accuracy']
)
return model
モデルの保存は以下のようになります。
h5file = 'mnist-keras.h5'
gzfile = 'mnist-keras.tar.gz'
model.save(h5file)
import tarfile
with tarfile.open(gzfile, 'w:gz') as tf:
tf.add(h5file)
model_name = "mnist-keras"
software_spec_uid = wml_client.software_specifications.get_uid_by_name("runtime-24.1-py3.11")
model_props = {
wml_client._models.ConfigurationMetaNames.NAME:model_name,
wml_client._models.ConfigurationMetaNames.TYPE: "tensorflow_2.14",
wml_client._models.ConfigurationMetaNames.SOFTWARE_SPEC_UID: software_spec_uid,
}
model_detail = wml_client.repository.store_model(model=gzfile, meta_props=model_props)
model_id = wml_client.repository.get_model_id(model_detail)
new_model_revision = wml_client.repository.create_model_revision(model_id)
rev_id = new_model_revision["metadata"].get("rev")
print(f"Model ID: {model_id}")
print(f"Revison ID: {rev_id}")
4.3. PyTorch を使った深層学習モデルの保存
こちらも、AIモデルのバージョンアップについては 4.1. scikit-learnを使った機械学習モデルの保存 と同じようにできるので、ここでは、新規保存についてのみ述べます。
以下のモデルを例に述べます。
import torch
import torchvision
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F
import torchvision.transforms as transforms
class cifar10_cnn(nn.Module):
def __init__(self, num_classes):
super(cifar10_cnn,self).__init__()
self.conv1 = nn.Conv2d(3, 32, 3, padding=(1,1), padding_mode='replicate')
self.conv2 = nn.Conv2d(32, 32, 3)
self.conv3 = nn.Conv2d(32, 64, 3, padding=(1,1), padding_mode='replicate')
self.conv4 = nn.Conv2d(64, 64, 3)
self.relu = nn.ReLU(inplace=True)
self.dropout1 = nn.Dropout(0.25)
self.dropout2 = nn.Dropout(0.5)
self.maxpool = nn.MaxPool2d((2,2))
self.classifier1 = nn.Linear(2304, 512)
self.classifier2 = nn.Linear(512, num_classes)
self.features = nn.Sequential(
self.conv1,
self.relu,
self.conv2,
self.relu,
self.maxpool,
self.dropout1,
self.conv3,
self.relu,
self.conv4,
self.relu,
self.dropout1,
self.maxpool)
self.classifier = nn.Sequential(
self.classifier1,
self.relu,
self.dropout2,
self.classifier2)
def forward(self, x):
x = self.features(x)
x = x.view(x.size(0), -1)
x = self.classifier(x)
return x
モデルの保存は以下のようになります。
# ダミーデータの作成
dummy_input = torch.randn((1, 3, 32, 32)).to(device)
# onyx形式でexport
torch.onnx.export(net, dummy_input, "mnist-pytorch.onnx",
keep_initializers_as_inputs=True, verbose=True, opset_version=9)
# gz形式に圧縮
!tar czvf mnist-pytorch.gz mnist-pytorch.onnx
gzfile = "mnist-pytorch.gz"
model_name = "mnist-pytorch"
software_spec_uid = wml_client.software_specifications.get_uid_by_name("runtime-24.1-py3.11")
model_props = {
wml_client._models.ConfigurationMetaNames.NAME:model_name,
wml_client._models.ConfigurationMetaNames.TYPE: "pytorch-onnx_2.1",
wml_client._models.ConfigurationMetaNames.SOFTWARE_SPEC_UID: software_spec_uid,
}
model_detail = wml_client.repository.store_model(model=gzfile, meta_props=model_props)
model_id = wml_client.repository.get_model_id(model_detail)
new_model_revision = wml_client.repository.create_model_revision(model_id)
rev_id = new_model_revision["metadata"].get("rev")
print(f"Model ID: {model_id}")
print(f"Revison ID: {rev_id}")
torch.onnx.exportメソッドの引数 opset_version を指定しないと、モデルのデプロイでエラーとなるようです。
5. AIモデルのプロモート
以下のように行います。
# wml_clientにプロジェクトIDのセット
project_id = "[プロジェクトID]"
wml_client.set.default_project(project_id)
# 以下に記載の [モデル名] を、以下に記載の [デプロイメント・スペース名] にプロモート
model_name = "[モデル名]"
space_name = "[デプロイメント・スペース名]"
# プロジェクトに保存されているモデルIDの取得
entities = wml_client.repository.get_details()['models']['resources']
model_id = None
for entity in entities:
name = entity['metadata']['name']
if name == model_name:
model_id = entity['metadata']['id']
break
if model_id:
print(f'Model name: "{model_name}", Model ID: "{model_id}"')
else:
emsg = f'Model name "{model_name}" not found.'
raise Exception(emsg)
# プロモート先となるデプロイメントスペースIDの取得
space_id = None
for space in wml_client.spaces.get_details()['resources']:
# print(space['metadata']['id'], space['entity']['name'], space['metadata']['created_at'])
if space['entity']['name'] == space_name:
space_id = space['metadata']['id']
break
if space_id:
print(f'Deployment space name: "{space_name}", Deployment space ID: "{space_id}"')
else:
emsg = f'Deployment space name "{space_name}" not found.'
raise Exception(emsg)
# モデルのプロモート
if model_id and space_id:
space_model_id = wml_client.spaces.promote(asset_id=model_id, source_project_id=project_id, target_space_id=space_id)
print(f'Model asset ID in deployment space "{space_name}": "{space_model_id}"')
6. モデルのデプロイ
以下のように行います。
# 以下に記載の [デプロイメント・スペース名] にプロモートされている [モデル名] をデプロイ
space_name = "[デプロイメント・スペース名]"
space_model_name = "[モデル名]"
# デプロイメントスペースIDの取得
space_id = None
for space in wml_client.spaces.get_details()['resources']:
# print(space['metadata']['id'], space['entity']['name'], space['metadata']['created_at'])
if space['entity']['name'] == space_name:
space_id = space['metadata']['id']
break
if space_id:
print(f'Deployment space name: "{space_name}", Deployment space ID: "{space_id}"')
else:
emsg = f'Deployment space name "{space_name}" not found.'
raise Exception(emsg)
# wml_clientにスペースIDのセット
wml_client.set.default_space(space_id)
# モデルIDの取得
entities = wml_client.repository.get_details()["models"]["resources"]
space_model_id = None
for entity in entities:
name = entity['metadata']['name']
if name == space_model_name:
space_model_id = entity['metadata']['id']
break
if space_model_id:
print(f'Space Model name: "{space_model_name}", Space Model ID: "{space_model_id}"')
else:
emsg = f'Space Model name "{space_model_name}" not found.'
raise Exception(emsg)
# モデルのデプロイ
meta_props={
wml_client.deployments.ConfigurationMetaNames.NAME: space_model_deployment_name,
wml_client.deployments.ConfigurationMetaNames.ONLINE: {}
}
if space_id and space_model_id:
deployment_id = wml_client.deployments.create(artifact_uid=space_model_id, meta_props=meta_props, target_space_id=space_id)
space_model_deployment_id = deployment_id['entity']['asset']['id']
print(f'Deployment name: "{space_model_deployment_name}", Deployment ID: "{space_model_deployment_id}"')
7. デプロイされたAIモデルの利用
SaaS環境 (Cloud Pak for Data as a Service) も、オンプレ環境 (Cloud Pak for Data) も、デプロイされたモデルをWeb画面で開くと、APIリファレンスタブがあり、REST APIで推論要求するためのプログラムの断片(コード・スニペット)が記載されています。
SaaS環境の例
オンプレ環境の例
SaaS環境とオンプレ環境の違いは認証方法のみで、それ以外は呼び出し先のURLが異なるだけで、プログラムは同じです。
7.1. 認証方法
7.1.1. SaaS環境 (Cloud Pak for Data as a Service) の認証方法
コード・スニペットに記載の通り、以下のようにプログラムします。
API_KEY = "[APIキー]"
token_response = requests.post('https://iam.cloud.ibm.com/identity/token', data={"apikey":
API_KEY, "grant_type": 'urn:ibm:params:oauth:grant-type:apikey'})
mltoken = token_response.json()["access_token"]
header = {'Content-Type': 'application/json', 'Authorization': 'Bearer ' + mltoken}
7.1.2. オンプレ環境 (Cloud Pak for Data)
認証情報として、ログインしているユーザー名とそのAPIキーを利用して以下を実行します。
$ echo "[ユーザー名]:[APIキー]" | base64
ユーザー名を cpadmin 、APIキーを ABCDE12345 とすると、以下のようになります。
$ echo "cpadmin:ABCDE12345" | base64
Y3BhZG1pbjpBQkNERTEyMzQ1Cg==
上記の値をmltokenにセットして、headerを以下のようにします。
mltoken = "Y3BhZG1pbjpBQkNERTEyMzQ1Cg=="
header = {'Content-Type': 'application/json', 'Authorization': 'ZenApiKey ' + mltoken}
7.2. モデルの推論
headerは、上記で述べたようにSaaS環境とオンプレ環境で異なります。ここでは、headerがセットされた前提で、それ以降のプログラムを、SaaSのURLを用いて説明します。
SaaSのURLは、プライベート・エンドポイントとパブリック・エンドポイントがあり、スニペットはプライベート・エンドポイントが記載されています。Watson Studio の Jupyter ノードブック等、IBM Cloud内からのコールの場合、プライベート・エンドポイントを利用します。IBM Cloud外からのアクセスの場合は、パブリック・エンドポイントに変更します。
以下の3つのモデル(scikit-learn機械学習モデル、Keras深層学習モデル、PyTorch深層学習モデル)の例では、IBM Cloud外からパブリック・エンドポイントに変更して実行しています。
7.2.1. scikit-learn機械学習モデル
プログラム
payload_scoring = {
"input_data": [
{
"fields": [
"INCOME",
"YRS_AT_CURRENT_ADDRESS",
"YRS_WITH_CURRENT_EMPLOYER",
"NUMBER_OF_CARDS",
"CREDITCARD_DEBT",
"LOAN_AMOUNT",
"CREDIT_SCORE",
"PROPERTY_VALUE",
"AREA_AVG_PRICE",
"LOANS",
"GENDER",
"EDUCATION",
"EMPLOYMENT_STATUS",
"MARITAL_STATUS",
"APPLIEDONLINE",
"RESIDENCE",
"COMMERCIAL_CLIENT",
"COMM_FRAUD_INV"
],
"values": [
[
53115,
12,
1,
2,
674,
10455,
539,
538588,
528267,
0,
"Female",
"High School or Below",
"Employed",
"Married",
"NO",
"Owner Occupier",
"TRUE",
"FALSE"
]
]
}
]
}
response_scoring = requests.post('https://us-south.ml.cloud.ibm.com/ml/v4/deployments/a40b45aa-c8b6-4f9d-b43b-8c4ef46c109d/predictions?version=2021-05-01', json=payload_scoring,
headers={'Authorization': 'Bearer ' + mltoken})
print("Scoring response")
print(response_scoring.json())
実行結果
Scoring response
{'predictions': [{'fields': ['prediction', 'probability'], 'values': [[0, [0.8599447513812154, 0.14005524861878452]]]}]}
7.2.2. Keras深層学習モデル
以下の画像を分類します。
img_car = np.load("img_car.npy")
print(f"ndim: {img_car.ndim}")
print(f"shape: {img_car.shape}")
ndim: 3
spape: (32, 32, 3)
import matplotlib.pyplot as plt
plt.imshow(img_car)
Kerasの場合、payload_scoring に fields は不要で、以下のフォーマットになります。
{"input_data": [{"values": [イメージの配列]}]}
プログラム
payload_scoring = {"input_data": [{"values": [img_car.tolist()]}]}
response_scoring = requests.post('https://us-south.ml.cloud.ibm.com/ml/v4/deployments/912ac537-d1d9-4009-8dbb-0df9e0015d76/predictions?version=2021-05-01', json=payload_scoring,
headers={'Authorization': 'Bearer ' + mltoken})
print("Scoring response")
print(response_scoring.json())
実行結果
Scoring response
{'predictions': [{'fields': ['prediction'], 'id': 'activation_5', 'values': [[0.0017128867330029607, 0.7528261542320251, 9.030097135109827e-05, 0.00012985964713152498, 0.00011039885430363938, 0.0002107438340317458, 0.00011447971337474883, 0.0006360796396620572, 0.004830101504921913, 0.23933905363082886]]}]}
7.2.3. PyTorch深層学習モデル
こちらもKerasと同じ画像を使用します。
次元は、Kerasで使った画像の3次元目のchannelが最初になるので、以下のように変換しています。
np.transpose(img_car, (2,0,1))
PyTorchの場合、payload_scoring に fields が必要となり、以下の値となります。
import onnxruntime
sess = onnxruntime.InferenceSession('mnist-pytorch.onnx')
print(f"input_name: {sess.get_inputs()[0].name}")
input_name: input.1
payload_scoringは、以下のフォーマットとなります。
{"input_data": [{"fields": "input.1", "values": [イメージの配列]}]}
プログラム
payload_scoring = {"input_data": [{"fields": "input.1", "values": [np.transpose(img_car, (2,0,1)).tolist()]}]}
response_scoring = requests.post('https://us-south.ml.cloud.ibm.com/ml/v4/deployments/bd2a7a2b-3440-434b-83c6-944cba26aba3/predictions?version=2021-05-01', json=payload_scoring,
headers={'Authorization': 'Bearer ' + mltoken})
print("Scoring response")
print(response_scoring.json())
実行結果
Scoring response
{'predictions': [{'values': [[90.16368865966797, 132.31080627441406, -152.7025146484375, -148.4767608642578, -170.6203155517578, -235.80233764648438, -228.36398315429688, -156.88336181640625, 35.36519241333008, 105.59580993652344]]}]}
参考文献
- scikit-learn機械学習モデルは以下のtutorialで作成しているモデルを利用しました
AI governance tutorial: Build and deploy a model