はじめに
別記事 CPLEXサンプル(diet.py)をWatson StudioのDecision Optimization上で動かす の続編です。
上記の記事で動作が確認されたCPLEXのコード(Python API)は、Watson Machine Learningにデプロイして、Webサービスとして呼び出すことが可能です。その手順を以下で説明します。
以下で説明するコード一式は、次のURLにアップしてあります。
(2020-09-28 Watson ML v2の仕様変更に伴い、コード修正)
対象アプリケーション
上記のものとまったく同じです。
pythonコード: model.py
CSVファイル: diet_food.csv、diet_nutrients.csvとdiet_food_nutrients.csvとなります。
認証情報の取得
最初にWatson MLの認証情報(localtionとapikey)を取得する必要があります。手順は、下記リンク先にあるので、そちらを参照して下さい。
なお、locationに関してはダラスのサイトの場合、決め打ちで 'us-south' になります。
space_idの取得
Watson ML v2になってから、space_idも必要になりました。手順については、下記リンク先を参照して下さい。
gzファイルの生成
Watson Machine Learningにモデルを登録するために、登録対象のコードを事前にzipないしgz形式に圧縮する必要があります。
生成用のコマンドは以下のとおりです。
export COPYFILE_DISABLE=1
tar czvf diet-model.gz main.py model.py
最初のEXPORT文はMACで圧縮をする場合に必要になります。
この環境変数設定をしないと、変なファイルもtarに入ってしまい、その後の処理でエラーになります。
もう一つのポイントは、業務ロジックが一切含まれていないmain.pyをアーカイブに含めることです。
このコードは汎用的に利用可能なので、上記のgithubからダウンロードしたものをそのままコピーして利用可能です。
main.pyはPythonコードのエントリーポイントになり、入力のcsvファイルをデータフレームに読み込み、更に辞書型変数inputsにセットします。その後で最適化のロジックが実装されているmodel.pyを呼び出します。
また、最適化実行後の後処理も行っています。
簡易的なフレームワークのようなものだと考えてください。
実装の内容までユーザーが意識する必要はないのですが、参考までにmain.pyの中身もアップしておきます。
from functools import partial, wraps
import os
from os.path import splitext
import time
import threading
import traceback
import sys
import ntpath
import pandas
from six import iteritems
from docplex.util.environment import get_environment
output_lock = threading.Lock()
def set_stop_callback(cb):
env = get_environment()
env.abort_callbacks += [cb]
def get_all_inputs():
'''Utility method to read a list of files and return a tuple with all
read data frames.
Returns:
a map { datasetname: data frame }
'''
result = {}
env = get_environment()
for iname in [f for f in os.listdir('.') if splitext(f)[1] == '.csv']:
with env.get_input_stream(iname) as in_stream:
df = pandas.read_csv(in_stream)
datasetname, _ = splitext(iname)
result[datasetname] = df
return result
def callonce(f):
@wraps(f)
def wrapper(*args, **kwargs):
if not wrapper.called:
wrapper.called = True
return f(*args, **kwargs)
wrapper.called = False
return wrapper
@callonce
def write_all_outputs(outputs):
'''Write all dataframes in ``outputs`` as .csv.
Args:
outputs: The map of outputs 'outputname' -> 'output df'
'''
global output_lock
with output_lock:
for (name, df) in iteritems(outputs):
csv_file = '%s.csv' % name
print(csv_file)
with get_environment().get_output_stream(csv_file) as fp:
if sys.version_info[0] < 3:
fp.write(df.to_csv(index=False, encoding='utf8'))
else:
fp.write(df.to_csv(index=False).encode(encoding='utf8'))
if len(outputs) == 0:
print("Warning: no outputs written")
def wait_and_save_all_cb(outputs):
global output_lock
# just wait for the output_lock to be available
t = time.time()
with output_lock:
pass
elapsed = time.time() - t
# write outputs
write_all_outputs(outputs)
def get_line_of_model(n):
env = get_environment()
with env.get_input_stream('model.py') as m:
lines = m.readlines()
return lines[n - 1].decode("utf-8")
class InterpreterError(Exception):
pass
if __name__ == '__main__':
inputs = get_all_inputs()
outputs = {}
set_stop_callback(partial(wait_and_save_all_cb, outputs))
env = get_environment()
# The IS_DODS env must be True for model.py if running in DODS
os.environ['IS_DODS'] = 'True'
# This allows docplex.mp to behave the same (publish kpis.csv and solution.json
# if this script is run locally
os.environ['DOCPLEX_CONTEXT'] = 'solver.auto_publish=True'
with env.get_input_stream('model.py') as m:
try:
exec(m.read().decode('utf-8'), globals())
except SyntaxError as err:
error_class = err.__class__.__name__
detail = err.args[0]
line_number = err.lineno
fileName = ntpath.basename(err.filename)
# When the error occurs in model.py, there is no err.filename
if fileName == "<string>":
fileName = "model.py"
imsg = '\nFile "' + fileName + '", line %s\n' % line_number
if err.text != None:
imsg += err.text.rstrip() + '\n'
spaces = ' ' * (err.offset - 1) if err.offset > 1 else ''
imsg += spaces + "^\n"
imsg += '%s: %s\n' % (error_class, detail)
sys.tracebacklimit = 0
raise InterpreterError(imsg)
except Exception as err:
error_class = err.__class__.__name__
detail = ""
if(len(err.args) > 0):
detail = err.args[0]
cl, exc, tb = sys.exc_info()
ttb = traceback.extract_tb(tb)
if(len(ttb) > 1):
for i in range(len(ttb)):
fileName = ntpath.basename(ttb[i][0])
line = ttb[i][3]
if(fileName == "<string>"):
fileName = "model.py"
line = get_line_of_model(ttb[i][1])
## need to use basename, otherwise we get the full path
ttb[i] = (fileName, ttb[i][1], ttb[i][2], line)
ttb = ttb[1:]
s = traceback.format_list(ttb)
imsg = '\n' + (''.join(s))
imsg += '%s: %s\n' % (error_class, detail)
sys.tracebacklimit = 0
raise InterpreterError(imsg)
else:
write_all_outputs(outputs)
モデルの登録
モデルをWatson Machine Learingに登録するためには、下記に示すml-deploy.pyを使ってください。
実行前に3箇所修正する必要があり、apikey、location、space_idを事前に調べた値に設定します。
(2020-09-28追記)
モデル登録時、Webサービス登録時のMata情報の設定の方法がML v2に対応して微妙に変わっています。
(ModelMetaNames.SOFTWARE_SPEC_UID, ConfigurationMetaNames.HARDWARE_SPEC)
登録がうまくいかない場合は、このあたりをチェックして下さい。
(参考リンク)
https://medium.com/@AlainChabrier/migrate-your-python-code-for-do-in-wml-v2-instances-710025796f7
https://www.ibm.com/support/producthub/icpdata/docs/content/SSQNUZ_current/wsj/wmls/wmls-deploy-python-types.html
# -*- coding: utf-8 -*-
# コマンドによる事前準備
# $ pip install -U ibm-watson-machine-learning
# $ MACでは次が重要
# $ export COPYFILE_DISABLE=1
# $ tar czvf diet-model.gz main.py model.py
# main.py 共通に使われるmodel呼び出し用コード
# model.py DO実装コード model.builderで動作確認したもの
import sys
# Watson ML credentails
apikey = 'xxxx'
location = 'us-south'
tarfile = 'diet-model.gz'
# --------------------------------------------------------
# メインルーチン
# --------------------------------------------------------
if __name__ == '__main__':
# 引数の受け取り
argv = sys.argv
argc = len(argv)
wml_credentials = {
"apikey": apikey,
"url": 'https://' + location + '.ml.cloud.ibm.com'
}
from ibm_watson_machine_learning import APIClient
client = APIClient(wml_credentials)
client.spaces.list()
space_id = 'xxxx'
client.set.default_space(space_id)
software_spec_uid = client.software_specifications.get_uid_by_name("do_12.10")
print(software_spec_uid)
# 登録に必要な情報の設定
mdl_metadata = {
client.repository.ModelMetaNames.NAME: "Diet Python",
client.repository.ModelMetaNames.DESCRIPTION: "Diet Python",
client.repository.ModelMetaNames.TYPE: "do-docplex_12.10",
client.repository.ModelMetaNames.SOFTWARE_SPEC_UID: software_spec_uid
}
# モデルの登録
model_details = client.repository.store_model(model=tarfile, meta_props=mdl_metadata)
# モデルUIDの取得
model_uid = client.repository.get_model_uid(model_details)
print( model_uid )
# Webサービス化に必要な情報
meta_props = {
client.deployments.ConfigurationMetaNames.NAME: "Diet Python Web",
client.deployments.ConfigurationMetaNames.DESCRIPTION: "Diet Python Web",
client.deployments.ConfigurationMetaNames.BATCH: {},
client.deployments.ConfigurationMetaNames.HARDWARE_SPEC: {'name': 'S', 'nodes': 1} # S / M / XL
}
# Webサービス化
deployment_details = client.deployments.create(model_uid, meta_props=meta_props)
deployment_uid = client.deployments.get_uid(deployment_details)
print( deployment_uid )
# Webサービスの一覧表示
client.deployments.list()
このコードでは、最初のAPI呼び出しclient.repository.store_modelでモデルの登録を、次のAPI呼び出しであるclient.deployments.createでWebサービス化をしています。
$ python ml-deploy.py
と実行すると、以下のような結果がかえってくるはずです。
779aad56-68d8-464b-89f5-2b46452b7a3d
List Models
------------------------------------ ------------------------------------- ------------------------ ----------------
GUID NAME CREATED TYPE
779aad56-68d8-464b-89f5-2b46452b7a3d DIET_PYTHON 2020-07-30T01:51:53.502Z do-docplex_12.10
03731a59-9a75-4d9a-b345-2df11f05e08d Auto generated DO docplex model 2020-07-29T12:45:50.047Z do-docplex_12.10
211f73af-6a7c-445c-a5b8-ffa526fd703f WAREHOUSE OPL 2020-07-21T04:06:37.264Z do-opl_12.10
b862c975-dc26-4b0a-94d5-06f099fb5a51 Auto generated DO opl model 2020-07-19T06:59:38.305Z do-opl_12.10
3bc5312b-88bc-4740-9302-8c80eab2e1d3 Auto generated DO docplex 12.10 model 2020-07-17T05:16:08.670Z do-docplex_12.10
#######################################################################################
Synchronous deployment creation for uid: '779aad56-68d8-464b-89f5-2b46452b7a3d' started
#######################################################################################
ready.
------------------------------------------------------------------------------------------------
Successfully finished deployment creation, deployment_uid='e3b2cf98-e81e-4619-87de-52a4a228e580'
------------------------------------------------------------------------------------------------
e3b2cf98-e81e-4619-87de-52a4a228e580
------------------------------------ ------------------------------------------ ----- ------------------------ -------------
GUID NAME STATE CREATED ARTIFACT_TYPE
e3b2cf98-e81e-4619-87de-52a4a228e580 DIET_PYTHON Deployment ready 2020-07-30T01:51:58.421Z model
13c873dc-84f4-43ff-a0c5-898b80e802ed Auto generated DO docplex deployment ready 2020-07-29T12:45:50.292Z model
cf184900-bce6-4737-bfdb-ec8902057f35 WAREHOUSE OPL Deployment ready 2020-07-21T04:06:42.233Z model
00616f70-64b0-46fb-97f1-3284bc8a6640 Auto generated DO opl deployment ready 2020-07-19T06:59:38.400Z model
ece5c71c-a9a2-4be1-8100-8b20867f13f0 Auto generated DO docplex 12.10 deployment ready 2020-07-17T05:16:08.764Z model
------------------------------------ ------------------------------------------ ----- ------------------------ -------------
モデルの呼び出し
登録ができたら、REST APIによりモデルを呼び出すことが可能です。
呼び出しコードml-submit.pyのサンプルと結果例を示します。
deployment_uidには、先ほど登録時に返ってきたIDを設定して下さい。
この場合も、apikey、locationとspace_idに設定が必要です。
# -*- coding: utf-8 -*-
# コマンドによる事前準備
# $ pip install -U ibm-watson-machine-learning
import sys
# Watson ML credentails
apikey = 'xxxx'
location = 'us-south'
import pandas as pd
# Watson ML credentails
# DO Deployment ID
deployment_uid = 'xxxx'
# Input CSV File
input_data1 = 'diet_food.csv'
input_data2 = 'diet_nutrients.csv'
input_data3 = 'diet_food_nutrients.csv'
# --------------------------------------------------------
# メインルーチン
# --------------------------------------------------------
if __name__ == '__main__':
# 引数の受け取り
argv = sys.argv
argc = len(argv)
wml_credentials = {
"apikey": apikey,
"url": 'https://' + location + '.ml.cloud.ibm.com'
}
from ibm_watson_machine_learning import APIClient
client = APIClient(wml_credentials)
client.spaces.list()
space_id = '20f3d4c5-1faa-4c80-a361-4da68d362b0f'
client.set.default_space(space_id)
input_df1 = pd.read_csv(input_data1)
input_df2 = pd.read_csv(input_data2)
input_df3 = pd.read_csv(input_data3)
solve_payload = {
client.deployments.DecisionOptimizationMetaNames.INPUT_DATA: [
{
"id": input_data1,
"values" : input_df1
},
{
"id": input_data2,
"values" : input_df2
},
{
"id": input_data3,
"values" : input_df3
}
],
client.deployments.DecisionOptimizationMetaNames.OUTPUT_DATA: [
{
"id":".*\.csv"
}
]
}
# DO Job 投入
job_details = client.deployments.create_job(deployment_uid, solve_payload)
job_uid = client.deployments.get_job_uid(job_details)
print( job_uid )
# status確認
from time import sleep
while job_details['entity']['decision_optimization']['status']['state'] not in ['completed', 'failed', 'canceled']:
print(job_details['entity']['decision_optimization']['status']['state'] + '...')
sleep(5)
job_details=client.deployments.get_job_details(job_uid)
detail = job_details['entity']['decision_optimization']['output_data']
# 結果確認
import json
detail2 = job_details['entity']['decision_optimization']
# 最終ステータス表示
print(json.dumps(detail2['status'], indent=2))
for item in detail:
id = item['id']
fields = item['fields']
values = item['values']
df_work = pd.DataFrame(values, columns=fields)
name = id[:id.index('.csv')]
print('name = ', name)
print(df_work.head())
df_work.to_csv(id, index=False)
呼び出しコマンド
$ python ml-submit.py
結果サンプル
Note: 'limit' is not provided. Only first 50 records will be displayed if the number of records exceed 50
------------------------------------ ------------------- ------------------------
ID NAME CREATED
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx do-space-xx 2020-09-25T08:55:05.513Z
------------------------------------ ------------------- ------------------------
04f0ecf7-57ea-494b-a372-3fb1d88101cf
queued...
queued...
queued...
queued...
running...
running...
running...
{
"completed_at": "2020-09-27T23:04:16.378Z",
"running_at": "2020-09-27T23:04:15.715Z",
"state": "completed"
}
name = kpis
Name Value
0 Total Calories 2000.000000
1 Total Calcium 800.000000
2 Total Iron 11.278318
3 Total Vit_A 8518.432542
4 Total Dietary_Fiber 25.000000
name = stats
Name Value
0 STAT.cplex.size.integerVariables 0
1 STAT.cplex.size.continousVariables 9
2 STAT.cplex.size.linearConstraints 7
3 STAT.cplex.size.booleanVariables 0
4 STAT.cplex.size.constraints 7
name = solution
name value
0 Spaghetti W/ Sauce 2.155172
1 Chocolate Chip Cookies 10.000000
2 Lowfat Milk 1.831167
3 Hotdog 0.929698