目次
0:概要
1:cpdctlのインストールと構成
2:IBM Cloud CLIのインストールとログイン
3:cpdctlによるプロジェクト作成とSPSSストリームの準備
4:cpddtlコマンドによるSPSSジョブの実行
0:概要
IBM Cloud Pak for Data Command Line Interface (cpdctl) は、IBM Cloud Pak for Data (CP4D) および IBM Cloud Pak for Data as a Service (CP4DaaS)で、資産の作成から運用を自動化するためのCLIツールです。
本記事ではcpdctlツールを使用して、東京リージョンのCP4DaaSに新規プロジェクト作成及びジョブの実行を行います。
今回の検証コードはGitHubにアップロードしてありますのでご活用ください。
インフォメーション
弊社よりリリースされているcpdctlツールは、ツール実行環境のOS/アーキテクチャ毎にインストール用のファイルが異なります。
実際に手順を実施される場合は、ご使用される環境に応じたcpdctlツールを選択してください。
本検証では、Mac_M1環境において検証を行ないます。
cpdctlツールのダウンロードページ
https://github.com/IBM/cpdctl/releases/
1:cpdctlのインストールと構成
1-1：samples_cpdctlリポジトリから、検証コードを実行環境にダウンロード。
1-2：samples_cpdctlファイルを開き、cpdctl.ipynbを起動。
1-3：ライブラリのインストール
※エラーが発生する場合は適宜、pip install してください。
1-4：cpdctlのインストール
実行OS環境に合わせて、下記コード部分を変更。
CPDCTL_ARCH = "{}_amd64".format(PLATFORM)
正常にダウンロードされた場合は、cpdctlインストーラーが表示される。
1-5：cpdctlバージョンチェック
インストールされたバージョンを確認。
本検証時点では1.4.34がインストールされている。
2:IBM Cloud CLIのインストールとログイン
2-1：IBM Cloud CLIのインストール
OS環境に合わせてインストールコマンドを選択してください。
検証環境がMacOSなので、下記のコマンドを選択します。
curl -fsSL https://clis.cloud.ibm.com/install/osx | sh
ターミナルを開き、インストールコマンドを実行してください。
インフォメーション
curlコマンドがうまく機能しない場合は、CLIインストーラー
をローカルに落として、インストールを行う。
2-2：APIキーの発行(※APIキーを発行していない方のみ）
IBM Cloudにログインし、IAMからAPIキーを発行。
2-3：IBM Cloud ログイン
APIキーの部分に、2-2で発行したAPIキーを記入。
今回は、東京リージョンにログインするため、末尾に "-r jp-tok" をつけて実行。
東京リージョン以外を選択する場合は、以下の地域コードを入れて実行。
2-4：IBM Cloud サービスインスタンスの確認
IBM Cloudへのログインが成功すると、現在立ち上げているサービスインスタンス一覧が表示される。
3:cpdctlによるプロジェクト作成とSPSSストリームの準備
3-1：IBM Cloud Object Storage（以下ICOSと省略）の作成
ICOSの作成は、CP4DaaS Watson Studio で作成したSPSSジョブをAPI (Python Code)で実行する方法の第2章を参考にしてください。
以降は、ICOSインスタンスが作成済みであることを前提とします。
3-2：サービスインスタンスIDの確認
再度サービスインスタンスをリストし、作成ICOSインスタンスが表示されることを確認。
"Cloud Object Storage-TVE-CP4DaaS"に移動すると、サービスインスタンスの詳細を確認できます。
後工程で、”ID”と”GUID”を使用するためコピー。
3-3：Jsonファイルの作成
cpdctlコマンドで新規にプロジェクトを作成するために必要なJsonファイルを作成する。
先ほどメモした、”ID”と”GUID”をペースト。
また、"type"には、"bmcos_object_storage"を記入。
現在、実行中のNotebookと同じ階層に保存（※今回は、storage.jsonで保存）。
3-4：新規プロジェクト作成
新規プロジェクト名は、”import-project_t1”。（※必要に応じて、プロジェクトネームを変更してください。）
末尾に"--storage @storage.json"をつけて実行。
WebブラウザでCP4DaaSのUIにアクセスし、プロジェクトが作成されたことを確認。
IBM cloudにログインをした2-3で表示されているアカウントIDを使用することによって、cpdctl上でプロジェクトを確認することが可能。
3-5:SPSSストリームの準備
SPSSストリームの作成は、CP4DaaS Watson Studio で作成したSPSSジョブをAPI (Python Code)で実行する方法の第3章を参考にしてください。
以降は、SPSSストリームが作成されていることを前提とします。
インフォメーション
cpdctlコマンドを用いて、他のプロジェクトで使用した資産をインポートすることが可能です。
STEP1:プロジェクトIDをメモ
STEP2:使用したい資産をCP4DaaSのプロジェクトからインポート（※zip形式）
STEP3:インポートするzipファイルを実行中のNotebookと同じ階層に保存（※今回はTVE_cpdctl_1.zipで保存）
STEP4:cpdctlコマンド実行
以下のように、資産が追加される。
（※ICOSなどプロジェクトローカル外との接続は切れるため、再度認証が必要になる。）
4:cpdctlコマンドによるSPSSジョブの実行
前提条件
今回の検証で使用するSPSSストリーム使用は以下の通りです。
・モデル読み込みデータはICOSに存在。
・モデル実行ごとに、ICOSからデータ読み込み。
・計算結果は、拡張エクスポートでICOSに出力。
4-1:SPSSストリームのジョブを作成
4-2:SPSSアセットサーチ
作成したジョブがavailable状態にあることを確認。
４-3:SPSSジョブの実行
4-3-1:APIキー認証（※SPSSジョブを新規に作成し、実行するためにはAPIキー認証が必要。）
既存のAPIキーを発行している方は、既存のAPI鍵を使用をタップし、認証作業を行う。
APIキー未発行の方は、新しいAPI鍵の生成をタップし、認証作業を行う。
4-3-2:SPSSジョブの実行
”project-id” 本記事 3-5:SPSSストリームの準備で控えたプロジェクトIDを記入
”job-id” 本記事 4-2:SPSSアセットサーチで確認したジョブのIDを記入
問題なく実行されると、Startingに移行。
インフォメーション
Notebookのジョブを実行する場合は、"NOTEBOOK_PARAMETER=example value"に変更してください。
{"env_variables": ["NOTEBOOK_PARAMETER=example value"]}
”run-id”を記入し、実行ステータスを確認。
正常にジョブが進行すると、SPSSストリームのジョブ実行が完了し Stream execution complete と表示される。
CP4DaaS上でも、ジョブが問題なく実行完了していることを確認。
拡張エクスポート先である、ICOSに計算結果が出力される。
cpdctl ツールを使用した AI ライフサイクル・イベントの管理の解説は以上になります。
参照資料
IBM CPDCTL GitHub
IBM Cloud サービスID作成方法
IBM cpdctl CLI on IBM Cloud