#ハンズオンシナリオ
#DataSpider機能紹介
・DataSpider Server
DataSpiderの処理を実行するサーバーエンジンです。DataSpiderを利用するためには
必ず起動しておく必要があります。
・DataSpider Studio
DataSpiderの処理を作成するクライアント・アプリケーションです。
・インストールして利用するもの
・Webブラウザで利用するもの
2つのStudioがあります。ハンズオンではWeb版のStudioを利用します。
・アダプタ
DataSpiderにおいて外部システムとのインターフェイスを担う機能です。
各外部システムごとにアダプタが用意されています。
また、アダプタによって実行可能な機能に差があります。
・グローバルリソース
アダプタが利用する接続先の設定です。この設定はプロジェクトをまたいで利用することが
できます。
・トリガー
DataSpiderの処理を何かしらのきっかけを用いて自動実行する仕組みです。
・コントロールパネル
DataSpiderの各種設定をGUIで行うことのできる設定パネルです。
#DataSpiderの使い方
・DataSpiderの処理の概念
DataSpiderの処理の最小単位はスクリプトです。スクリプトは複数のアダプタや
その他制御アイコンによって形成されます。
連携処理一本が一つのスクリプトとお考えください。そのスクリプトの集合体がプロジェクトです。
プロジェクトの中に複数スクリプトを作成することができます。
・スクリプトの作り方
DataSpider Studio内にあるデザイナというツールを利用します。デザイナを開くと
キャンバスとツールパレットが表示されますので、ツールパレットより処理を行いたいアダプタのアイコンを
キャンバスに貼り付けて処理を作成します。
最後にStartアイコンからEndアイコンまでドラッグ＆ドロップで線を引いて完成です。
・Mapperの使い方
スクリプト内でデータの構造や値の変換を行いたい時にはMapperというツールを利用します。
入力と出力の処理をそれぞれ作りその間にMapperを作成すると、
・左側に入力元
・右側に出力先
のデータの構造が表示されます。
それぞれの項目をドラッグ＆ドロップでマッピングすることでデータの構造の変換が可能です。
また、ツールパレットがMapper用のものに切り替わってきますので、その中に含まれる関数アイコン
(ロジックアイコンと呼びます)をマッピングの間に挟むことで、データそのものの加工や変換が可能です。
#接続情報
・DataSpider Web版Studio（公開は終了しました）
user1~user10
URL:http://40.115.189.185:7700/WebStudio/
user11~user20
URL:http://40.115.190.235:7700/WebStudio/
user21~user30
URL:http://40.115.191.204:7700/WebStudio/
user31~user40
URL:http://40.115.166.9:7700/WebStudio/
user41~user50
URL:http://40.115.185.124:7700/WebStudio/
#ハンズオン手順
1.[新しいプロジェクト]をクリックしてプロジェクトを作成します。一緒にスクリプトも作成できます。
2.右側のツールパレットから[クラウド][Azure BLOBストレージアダプタ]を開きます。
3.[ファイルディレクトリ書き込み]のアイコンをキャンバスに向かってドラッグ＆ドロップします。
4.接続先をクリックして[AzureBLOBストレージ出力接続設定]を選択します。
ローカルディレクトリ：/data/dssxazure-demo/azure
ファイル/ディレクトリ名：input-predictive-user.csv
コンテナ名：recommendation
※処理の名称は任意
5.右側のツールパレットから[クラウド][Azure Machine Learning]を開きます。
6.[ジョブ実行]のアイコンをキャンバスに向かってドラッグ＆ドロップします。
7.接続先をクリックして[Azure Machine Learning接続設定]を選択します。
ジョブ実行完了を待機するにチェック
Web service inputに渡すBLOBを指定するにチェック
接続先BLOBストレージ：Azure BLOBストレージ接続設定
コンテナ名から始まるBLOBのパス：recommendation/input-predictive-user.csv
※処理の名称は任意
8.スクリプト変数の設定
directory、filedirectoryの二つを作成します。
9.変数Mapperの設定を行います。
[基本][処理]を開きます。
10.[変数代入]のアイコンをキャンバスに向かってドラッグ＆ドロップします。
11.MapperのアイコンをダブルクリックしてMapperの画面を開きます。
12.右側ツールパレットから[文字列][変換]を開きます。
13.[正規表現置換]のアイコンを設定画面中央に向かってドラッグ＆ドロップします。（2回）
14.正規表現置換アイコンを開きそれぞれに設定を行います。
①
置換前文字列(正規表現パターン)：(^.+)\∕(.+)\∕(.+)$
置換後文字列：$2
②
置換前文字列(正規表現パターン)：(^.+)\∕(.+)\∕ (.+)$
置換後文字列：$3
15.入力データ[AzureMLのWebサービスを実行する]-[job]-[output]のrelative_location
とアイコン①と出力データ[スクリプト変数]-[directory]をつなぎます。
16.入力データ[AzureMLのWebサービスを実行する]-[job]-[output]のrelative_location
とアイコン②と出力データ[スクリプト変数]-[filedirectory]をつなぎます。
17.右側のツールパレットから[クラウド][Azure BLOBストレージアダプタ]を開きます。
18.[ファイル/ディレクトリ読み取り]のアイコンをキャンバスに向かってドラッグ＆ドロップします。
19.接続先をクリックして「Azure BLOBストレージ出力接続設定」を選択します。
コンテナ名：experimentoutput
仮想ディレクトリ：変数設定 ${directory}
ファイル/ディレクトリ名：変数設定 ${filedirectory}
ローカルディレクトリ： /data/dssxazure-demo/azure
ファイルが存在する場合は上書きするにチェック
※処理の名称は任意
20.Startアイコン、BLOBアイコン、MachineLearningのアイコン、BLOBアイコン、Endアイコンと線を引きます。
(Mapperは設定した段階でプロセス（黒）及びデータ（黄）の線で結ばれています）
21.実行ボタンを押下してスクリプトを実行します。