はじめに
こんにちは。すぎもんです。😀
DataSpider Servistaを使用した、Amazon S3とのアップロードをやってみました。
本記事ではDataSpiderとAmazon S3を連携させ、オンプレミス環境からクラウド環境へデータをアップロードする方法をご紹介いたします。
※ Amazon S3はAmazon Web Servicesが提供するオブジェクトストレージサービスです。
今回やること
まずAmazon S3上にバケットの作成とアクセスキーの取得を行います。
次にDataSpiderとAmazon S3を接続させるためのグローバルリソースを作成し、バケットへの書き込み処理を行うスクリプト作成・実行までを行っていきます。
今回デモを行う環境は、下記のような構成になっています。
検証手順
- ＜AWSの設定＞
- ①Amazon S3にバケットを作成
- ②アクセスキーの作成
- ＜DSSの設定＞
- ③グローバルリソースの作成
- ④スクリプトの作成
AWSの設定
①Amazon S3にバケットを作成
まずはローカルからファイルを格納するためのバケットを用意していきます。
AWSコンソールを起動し [S3] を選択します。
次に [バケット] を選択し、
[バケットを作成] を押下します。
任意のバケット名を入力しますが、今回はdssdemos3と命名します。
最後に [バケットを作成] を押下したら完了です。
一覧から先ほど作成したバケットのdssdemos3を選択します。
バケット内にまだオブジェクトがないことが分かります。
②アクセスキーの作成
次にDataSpiderからAmazon S3に接続するためのアクセスキーの作成を行っていきます。
右上の [ユーザー名] を選択し、[セキュリティ認証情報] を押下します。
[アクセスキーを作成] を押下します。
ステップ１：主要なベストプラクティスと代替案にアクセスするではユースケースに [その他] を選択し、[次へ] を押下します。
ステップ２：説明タグを設定 では [アクセスキーを作成] を押下します。
[説明タグ値] はオプションのため、入力は必須ではありません。
ステップ３：アクセスキーを取得では 「アクセスキー」 と 「シークレットアクセスキー」 の保存を行ってください。
ここがアクセスキーとシークレットアクセスキーを表示・ダウンロードできる唯一の機会です。
最後に [.csv ファイルをダウンロード] と [完了] を押下します。
ダウンロードしたら アクセスキー と シークレットアクセスキー を確認します。
以上でAWS側の設定は終わりです。
DSSの設定
③グローバルリソースの作成
次にAmazon S3に接続するためのグローバルリソースを作成していきます。
起動したDataSpider Studioのデスクトップから 「コントロールパネル」 を選択します。
[グローバルリソースの設定] から、
[新しいグローバルリソースの作成] を押下します。
[クラウド]－[Amazon S3] タブから [S3] アイコンを選択し、[次へ] を押下します。
今回、 [接続名] にはデフォルトの「Amazon S3接続設定」を指定します。
[Access Key ID] と [Secret Access Key] には、先ほど取得した アクセスキーとシークレットアクセスキーを入力します。
[Endpoint] を空欄にした場合は s3.amazonaws.com が適応されます。
[接続テスト] を押下し、下記の通りのダイアログが確認できれば接続成功です。👌
④スクリプトの作成
今度は新規でプロジェクトとスクリプトを作成していきます。
DataSpider Studioのデスクトップから 「新規プロジェクト」 を選択します。
[プロジェクト名] フィールドに任意の名前、今回はAWS S3と入力し [次へ] を押下して進みます。
[スクリプト名] フィールドにも任意の名前、今回はS3接続と入力し [完了] を押下します。
ローカルのフォルダ/dataに、バケットにアップロードするためのファイルTEST.txtを配置します。
デザイナ画面右側にあるツールパレットの 「クラウド」 カテゴリから [Amazon S3]－[ファイル/フォルダ書き込み] オペレーションを選択し、デザイナ中央部分にドラッグ&ドロップします。
名前と必須設定の項目に下記の通り入力し、
| 項目名 | 設定値 | 説明 |
|---|---|---|
| 名前 | amazon_s3_put | スクリプトキャンバス上での名前を入力します |
| 接続先 | Amazon S3接続設定 | グローバルリソースをローバルリソースを選択します。 |
| ローカルディレクトリ | /data | DataSpiderファイルシステムのディレクトリパスを入力します。 |
| ローカルファイル/ディレクトリ名 | TEST.txt | DataSpiderファイルシステム上のファイル/ディレクトリを指定します。 |
| Bucket名 | dssdemos3 | Bucketを指定します。 |
| フォルダパス | / | Amazon S3のフォルダパスを入力します。 |
[完了] を押下します。
最後に、[Start] から [amazon_s3_put] 、 [amazon_s3_put] から [End] までドラッグ&ドロップして線を引きます。
これでスクリプトの完成です。
スクリプトの実行
それでは実際に処理を実行して、結果をみてみましょう。
まずはツールバーから [スクリプトの実行] ボタンを押下します。
「スクリプトの実行」ダイアログから、処理が正常に成功したことが確認できます。
実行履歴ビューで、スクリプトの実行処理時間が確認できます。
バケットのdssdemos3に 「TEST.txt」 があることが確認できました。👍
最後に
今回はDataSpiderを使用したAmazon S3へのファイルの格納を紹介しましたが、いかがでしたでしょうか。
オブジェクトストレージへのアップロードは複雑なスクリプトを組む必要があると考えていたのですが、非常に簡単に作成を進めることが出来ました。
本記事を参考に是非皆様も試してみてください。
このブログでは、今後も様々なTopics記事や接続検証等、皆さんの参考になるような記事を投稿していきたいと思います！
ここまで読んでいただきありがとうございました。それでは、また！👋