dashDBデータロード方法
2016年3月時点でdashDBへのデータロード方法としては、いくつかの種類があります。今回はBeta版ですが、大容量データ高速転送ソリューションであるAsperaを使用したデータロード方法(Load from Desktop Aspera)についてテストした結果を記載したと思います。参考:Aspera概要
- Load from Desktop
参考:BluemixでAnalytics 〜dashDBにデータをロードしてみる
- Standard
- Aspera (Beta版:2016年3月時)★今回はこちらをご紹介します。★
- Load from Cloud
- Amazon S3
- SoftLayer Object Storage
- Load from Geo Spacial
- Load with Data Works
- Synchronizing data from Cloudant database
Asperaを使用したdashDBデータロードの制限事項
2016年3月時点ではdashDB コンソールよりLoad from DesktopからAsperaを使用してファイルをアップロードする場合、下記のような制限があります。dashDBマニュアルに記載がありましたのでのせておきます。※dashDB Knowledge Center What's New (Update Dec 17, 2015):
Restrictions:*
1. This feature is currently in BETA, and subject to the limitations of the dashDB terms of service.
2. Each load using this feature is limited to a maximum file size of 400 MB for Entry plan users and 2 GB for Enterprise plan users.
(1ファイル当たりのサイズ制限、エントリープラン:400MB、エンタープライズプラン:2GBまで)
Asperaを使用したdashDBデータロード方法 (①.ファイル転送・アップロード)
Asperaを使用してdashDB Webコンソールからデータをロードするためには、まずクライアント側に無料のAspera Connectを導入する必要があります。Aspera Connectはこちらからダウンロードすることが可能です。Aspera Connectのダウンロードが終わったら、dashDBのWebコンソール画面にアクセス、左側にあるメニューからLoad from desktopをクリックして、Aspera(Beta)を選択します。
1.01GBのファイルを135秒(7.6MB/sec)でアップロードできるのは便利ですね！今回は日本(自宅：AU光1Gbps)からUSダラスDC(dashDBロケーション)にファイルがアップロードされたのだと思いますので、7.6MB/secはなかなかよい速度ではないかと思います。ファイル転送の速度は距離やクライアント側のネットワーク帯域、回線速度に影響するので転送速度は完全に参考値です。メリットとして、AWS S3やSoftLayer Object Storageのような転送料金やストレージ領域がかかるわけではないので、単発で少し大きなファイルを送りたい場合は非常にコストパフォーマンスがよいですね。ただ1ファイルあたりの転送制限やWebコンソールから抜けるとデータの再アップロードが必要となるため、クラウドストレージとの使いわけは必要そうです。数十MB-2GB単位ぐらいまででファイルが細かく分割されていないファイルを送る分にはかなり便利な機能ではないかと思います。
Asperaを使用したdashDBデータロード方法 (②.DBへのロード)
Asperaを使用してファイルをアップロードした後に、dashDBへのデータロードを行います。この肯定は基本的にLoad from Desktopの通常版(Standard)と全く同じです。参考までにdashDBへのロードまでの手順を記載しておきます。
以上です。dashDBへのデータロードは画面遷移に従って進めればロードジョブが走るようになっていますので、特に迷うところはないかと思います。ターゲット表にロードできるように表定義に合うCSVが用意できていれば、だれでもロードできますね。今回の記事は以上です。次はRestAPI cURLを使用したデータロードでも試してみたいと思います。
参考文献
チュートリアル動画: Supercharge your dashDB data load with IBM Aspera
Load Large files into dashDB with Aspera
Getting Loaded FAST with IBM dashDB and Aspera