Edited at

IBM Cloud Object Storage(ICOS)へのファイルアップロードをAsperaで高速化!


はじめに

Asperaを使ってIBM Cloud Object Storage(ICOS)へのファイルアップロードを高速に行えるようになりました!(しかもアップロード時は追加費用無くAsperaを使えます!)

https://www.ibm.com/blogs/bluemix/2018/03/ibm-cloud-object-storage-simplifies-accelerates-data-to-the-cloud/

https://console.bluemix.net/docs/services/cloud-object-storage/basics/upload.html#high-speed-transfer

Asperaは、IBMの大容量データ転送用のソフトウェアです。TCPでなく、UDPをベースとしたFASPという特許取得済みのプロトコルを用いて転送を行うため、距離によるLatencyに影響を受けません。つまり、ネットワーク越しに大容量ファイルを転送するのに大変適したソフトウェアです。

https://www-01.ibm.com/software/jp/info/aspera/

IBM CloudでObject Storage(ICOS)を使うと、このAsperaを使って高速にデータをアップロードできるようになりました。

早速試してみました。


ICOSのオーダー

IBM Cloudのカタログから、オブジェクト・ストレージを作成します。

ライトプランでもAspera機能は使えます。

バケットを作成します。

2018年3月27日時点で、Asperaに対応しているICOSロケーションはus-southのRegionalのみなので、そこを選択します。

バケット作成後、「オブジェクトの追加」ボタンを押すと、Aspera高速転送が選べるようになっています。

初回は、Asperaクライアントのインストーラーをダウンロードし、PCにインストールします。


AsperaクライアントをPCにインストール

ダウンロードしたインストーラーを実行し、PCにAsperaクライアントをインストールします。


Asperaを使ってICOSにファイルアップロード

インストールが終わると、ブラウザの管理ポータルから、Asperaの機能を使ってアップロードが可能になります。

転送が進むに従い、「状況」のバーが進捗していきます。

完了。500MBのファイル転送が約3分で完了しました。(追記:自分のPCからインターネット越しにアップロードしたので、PC側のインターネット接続がネックになっていた可能性はあります。IBM Cloud上のサーバーからICOSへのアップロードでは1Gbps以上のスループットが出ている例も目にしました。)

従来の転送方式(HTTPS)の場合、ブラウザ画面からアップロードできるのは1ファイルあたり最大200MBという上限がありましたので、それが無くなっているのも嬉しいですね。

なお、従来の転送方式(HTTPS)で上限に達しない程度のファイルを使って同様に試したところ、転送レートはAsperaの方が3倍ほど速い結果となりました。(試す環境によって結果は異なる可能性があります)

また、ファイルのダウンロードにもAsperaを使うことができます。


価格

Asperaを使ったダウンロードに課金される体系となっています。

Asperaを使ったアップロードには追加費用はかかりません。個人的な経験として、重いファイルをクラウドにアップロードする部分が悩みどころになることが多いので、そこが追加費用なく高速化できるのは、非常に良いと思いました。

https://www.ibm.com/cloud-computing/bluemix/pricing-object-storage#s3api


その他の設定

PCにインストールされたクライアントソフト(Aspera Connect)の設定画面で、転送に関する設定を変更可能です。


他の転送手段

サイズが大きい場合は(経験上は数TB以上)、物理媒体で郵送するのが一番効率がよいという話になります。

数TBであれば、Data Transfer Servicesを使い、自身で準備した外付けHDDを郵送するのが便利です。

https://console.bluemix.net/docs/infrastructure/DataTransferService/index.html#getting-started-with-data-transfer-service

https://www.slideshare.net/softlayerjp/bring-to-media-to-softlayer-tokyo-dc

数十TB以上であれば、Mass Data Migrationのサービスを使い、最大120TB/台を保存できる専用ストレージ装置で物理輸送するのが効率が良いと考えられます。

https://www.ibm.com/cloud/mass-data-migration