概要
データをDb2 on Cloud/Db2 Warehouse on Cloud (以下Db2WoCと表記)へロードするため、
IBM Cloud内へのデータ転送方法や、データベースへのデータロード・ツールが 複数提供されており、
環境やデータサイズなど状況に合わせた使い分けができます。
本記事では、各手法・ツールについて 紹介します。
手法
Db2 on CloudやDb2WoCへの データロードを行う場合、
大まかに 以下のような状況が 想定されます。
それぞれの状況に適した 手法/ツールを、以下に記述します。
(1) データロード方法(データがファイルの場合)
データがファイル形式の場合、データロードするための手法がいくつか用意されています。
各手法と特徴を 以下の表に記述します。
元データがファイルの場合のデータロード方法
ツール/手法 | 特徴 |
Webコンソール(Load from Desktop) |
- ローカルからDb2 on Cloud, Db2WoC へ、小規模データをロードする場合に 有用な手法
- Webコンソールへのドラッグ&ドロップによりDb2 on Cloud, Db2WoC環境へのファイル転送からロードまで実施する
- テーブルは、移行先のDb2 on Cloud, Db2WoC環境に事前に作成しておく必要がある(Webコンソール上で実行可能)
- データサイズ:500MB未満
- 参考:
|
Webコンソール( Load from Cloud Storage(ICOS, S3) ) |
- クラウドストレージ(S3, ICOS)からDb2 on Cloud, Db2WoC へ、小規模データをロードする場合に 有用な手法
- Webコンソール上で、クラウドストレージ(S3, ICOS)にある データファイル(CSV)を選択し、Db2 on Cloud/Db2WoC環境へのファイル転送・ロードを実施する
- テーブルは、移行先のDb2 on Cloud, Db2WoC環境に事前に作成しておく必要がある(Webコンソール上で実行可能)
- データサイズ:ホーム・ディレクトリーのフリー・スペースの 80% 以内のサイズの場合
- 参考:
|
LOADコマンド |
- 従来からDb2で利用可能なデータ移動コマンド
- 主に行指向テーブルへのデータ取り込みに多く利用され、実績が多い
- クラウドストレージ(ICOS, S3など)からデータロード可能
- 参考:
|
外部表ロード |
- ファイルをDB表としてアクセスする手法、データ移行にも活用可能
- ターゲット表が列指向テーブルである場合、特に高速
- クラウドストレージ(ICOS, S3など)からデータロード可能
- 参考:
|
メールインドライブ |
- USB ドライブを IBM に郵送し、使用中のデータベース・インスタンスにデータを直接ロードできる
- USB ドライブは IBM データ・センターでホストされるので、データは専用データ・センター・ネットワークを介して転送される
- ドライブ暗号化にも対応
- データ・セットのサイズとネットワークの転送速度のサンプルは以下の通り
- (データセットサイズ, データ転送速度)・・・
(8TB, 70 Gb/時間),
(4TB, 35 Gb/時間),
(2TB, 16 Gb/時間),
(1TB, 8 Gb/時間)
- このオプションの支援が必要な場合は、IBM Cloud Data Services 営業担当員に問い合わせるか、dashDB_Info@wwpdl.vnet.ibm.com 宛にメールを送信する
- 参考:
|
(2) データロード方法(データがDBに格納されている場合)
データがDBに格納されている場合、データロードするための手法がいくつか用意されています。
各手法の特徴を 以下の表に記述します。
元データがDBに格納されている場合のデータロード方法
ツール/手法 | 特徴 |
カタログ経由のカーソルロード |
- 中間ファイル生成不要なデータ移行方法であり非常に高速
- ソースはDb2限定
- カタログ作成はサポート部門に依頼する必要あり
- テーブル その他のオブジェクト定義は db2look で移行
- 参考:
|
ニックネーム経由のカーソルロード |
- 中間ファイル生成不要なデータ移行方法であり非常に高速
- ソースDBとして他社製DB(Oracle, SQL Server等)も利用可
- フェデレーションとしてサポートされるDBであることが条件
- テーブルその他のオブジェクト定義は db2look で移行
- ターゲット表が行指向テーブルである場合に高速
- 参考:
|
ニックネーム経由のINSERT(外部表) |
- ターゲット表が列指向テーブルである場合に高速
- テーブルその他のオブジェクト定義は db2look で移行
- 参考:
|
Db2 Migration Service ツール |
- Tech Preview, 2022年10月時点では実働環境で使用不可
- インストールが必要、2022年10月時点Linuxのみサポート
- 移行可能な組み合わせ:
- Db2 から Db2
- Db2 をクラウド・プラットフォーム上の Db2 に
- Db2 ファイルを Db2 に
- Db2 を Db2 ファイルに
- Netezza から Db2
- db2cloneを使用して Db2 データベースを複製する。(to Db2U)
- 参考:
|
(3) 大容量データをIBM Cloudへ持ち込むための方法
テラバイト単位からペタバイト単位までのデータを IBM Cloud に持ち込みたい場合には、
物理的に転送するための手法が用意されています。
手法と特徴を 以下の表に記述します。
大容量データをIBM Cloudへ持ち込むための方法
ツール/手法 |
特徴 |
IBM Cloud Mass Data Migration Service |
-
IBM Cloud Mass Data Migration Service (MDMS) デバイスを使用
- IBM Cloudの外にあるデータをICOSへ物理的に転送する
- 装置1つあたりの記憶容量:120TB
- 参考:
|
補足
ソースDBからのデータ抽出/クラウドへの転送/ロードを行うCUIツールとして提供されていましたIBM Lift CLIは、2022年4月に廃止されました。
・What's New in IBM Db2 Warehouse on Cloud > 14 April 2022
https://www.ibm.com/support/pages/whats-new-ibm-db2-warehouse-cloud
参考情報
・Db2 v11.5
https://www.ibm.com/docs/ja/db2/11.5
・IBM Db2 on Cloud
https://www.ibm.com/docs/ja/db2oc
・IBM Cloud資料:Db2 on Cloud
https://cloud.ibm.com/docs/Db2onCloud
・IBM Db2 Warehouse on Cloud
https://www.ibm.com/docs/ja/db2woc
・IBM Cloud資料:Db2 Warehouse on Cloud
https://cloud.ibm.com/docs/Db2whc