こんにちはMitzです。データ統合(CDI : Cloud Data Integration)編、アプリケーション統合(CAI : Cloud Application Integration)編に続いて、データ取り込みおよびレプリケーション（CDIR : Cloud Database Ingestion and Replication）編の換算早見表を作成してみました。
まだなじみが薄いと思いますが、データ取り込みおよびレプリケーション（CDIR : Cloud Database Ingestion and Replication）は、以前、一括取り込み（CMI : Cloud Mass Ingestion）と呼ばれていたサービスです。
データ取り込みおよびレプリケーション（CDIR : Cloud Database Ingestion and Replication）
データ取り込みおよびレプリケーションについてはこの6つのメーターが全てです。データベースファイルとアプリケーションには増分ロードの機能が存在し、初期ロードはデータ量、増分ロードは行数がIPUの消費のメトリックとなっているため、それぞれ二つのメーターが存在します。
- File Ingestion and Replication (formerly Mass Ingestion Files)
- Streaming Ingestion and Replication (formerly Mass Ingestion Streaming)
- Database Ingestion and Replication (formerly Mass Ingestion Database)
- Database Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Database - Change Data Capture)
- Application Ingestion and Replication (formerly Mass Ingestion Application)
- Application Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Application - Change Data Capture)
ファイル取り込みおよびレプリケーション
File Ingestion and Replication (formerly Mass Ingestion Files)
Informatica Cloud and Product Description Scheduleには下記の通り記載されています。Tierが二つで、上位のTierではIPUの消費レートが半分になっただけなので計算しやすいですね。
- Scalar: Data Volume
- Metric: Per Gigabyte
- IPU Per Metric Unit:
- 0.03 for the first 5TB
- 0.015 for > 5TB
これは、5TB以内は1GB毎に0.03 IPUを消費し、5TBを超えた場合は1GB毎に0.015 IPUを消費するという意味です。
| Data Volume Per Gigabyte |
必要IPU数 | 消費レート |
|---|---|---|
| 1 | 0.03 | 0.03 IPU / GB |
| 10 | 0.3 | ↑ |
| 100 | 3 | ↑ |
| 1000 | 30 | ↑ |
| 2000 | 60 | ↑ |
| 3000 | 90 | ↑ |
| 4000 | 120 | ↑ |
| 5000 | 150 | ↑ |
| 6000 | 165 | 0.015 IPU /GB |
| 7000 | 180 | ↑ |
| 8000 | 195 | ↑ |
| 9000 | 210 | ↑ |
| 10000 | 225 | ↑ |
最初のTierでは1TB処理するのに30 IPU必要だったのが、次のTierでは同じ1TB処理するのに必要なのは15 IPUになっています。これをグラフ化すると下記の通りです。
ストリーミング取り込みおよびレプリケーション
Streaming Ingestion and Replication (formerly Mass Ingestion Streaming)
Informatica Cloud and Product Description Scheduleには下記の通り記載されています。こちらもTierが二つで、上位のTierではIPUの消費レートが半分になっただけなので計算しやすいですね。
- Scalar: Data Volume
- Metric: Per Gigabyte
- IPU Per Metric Unit:
- 0.27 for the first 1TB
- 0.135 for > 1TB
これは、1TB以内は1GB毎に0.27 IPUを消費し、1TBを超えた場合は1GB毎に0.135 IPUを消費するという意味です。
| Data Volume Per Gigabyte |
必要IPU数 | 消費レート |
|---|---|---|
| 1 | 0.27 | 0.27 IPU / GB |
| 10 | 2.7 | ↑ |
| 100 | 27 | ↑ |
| 1000 | 270 | ↑ |
| 2000 | 405 | 0.135 IPU / GB |
| 3000 | 540 | ↑ |
| 4000 | 675 | ↑ |
| 5000 | 810 | ↑ |
最初のTierでは1TB処理するのに270 IPU必要だったのが、次のTierでは同じ1TB処理するのに必要なのは135 IPUになっています。これをグラフ化すると下記の通りです。
データベース取り込みおよびレプリケーション
Database Ingestion and Replication (formerly Mass Ingestion Database)
初期ロードについてはInformatica Cloud and Product Description Scheduleには下記の通り記載されています。
- Scalar: Data Volume
- Metric: Per Gigabyte
- IPU Per Metric Unit:
- 0.1 for the first 2TB
- 0.08 for 2TB - 10TB
- 0.05 for 10TB - 25TB
- 0.018 for > 25TB
これは、2TB以内は1GB毎に0.1 IPUを消費、2TBを超えて10TB以下の場合は1GB毎に0.08 IPUを消費、10TBを超えて25TB以下の場合は1時間毎に0.05 IPUを消費、25TBを超えた場合は1時間毎に0.018 IPUを消費するという意味です。
| Data Volume Per Gigabyte |
必要IPU数 | 消費レート |
|---|---|---|
| 1 | 0.1 | 0.1 IPU / GB |
| 10 | 1 | ↑ |
| 100 | 10 | ↑ |
| 1000 | 100 | ↑ |
| 2000 | 200 | ↑ |
| 3000 | 280 | 0.08 IPU / GB |
| 4000 | 360 | ↑ |
| 5000 | 440 | ↑ |
| 6000 | 520 | ↑ |
| 7000 | 600 | ↑ |
| 8000 | 680 | ↑ |
| 9000 | 760 | ↑ |
| 10000 | 840 | ↑ |
| 11000 | 890 | 0.05 IPU / GB |
| 15000 | 1090 | ↑ |
| 20000 | 1340 | ↑ |
| 25000 | 1590 | ↑ |
| 26000 | 1608 | 0.18 IPU / GB |
| 27000 | 1626 | ↑ |
| 30000 | 1680 | ↑ |
最初のTierでは1TB処理するのに100 IPU必要だったのが、次のTierでは同じ1TB処理するのに必要なのは80 IPUになり、さらに次のTierでは50 IPUとなり、最終的には18 IPUになっています。これをグラフ化すると下記の通りです。
Database Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Database - Change Data Capture)
増分ロードについてはInformatica Cloud and Product Description Scheduleには下記の通り記載されています。
- Scalar: Rows
- Metric: Per Million Rows
- IPU Per Metric Unit:
- 6.5 for the first 15M Rows
- 0.55 for 15M - 750M Rows
- 0.05 for > 750M Rows
これは、1千5百万行以内は100万行毎に6.5 IPUを消費し、1千5百万行を超えて7億5千万行以内は100万行毎に0.055 IPUを消費し、7億5千万行を超えた場合は100万行毎に0.05 IPUを消費するという意味です。
| Rows Per Million Rows |
必要IPU数 | 消費レート |
|---|---|---|
| 1M | 6.5 | 6.5 IPU / GB |
| 5M | 32.5 | ↑ |
| 10M | 65 | ↑ |
| 15M | 97.5 | ↑ |
| 30M | 105.75 | 0.55 IPU / GB |
| 150M | 171.75 | ↑ |
| 300M | 254.25 | ↑ |
| 750M | 501.75 | ↑ |
| 765M | 502.5 | 0.05 IPU / GB |
| 780M | 503.25 | ↑ |
15M行処理するのに最初のTierでは97.5 IPU必要だったのが、次のTierでは8.25 IPU、最上位のTierでは必要なのは0.75 IPUになっています。これをグラフ化すると下記の通りです。
Database Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Database - Change Data Capture)におけるRowsの計算について
ソースの変更ログから読み込まれた行数で決まるのですが、同一行に対して複数の変更が発生している場合には、1行としてカウントされるようです。
アプリケーション取り込みおよびレプリケーション
Application Ingestion and Replication (formerly Mass Ingestion Application)
初期ロードについてはInformatica Cloud and Product Description Scheduleには下記の通り記載されています。データベース取り込みおよびレプリケーションの初期ロードと同一内容の為、説明は省略します。
- Scalar: Data Volume
- Metric: Per Gigabyte
- IPU Per Metric Unit:
- 0.1 for the first 2TB
- 0.08 for 2TB - 10TB
- 0.05 for 10TB - 25TB
- 0.018 for > 25TB
Application Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Application - Change Data Capture)
増分ロードについてはInformatica Cloud and Product Description Scheduleには下記の通り記載されています。
- Scalar: Data Volume
- Metric: Per Million Rows
- IPU Per Metric Unit:
- 6.00 for the first 10M Rows
- 0.2 for > 10M Rows
これは、1千万行以内は100万行毎に6 IPUを消費し、1千万行を超えた場合は100万行毎に0.2 IPUを消費するという意味です。
| Rows Per Million Rows |
必要IPU数 | 消費レート |
|---|---|---|
| 1M | 6 | 6 IPU / GB |
| 5M | 30 | ↑ |
| 10M | 60 | ↑ |
| 15M | 61 | 0.2 IPU / GB |
| 20M | 62 | ↑ |
10M行処理するのに最初のTierでは60 IPU必要だったのが、最上位のTierでは必要なのは2 IPUになっています。これをグラフ化すると下記の通りです。
Application Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Application - Change Data Capture)におけるRowsの計算について
ソースの変更ログから読み込まれた行数で決まるのですが、同一行に対して複数の変更が発生している場合には、1行としてカウントされるようです。