NTTデータ ソリューション事業本部 デジタルサクセスソリューション事業部 の nttd-nagano です。
12月13日の記事 で、Informaticaのクラウドデータマネージメントプラットフォーム「Intelligent Data Management Cloud」（※1）をご紹介しましたが、今回は、そのIDMCのデータ統合サービスである「Cloud Data Integration」（※2）と、同社の旧来のデータ統合製品である「PowerCenter」を比べ、その違いをまとめてみました。
記事が長くなってしまったため、全4回に分割してご説明しております。
前回は第3回目として「マッピングを包む定義体とその実行方法や実行状況の確認方法の比較」「コマンドでの実行方法の比較」「パラメーターの比較」をご説明しました。
今回は第4回目として「バージョン管理方法の比較」「管理者作業の比較」「機能面での進化」をご説明します。
※1. Intelligent Data Management Cloud
略称はIDMC。旧称はIICS。クラウドデータマネジメントプラットフォーム。以下IDMCと記載。※2. Cloud Data Integration
略称はCDI。データ統合サービス。ETL処理（※3）やELT処理（※4）を担う。以下CDIと記載。
「データ統合」というのは、ETL（※3）と呼ばれていたこともある領域の処理です。
※3. ETL処理
データベースなどに蓄積されたデータから必要なものを抽出（Extract）し、目的に応じて変換（Transform）し、データを必要とするシステムに格納（Load）すること。※4. ELT処理
ETL処理（※3）と対比して使われることが多い言葉。データ統合処理の順序を従来型のE→T→Lの順ではなく、E→L→Tの順でおこなう。近年ではDBMSの性能が爆発的に向上したことから、その性能を有効活用するために使われる手法｡なお、IDMCにはCDIをはじめ様々なサービスがありますが、本記事はPowerCenterとの比較であるため、CDIのみにフォーカスしてご説明していきます。
バージョン管理方法の比較
- PowerCenterでは、チームベース開発オプションを購入している場合、バージョン管理をおこなうことができました 。
- 一方、CDIでは、バージョン管理サービスである「GitHub」または「Azure DevOps Git」を使用することができます。 詳細は 公式ドキュメントのOrganization管理のソース管理 および 公式ドキュメントのアセットの管理のソース管理 および 公式KB「FAQ: All about Source Control (Version Control) in IICS」 をご覧ください。
- PowerCenterクライアントでは、チームベース開発オプションでのバージョン管理のほかに、リポジトリオブジェクトをXMLファイルにエクスポートしたり、そのXMLファイルからリポジトリオブジェクトをインポートしたりできました。 そして、そのXMLファイルを外部のバージョン管理システムで管理することができました。
- 一方、CDIでも、アセットをZIPファイルにエクスポートしたり、そのZIPファイルからアセットをインポートすることができます。 詳細は、公式ドキュメントのアセットの管理 および 公式ドキュメントのREST API および 公式KB「IICS Asset Management CLI V2 Utility: Command Reference Guide」 をご覧ください。そして、そのZIPファイルを外部のバージョン管理システムで管理することができます。なお、インポート時には「プロジェクト」「接続」「ランタイム環境」を差し替えることができます。
管理者作業の比較（権限管理、コネクタ管理）
公式の動画「Administration - Users, Groups, and Permissions」および「Administration - Adding Connectors and Packages in IICS」をベースに筆者の解釈を交えて説明します。
- PowerCenterでは、Informatica Administratorを使って、管理者作業をしていました。
- 一方、CDIでは、アプリケーションピッカーで「管理者」をクリックすると、管理者作業をすることができます。 例：「Organizationの設定」「ライセンスの管理」「SAML認証の設定」「IPU（Informatica Processing Units。前払いで購入したIDMC用のクレジット）の使用状況の確認」「ソース管理の設定」「ユーザーの管理」「ユーザーグループの管理」「ロール管理」「ランタイム環境（Agent）の管理」「サーバレス環境」「接続の管理」「アドオンコネクタの管理」「イベント確認（ログイン履歴など）」
- 「管理者」画面の詳細は、 公式ドキュメントをご覧ください。（Organization管理 、 ユーザー管理 、 ランタイム環境）
- ここでは、上記のうち、「ユーザー管理」「ロール管理」「SAML認証の設定」「アドオンコネクタの管理」についてご説明します。
- 「ユーザー」は、Organizationへのセキュアアクセスを許可された個人のCDIのアカウントです。
- 「ユーザー」は、割り当てられた「ロール」（特権を管理する定義体）に基づいてタスクを実行したり、アセットにアクセスしたりできます。
- 「ロール」はユーザーに直接割り当てることもできますし、ユーザーグループに割り当てることもできます。
- さらに、IDMC専用のユーザーでログインするのではなく、サードパーティのアイデンティティプロバイダー使ってSAML認証するための設定もあります。 詳細は、公式ドキュメント をご覧ください。
- さて、PowerCenterでは、新しいコネクタを追加したい場合、まずInformaticaのアカウントチームに連絡してリクエストを作成する必要がありました。承認されると、一時的なライセンスキーとソフトウェアをダウンロードするための情報が送られてきました。そして、コネクタを手作業でPowerCenter環境にインストールする必要がありました。
- 一方、CDIでは、セルフサービスで新しいコネクタを試すことができます。
- まず、CDIにログインして、アプリケーションピッカーで「管理者」を選びます。次に、画面左の「アドオンコネクタ」をクリックしします。セルフサービスで試用できる様々なコネクタの一覧が表示されます。「無料トライアルを開始する」ボタンをクリックすると、CDIは自動的にダウンロードを開始し、ソフトウェアをインストールします。選択したコネクタにもよりますが、これには最大30分かかります。
- インストールが完了したら、画面左にて「接続」をクリックすると、新しいコネクタが自動的に利用可能になっています。
- コネクタの使用方法の詳細は、 公式ドキュメント をご覧ください。
機能面での進化
公式の動画「CDI Functionality」をベースに筆者の解釈を交えて説明します。
- 使い勝手がよくなった
-
「同期タスク」
連携元と連携先でデータを同期するためのタスクです。マッピングタスクを作る際はマッピングデザイナーを操作する必要がありましたが、同期タスクを作る際はウィザード形式でより簡単に作れます。同期タスクの詳細は、 公式ドキュメント をご覧ください。 -
「データプレビュー」
マッピングの任意のトランスフォーメーションの時点でのデータをプレビューできる機能です。PowerCenterのデバッガ でやっていたようなことができます。データプレビューの詳細は、 公式ドキュメント をご覧ください。
-
「同期タスク」
- モダンな統合ユースケースに対する包括的な支援機能がある
- クラウドデプロイへ最適化されている
-
クラウドデータウェアハウスへのプッシュダウン
Snowflake 、AWS Redshift 、Azure Synapse Analytics 、Google Cloud BigQuery などにプッシュダウンすることができます。これを適用すると、CDIはマッピング処理をSQLクエリに変換し、そのSQLクエリをクラウドデータウェアハウス側に送信します。SQLクエリはクラウドデータウェアハウスで実行されます。マッピングのターゲットに対して適用した場合、伝統的なETL処理（Extract-Transformation-Load）ではなく、モダンなELT処理（Extract-Load-Transformation）となり、効率よく処理できます。 この機能はマッピングタスクの「詳細セッションプロパティ」で設定できます。プッシュダウン最適化の詳細は、各コネクタ毎に公式ドキュメントをご覧ください。たとえば、Snowflakeであれば、 こちら です。 -
Advanced Serverless
従来のSeucre Agentはオンプレやクラウドのマシンにインストールするものでしたが、完全にInformaticaのネットワーク上のマシンにホストされたAgentを使うこともできます。「管理者」の「サーバレス環境」で設定できます。詳細は、 公式ドキュメント をご覧ください。
-
クラウドデータウェアハウスへのプッシュダウン
おわりに
以上、「PowerCenterとCDIの違いをまとめてみた」の第4回目でした。
全4回に渡ってお送りしてきた「PowerCenterとCDIの違い」ですが、いかがでしたでしょうか。
差異はありつつも、劣化ではなく、進化していることが分かっていただけたかと思います。
PowerCenterはすでに新規の販売を終了しています。
いずれ保守期限を迎えますので、Cloud Data Integrationへの乗り換えをご検討ください。
CDIのCDIは30日間の無料体験ができる ので、この機会に試してみてはいかがでしょうか。
なお、PowerCenterの既存の定義体をCloud Data Integrationへマイグレーションするノウハウ・サービスもあり、弊社がお取次ぎできます。 こちら からお問い合わせください。
CDIには今回ご紹介したCDIの他にも、API統合、マスターデータ管理、データガバナンス関連など様々なサービスがあります。
これらについても、今後、当Organization の記事でご紹介していく予定ですので、ご興味がございましたらご覧ください。
仲間募集
NTTデータ ソリューション事業本部 では、以下の職種を募集しています。
1. クラウド技術を活用したデータ分析プラットフォームの開発・構築(ITアーキテクト/クラウドエンジニア)
クラウド／プラットフォーム技術の知見に基づき、DWH、BI、ETL領域におけるソリューション開発を推進します。
https://enterprise-aiiot.nttdata.com/recruitment/career_sp/cloud_engineer
2. データサイエンス領域（データサイエンティスト／データアナリスト）
データ活用／情報処理／AI／BI／統計学などの情報科学を活用し、よりデータサイエンスの観点から、データ分析プロジェクトのリーダーとしてお客様のDX／デジタルサクセスを推進します。
https://enterprise-aiiot.nttdata.com/recruitment/career_sp/datascientist
3.お客様のAI活用の成功を推進するAIサクセスマネージャー
DataRobotをはじめとしたAIソリューションやサービスを使って、
お客様のAIプロジェクトを成功させ、ビジネス価値を創出するための活動を実施し、
お客様内でのAI活用を拡大、NTTデータが提供するAIソリューションの利用継続を推進していただく人材を募集しています。
https://nttdata-career.jposting.net/u/job.phtml?job_code=804
4.DX／デジタルサクセスを推進するデータサイエンティスト《管理職/管理職候補》
データ分析プロジェクトのリーダとして、正確な課題の把握、適切な評価指標の設定、分析計画策定や適切な分析手法や技術の評価・選定といったデータ活用の具現化、高度化を行い分析結果の見える化・お客様の納得感醸成を行うことで、ビジネス成果・価値を出すアクションへとつなげることができるデータサイエンティスト人材を募集しています。https://nttdata-career.jposting.net/u/job.phtml?job_code=898
ソリューション紹介
Trusted Data Foundationについて
～データ資産を分析活用するための環境をオールインワンで提供するソリューション～
https://www.nttdata.com/jp/ja/lineup/tdf/
最新のクラウド技術を採用して弊社が独自に設計したリファレンスアーキテクチャ（Datalake+DWH+AI/BI）を顧客要件に合わせてカスタマイズして提供します。
可視化、機械学習、DeepLearningなどデータ資産を分析活用するための環境がオールインワンで用意されており、これまでとは別次元の量と質のデータを用いてアジリティ高くDX推進を実現できます。
TDFⓇ-AM（Trusted Data Foundation - Analytics Managed Service）について
～データ活用基盤の段階的な拡張支援（Quick Start) と保守運用のマネジメント（Analytics Managed）をご提供することでお客様のDXを成功に導く、データ活用プラットフォームサービス～
https://www.nttdata.com/jp/ja/lineup/tdf_am/
TDFⓇ-AMは、データ活用をQuickに始めることができ、データ活用の成熟度に応じて段階的に環境を拡張します。プラットフォームの保守運用はNTTデータが一括で実施し、お客様は成果創出に専念することが可能です。また、日々最新のテクノロジーをキャッチアップし、常に活用しやすい環境を提供します。なお、ご要望に応じて上流のコンサルティングフェーズからAI/BIなどのデータ活用支援に至るまで、End to Endで課題解決に向けて伴走することも可能です。
NTTデータとInformaticaについて
データ連携や処理方式を専門領域として10年以上取り組んできたプロ集団であるNTTデータは、データマネジメント領域でグローバルでの高い評価を得ているInformatica社とパートナーシップを結び、サービス強化を推進しています。
https://www.nttdata.com/jp/ja/lineup/informatica/
NTTデータとTableauについて
ビジュアル分析プラットフォームのTableauと2014年にパートナー契約を締結し、自社の経営ダッシュボード基盤への採用や独自のコンピテンシーセンターの設置などの取り組みを進めてきました。さらに2019年度にはSalesforceとワンストップでのサービスを提供開始するなど、積極的にビジネスを展開しています。
これまでPartner of the Year, Japanを4年連続で受賞しており、2021年にはアジア太平洋地域で最もビジネスに貢献したパートナーとして表彰されました。
また、2020年度からは、Tableauを活用したデータ活用促進のコンサルティングや導入サービスの他、AI活用やデータマネジメント整備など、お客さまの企業全体のデータ活用民主化を成功させるためのノウハウ・方法論を体系化した「デジタルサクセス」プログラムを提供開始しています。
https://www.nttdata.com/jp/ja/lineup/tableau/
NTTデータとAlteryxについて
Alteryx導入の豊富な実績を持つNTTデータは、最高位にあたるAlteryx Premiumパートナーとしてお客さまをご支援します。
導入時のプロフェッショナル支援など独自メニューを整備し、特定の業種によらない多くのお客さまに、Alteryxを活用したサービスの強化・拡充を提供します。
NTTデータとDataRobotについて
NTTデータはDataRobot社と戦略的資本業務提携を行い、経験豊富なデータサイエンティストがAI・データ活用を起点にお客様のビジネスにおける価値創出をご支援します。
NTTデータとDatabricksについて
NTTデータではこれまでも、独自ノウハウに基づき、ビッグデータ・AIなど領域に係る市場競争力のあるさまざまなソリューションパートナーとともにエコシステムを形成し、お客さまのビジネス変革を導いてきました。
Databricksは、これら先端テクノロジーとのエコシステムの形成に強みがあり、NTTデータはこれらを組み合わせることでお客さまに最適なインテグレーションをご提供いたします。