前提事項
- 今回記載している方法は、数あるメタデータ取得方法の一つを実施したものに過ぎず、また、その実施内容を保証するものではありません。
- 環境として、CP4D 4.8.4、および、watsonx.data 4.8.5 を使用しています。
watsonx.data 画面にて
-
接続先のデータレイクハウス製品であるwatsonx.dataの、Infrastructure Manager 画面を以下に示します。
-
エンジンとしてPresto（青）とSpark（黒）があります。
-
ベクトルDBとしてMilvus（緑）も配備されていることもわかります。
-
Presto配下には、様々なデータソースを示すカタログ（紫。一覧は下記）が接続されていることがわかります。
- AWSのS3
- IBM Cloud Object Storage
- Netteza
- watsonx.data 内部のhiveやIceberg
-
今回は、この様々な接続先を取りまとめてクエリできるエンジンであるPrestoを、CP4Dから接続してみます。
-
Prestoの青いアイコンをクリックすると、接続先のアドレス（画面右下の「外部ホスト」の箇所）が出力されるので、これをメモしておきます。
CP4D 画面にて
- プラットフォーム接続画面にて、「新規接続」をクリックします。
- 接続名と、先ほどメモしたホスト名、そしてポート番号として443を入力します。
- 次に資格情報として、接続先のwatsonx.dataのID/PWを入力します。
- 「ポートはSSL対応」をチェックします。
画面右上の「接続のテスト」をクリックします。
- 問題なく疎通できると緑色のメッセージが現れますので、問題なければ画面右下の「作成」をクリックします。
- 接続情報が作成されました。
接続先の確認
- 試しにプロジェクトを作成して、そこに接続を導入して、接続先のデータ資産が閲覧できるかを試します。
- プロジェクトの資産画面で「資産のインポート」をクリックします。
- 「カタログ・アセット」から「Platform asset catalog」、そして先程作成した接続情報を選択し、「インポート」をクリックします。
- 改めて「資産のインポート」をクリックします。
- 「接続データ」から、Presto を選択します。
- （接続先のデータが表示されるまで少し時間がかかります）
- Prestoが接続しているカタログ情報が列挙されます。
- カタログの配下に、各スキーマが列挙されます。
- 今回、tinyhive を選択すると、その配下のテーブル群が列挙されます。
- なお、画面が変わりますが、watsonx.data のデータマネージャー画面で同じ内容が確認出来ます。
- 画面をCP4Dに戻し、インポートするテーブルを選択します。
- 複数選択すると、メタデータの読み込みに少し時間がかかります。
- 青くなった「インポート」をクリックします。
- テーブル群のメタデータがプロジェクトにインポートされました。
- テーブルの内容もプレビュー出来ました。
-
以上が、CP4Dにwatsonx.data のPrestoを接続する方法です。
-
公式ドキュメントとしては以下をご参照ください。
https://www.ibm.com/docs/ja/cloud-paks/cp-data/4.8.x?topic=connectors-presto-connection