watsonx.data 2.2.2 1つのオブジェクト・ストレージ・バケットに、複数の Iceberg タイプ・カタログを関連付けよう

はじめに

watsonx.data 2.2.2では、１つのオブジェクト・ストレージ・バケットに、複数の Iceberg タイプ・カタログを関連付けることができるようになりました。　

What's new in watsonx.data Last Updated: 2025-11-04では次のように紹介されています。

You can now associate multiple Iceberg type catalogs with a single object storage bucket or container. Each catalog must be configured with a unique, non-overlapping base path on the storage to ensure proper data isolation.
For example:

• Catalog1 can be associated with s3a://mybucket/foo/bar
• catalog2 can be associated with s3a://mybucket/lorem/ipsum

This enhancement makes it easier to logically separate data within the same storage and reuse it across multiple catalogs, improving flexibility and organization. For more information, see Adding multiple Apache Iceberg catalogs to a single storage
Note: Previously, each object storage bucket or container could only be linked to a single catalog.

注意事項

• Iceberg タイプのカタログだけで、Iceberg以外のカタログではサポートされていません。
• ストレージ・バケットをwatsonx.dataに追加する時、複数のカタログが関連付けられるように構成しておく必要があります。

IBM Cloud Object Storage(ICOS)を使用して、やってみたのでどのような機能なのかやどうやって構成するのかをご紹介しますね。

構成完了すると

watsonx.data のインフラストラクチャー・マネージャーの画面で、"1つのオブジェクト・ストレージ・バケットに、複数の Iceberg タイプ・カタログを関連付け"されたのが見られます。　赤の破線で囲んだ部分ですね。

その部分だけを拡大したのが次の絵です。　
icos-icebergというストレージ・バケットに、２つのカタログが関連付けられているのがわかります。　(watsonx.data 2.2.1以前では1つのストレージ・バケットに1つのカタログのみ関連付けることができました。
これによって、ストレージ・バケット内でデータを論理的に分離することができるようになり、柔軟性と整理性が向上します。

１つのストレージ・バケットに複数のカタログが登録できないのは次のような時です。

• Icebergをカタログをもつバケットで複数カタログ登録可能の設定になっていない場合。(watsonx.data 2.2.1までの状態)
• hiveのカタログをもつバケット
• 事前定義済みMinIOの iceberg-bucket (複数カタログ登録可能の設定になっていない)

このような場合は"カタログの追加"という機能が表示されません。

構成方法

(1) IBM Cloud Object Storage(ICOS)での作業

1. Cloud Object Storage Instances で作業します。
   

2. "Service credentials"タブで証明書を確認します。必要な権限(Readerなど)をもった、次のようにHMACを含んだ証明書が必要です。

    > {
    > (skip)
    >     "cos_hmac_keys": {
    >         "access_key_id": "43fa1xxxxxxxxxxxxxx",
    >         "secret_access_key": "010f47ba07a37xxxxxxxxxxx"
    >     },
    >     (skip)
    > }
   

3. "Bucketタブ"の"Create bucket"でバケットを作成します。　私は次のようなバケットを作成しました。
   - Unique bucket name : icos-iceberg-24264
   - Resiliency : Regional
   - Location : United States - Dallas (us-south)
   - Storage Class : Smart Tier

4. 左のメニューでEndpointを確認しておきましょう。　私は　Resiliency : Regional,Location : United States - Dallas (us-south)にバケットを作成して PublicのEndpointを使用してアクセスするので　Endpoint は　s3.us-south.cloud-object-storage.appdomain.cloud となります。

(2) watsonx.dataにICOSを追加します

1. インフラストラクチャー・マネージャーの"コンポーネントの追加"をクリック
   

2. "IBM Cloud Object Storage"を選択して次へ
   

3. "コンポーネントの追加 - IBM Cloud Object Storage"で構成します。

   • "(1) IBM Cloud Object Storage(ICOS)での作業" の 3. での設定を使用します。　
     -　表示名 : watsonx.dataで表示に使用される名前 : ここでは　icos-iceberg-24264
     -　バケット名 : 作成したUnique bucket name : ここでは　icos-iceberg-24264
     -　リージョン : Bucket を作成したLocation : ここでは Dallas (us-south)
   • エンドポイント : "(1) IBM Cloud Object Storage(ICOS)での作業" の 4. で確認したエンドポイントを入力します。　
     -　"(1) IBM Cloud Object Storage(ICOS)での作業" の 2. で確認したcos_hmac_keysの値を使用します。　
     -　アクセス・キー : "access_key_id"の値 ここでは43fa1xxxxxxxxxxxxxx
     -　秘密鍵 : "secret_access_key"の値　ここでは010f47ba07a37xxxxxxxxxxx
     

4. 接続のテストを行います。"成功"することを確認しましょう。

5. "カタログの関連付け"のチェックボックスをチェックします。

   • カタログ・タイプ : Apache Icebergを選択
   • カタログ名 : ここではicosiceberg
   • 基本パス ここでパスを入力すると複数カタログが作成できるようになります。 : ここでは /icosiceberg　
     

6. "関連付け"をクリックすると　Icebergタイプのカタログとバケットが登録されました。　
   

7. では、複数のIceberg タイプ・カタログを関連付けてみましょう。登録したバケットで"カタログの追加"を選択。
   

   • カタログ名 : ここではicosiceberg2
   • 基本パス ここでパスを入力すると複数カタログが作成できるようになります。 : ここでは /icosiceberg2

   

8. "追加"をクリックして　追加します。複数のIcebergタイプ・カタログが1つのICOSストレージ・バケットに関連付けられました。
   

9. この後、SparkやPrestoなど必要に応じたエンジンにカタログを関連付けて使用することができます。　例えば　Icebergタイプ・カタログicosiceberg2に、スキーマや表を作成した後、インフラストラクチャー・マネージャーでバケットicos-iceberg-24264の詳細を見てみましょう。　icos-iceberg-24264 / icosiceberg2 / sf_no_part / の下に 表の名前がついたフォルダーを見ることができます。　バケット/カタログ/スキーマ/表　というツリー構造になっています。

   

まとめ　

ここでは、watsonx.data 2.2.2の新機能　1つのICOSストレージ・バケットに複数のIcebergタイプ・カタログを関連付けた例をご紹介しました。　

環境

このトピックの中の例は 次の環境で取得しています。

• OCP Version: 4.16
• CP4D 5.2.2, watsonx.data 2.2.2
• IBM Cloud Object Storage