LoginSignup
4
3
@changkuhu(chang)

Snowflakeのシェア(データ共有)に関するメモ (Architect)

Last updated at Posted at 2024-03-17

これは何？

Snowflakeのシェア(データ共有)に関してまとめてみたメモ。

公式情報

  • 前提
    • シェア元 : プロバイダー と表現する
    • シェア先 : コンシューマー と表現する
  • Snowflakeでのデータ共有の概要
    • Secure Data Sharing(直接共有)
      • 同じSnowflakeリージョン内の1つ以上のアカウントと共有する
    • listings(リスト)
      • Secure Data Sharing に幾つかの機能が追加されたもの
      • 共有と追加のメタデータをデータ製品として、任意のリージョンの1つ以上のアカウントに提供する
      • クラウド全体で任意のSnowflakeリージョンのユーザとデータを共有する
    • Data Exchange(データ交換)
      • アカウントのグループを設定・管理し、そのグループに共有を提供する
      • 招待した特定のメンバーのグループとデータを安全にコラボレーションする
  • 共有データベースの一般的な制限
    • 共有データベースは読み取り専用
    • 共有データベースのコメント編集もできない
    • 共有データベースは複製(レプリケーション)できない
    • 共有データベースまたはデータベース内のスキーマ/テーブルのクローンは作成できない
    • 共有データベースまたはデータベース内のスキーマ/テーブルのタイムトラベル(Time Travel)は使用できない
    • 共有データベースとデータベース内のすべてのオブジェクトを他のアカウントと再共有(シェア)できない

Secure Data Sharing(直接共有)

  • 紹介
    • 共有できるオブジェクト
      • テーブル系
        • テーブル
        • 外部テーブル (External tables)
        • 動的テーブル (Dynamic tables)
        • (英語版マニュアルのみ記載) Iceberg tables
      • ビュー系
        • 安全なビュー、セキュアビュー (Secure views)
        • 安全なマテリアライズドビュー、セキュアマテリアライズドビュー (Secure materialized views)
      • その他
        • 安全なUDFs、セキュアUDFs (Secure user-defined functions)
        • (英語版マニュアルのみ記載) データベース
    • 共有されたオブジェクトはすべて読み取り専用
    • 共有データはコピーされない
      • つまりコンシューマーアカウントのストレージを占有しない
    • 共有データのクローン(clone)も作成できない
  • 開始
    • 従来のやり方(シェアに含まれるすべてのオブジェクトにアクセスできる)
      • 共有の作成(CREATE SHARE)
        • CREATE SHARE <シェア名>;
      • 共有するアカウントを追加する(ALTER SHARE)
        • ALTER SHARE <シェア名> ADD ACCOUNTS=<コンシューマーのアカウント>;
    • 新しいやり方(シェアに含まれるオブジェクト毎に細かく権限を制御する)
      • データベースロールの作成(CREATE DATABASE ROLE)
        • CREATE DATABASE ROLE <データベース名>.<データベースロール名>;
      • データベースロールに権限を付与(GRANT ...)
        • GRANT USAGE ON SCHEMA <データベース名>.<スキーマ名> TO DATABASE ROLE <データベース名>.<データベースロール名>;
        • GRANT SELECT ON TABLE <データベース名>.<スキーマ名>.<テーブル名> TO DATABASE ROLE <データベース名>.<データベースロール名>;
      • 共有の作成(CREATE SHARE)
        • CREATE SHARE <シェア名>;
      • 共有にUSAGE権限を付与(GRANT ...)
        • GRANT USAGE ON DATABASE <データベース名> TO SHARE <シェア名>;
      • データベースロールを共有に追加(GRANT DATABASE ROLE ...)
        • GRANT DATABASE ROLE <データベース名>.<データベースロール名> TO SHARE <シェア名>;
      • 共有するアカウントを追加する(ALTER SHARE)
        • ALTER SHARE <シェア名> ADD ACCOUNTS=<コンシューマーのアカウント>;
  • 共有の消費 : 共有されたものを取り込んで使う時の話
    • 従来のやり方
      • シェアからDBを作成する(CREATE DATABASE)
        • CREATE DATABASE <データベース名> FROM SHARE <プロバイダーのアカウント>.<シェア名>
      • シェアから作成したDBにアクセスする権限を付与(GRANT ... / IMPORTED PRIVILEGES)
        • GRANT IMPORTED PRIVILEGES ON DATABASE <データベース名> TO ROLE <ロール名>;
    • 新しいやり方(データベースロールを使うやり方)
      • シェアからDBを作成する(CREATE DATABASE)
        • CREATE DATABASE <データベース名> FROM SHARE <プロバイダーのアカウント>.<シェア名>
      • データベースロールをロールに付与する(GRANT DATABASE ROLE)
        • データベースに含まれているデータベースロールを確認してから付与する
        • SHOW DATABASE ROLES IN DATABASE <シェアから作成したデータベース名>;
        • GRANT DATABASE ROLE <シェアから作成したデータベース名>.<データベースロール名> TO ROLE <ロール名>;
  • 共有の操作
    • Business Criticalアカウントから他エディションのアカウントにシェアするときには注意が必要
      • デフォルトではできない
      • シェアオブジェクトのパラメータSHARE_RESTRICTIONSをFALSEにするとできる
      • 別記事にまとめたのでそちら参照
    • リージョン間/クラウドベンダー間でのシェアにも注意が必要
      • Snowflakeのデータ複製(レプリケーション)機能を活用して実現する
      • リージョンごとにデータセットのコピーを1つだけ作成する
        • 同じリージョン内にいるコンシューマーにはいくらでも共有できる
      • アカウントで複製を有効化しておくこと(ORGADMINが必要)
      • 流れ
      • こちら参照
    • 複数のデータベースを共有するときにも注意が必要
      • こちら参照

        • 複数データベースを跨いで作成したビュー(セキュアビュー)を共有する時に考慮点がある

        • データベースまたぎで参照できるようにGRANT REFERENCE_USAGEをシェアに追加する必要がある

          • GRANT REFERENCE_USAGE ON DATABASE <セキュアビューから参照しているデータベース> TO SHARE <シェア名>;
          • GRANT SELECT ON VIEW <シェアしたいセキュアビュー> TO SHARE <シェア名>;
      • 複製自体の考慮点にも注意しておく
        • 特に外部テーブルとか注意
          • 外部テーブルがエラーの原因になるので取り除かないといけない
            • 現在、プライマリデータベースの外部テーブルが原因で、複製または更新操作は失敗しエラーメッセージが表示される
            • このエラーを回避するには、複製対象に外部テーブルを含めないようにするしかないっぽい
  • CREATE DATABASE / 一般的な使用上の注意 / 共有から作成されたデータベース
    • PUBLIC または INFORMATION_SCHEMA スキーマはデフォルトではシェアされない(明示的な指定が必要)
    • シェアされたDBは複製(レプリケーション)できない
    • TRANSIENT や DATA_RETENTION_TIME_IN_DAYS などのプロパティは適用されない
      • TRANSIENT : 一時テーブル。これはシェアされない
      • DATA_RETENTION_TIME_IN_DAYS : Time Travel関係の値。シェアされたテーブルのTime Travel(タイムトラベル)は無効
  • 共有タスクの権限
    • プロバイダー
      • 従来のやり方
        • CREATE SHARE
        • OWNERSHIP(シェアオブジェクトに、シェアしたいテーブル等を追加/削除したりする権限)
      • 新しいやり方(データベースロールを使うやり方)
    • コンシューマー
      • IMPORT SHARE
      • CREATE DATABASE : シェアからデータベースを作るときに必要な操作/権限なので、同じロールでシェアの取り込みからそのままデータベース作成まで行う場合はセットになる)

listings(リスト)

  • Secure Data Sharingの強化版ということで、具体的には以下の機能が追加されたもの
    • Snowflake Marketplace で共有を公開できる機能
    • 共有内のデータへのアクセスに対する料金をコンシューマーに請求する機能
    • リストへの関心と共有内のデータの使用状況をモニターする機能
    • 共有に関するメタデータ(タイトル、説明、サンプル SQL クエリ、データプロバイダーに関する情報など)
  • リスト候補オプション
    • プライベート
      • 特定のアカウントに共有したいときに選択する
      • 任意のSnowflakeリージョンのSnowflakeアカウントに直接共有できる
    • 公開
      • Snowflake Marketplaceに公開したいときに選択する
  • リストアクセスオプション
    • 無料リスト : プライベート、公開で利用できる
    • 有料リスト : プライベート、公開で利用できる
    • 限定トライアルリスト : 公開のみ利用できる
  • プロバイダーについて
  • コンシューマーについて
    • Snowflake コンシューマー利用規約に同意する
    • 必要な権限
      • ACCOUNTADMINを使う
      • カスタムロールを使用する場合は以下の権限を付与する
        • CREATE DATABASE
        • IMPORT SHARE
        • PURCHASE DATA EXCHANGE LISTING (有料リストの料金を支払う場合)
        • IMPORTED PRIVILEGES (シェアから作成したデータベースにアクセスする場合。シェアから作ったテーブルとかにselectしたい時に必要。)
  • リストの作成/公開
    • リストを作成する要件
      • ↑の「プロバイダーについて」を参照
    • リストの作成
      • Snowsightで作成する(Create Listing)
      • 有料/無料は「How will consumers access the data product?」で選択
    • 特定のコンシューマーにリストを公開する
      • Data -> Provider Studio -> リストを選んでPublish
    • Snowflake Marketplaceにリストを公開する

Data Exchange(データ交換/データエクスチェンジ)

  • Data Exchangeの有効化(利用開始)はSnowflakeサポートに問い合わせる必要がある
  • 招待した特定のメンバー(グループ)とデータを共有する(データハブと表現されている)
  • Data Exchange管理者
    • Data ExchangeをホストするSnowflakeアカウントのこと
    • メンバーの管理
      • メンバーのロール割り当て(プロバイダー、コンシューマー、またはその両方)
  • Data Exchangeメンバーシップ
    • このカテゴリの中にプロバイダーとコンシューマーがいる
    • プロバイダー
      • プロバイダープロファイルの作成
      • リストの管理
        • リストの作成
        • リストへのアクセスを定義
        • リストを公開
      • リスト作成の考慮点
        • テーブル、列、共有名のオブジェクト識別子は、大文字英数字のみを使用する
        • リストを公開すると、選択したすべてのリージョンでコンシューマーにリストが表示される
        • リストは自動的に複製される
        • リージョンでデータを共有するには、データを複製するためにそのリージョンのアカウントが必要
        • リージョン間でのデータ共有には、Snowflakeデータ複製機能を利用する
    • コンシューマー
      • リストの閲覧、探索
      • Snowflake Marketplace <-> Data Exchangeの切り替え
      • データセットの利用
  • Data Exchange管理者の権限
    • デフォルトではACCOUNTADMINを使用する
      • メンバーの管理
      • リスト承認リクエストを承認 or 拒否
      • プロバイダープロファイルの承認リクエストを承認 or 拒否
      • カテゴリの表示
    • カスタムロールで実施する場合はData ExchangeのIMPORTED PRIVILEGESが必要
      • GRANT IMPORTED PRIVILEGES ON DATA EXCHANGE <exchange_name> TO <role_name>;
  • プロバイダーの権限
    • Snowflake Marketplace上の特定のコンシューマーとデータやアプリを共有する権限
    • Data Exchange内のデータに関連するさまざまなタスクを実行できるようにする権限
    • デフォルトではACCOUNTADMINを使用する
    • カスタムロールで実施する場合は以下の権限が必要
      • グローバル権限 CREATE DATA EXCHANGE LISTING
        • この権限で以下が実行できるようになる
          • リストの作成
          • リストのプロパティの変更
          • リストの表示
          • 受信したリストのリクエストの表示
          • リストのリクエストの拒否
          • 承認のためのリストの送信
          • リストの公開
          • プロバイダープロフィールの作成と表示
      • CREATE SHARE
      • IMPORT SHARE
      • PURCHASE DATA EXCHANGE LISTING (リストを購入する場合に使う)
      • リストのOWNERSHIPかMODIFY USAGE
      • プロバイダープロファイルのOWNERSHIPかMODIFY
  • コンシューマーの権限
    • デフォルトではACCOUNTADMINを使用する
    • カスタムロールで実施する場合は以下の権限が必要
      • IMPORT SHARE
      • IMPORTED PRIVILEGES (やはりこちらもシェアから作ったオブジェクトにアクセスするのに必要。)
      • シェアからデータベースを作るにはCREATE DATABASE

ポイント

ソリューションに応えられるようにする

要は文章問題。
「ある企業はこのような状態で、このようなことを実現したい。」みたいなことに対して、シェアの特徴を知った上で最も適した解決策を回答する。
もちろん制約を考慮した上で、その手法で解決できるのかも注意しておく。

例 : コンシューマーにて、シェアからデータベースを作成するために必要な権限は？

  • CREATE DATABASE
  • IMPORT SHARE

CREATE DATABASE ... FROM SHARE ... で作成する。

例 : あるグローバル企業では、複数リージョン/複数クラウドベンダーにまたがってSnowflakeを使っている。これらのアカウントにデータを共有するにはどうすればいいか？

  • リストかデータ交換で、企業内の全アカウントに共有(プライベート共有)する
  • レプリケーションを使って異なるリージョン/クラウドベンダーに共有する

所感

いろいろあるなぁ...

  • とりあえずリージョンやクラウドベンダーをまたぐならレプリケーション(複製)がポイント
    • 設定にはACCOUNTADMINだけでなくORGADMINも関わる
    • レプリケーション自体の注意点にも色々引っ張られそうなので、現実問題として単純にシェア出来なさそうではある
  • カスタムロールに任せるにあたっては諸々権限も押さえておく必要がある
  • リストとデータ交換、どっちがええんや
    • データ交換はサポート問い合わせを必要とする...
    • もうリストでええやろ
4
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
4
3