背景・目的
AWS リソースタグについて整理してみたに引き続き、Databricksでタグをどのように活用できるかについても整理してみます。
まとめ
下記の特徴があります。
| 特徴 | 説明 |
|---|---|
| 概要 | Unity Catalogのセキュリティ保護可能なオブジェクトに適用できる |
| 管理できること | 検索と検出が可能 |
| 対象 | ・カタログ ・スキーマ ・テーブル ・ビュー |
| 必要な権限 | ・Apply tag ・Use schema ・Use catalog |
| 制約 | ・1 つのセキュリティ保護可能なオブジェクトに最大 20 個のタグを割り当て可能 ・タグの最大長は255文字 ・タグ名に特殊文字は使用できない ・タグ名、値によるUnity Catalogテーブルの検索は完全一致のみ |
| 検索性 | 検索ウインドウで探すことが可能。Information Schemaを使用してSQLで検索が可能 |
概要
Databricksのドキュメントタグの適用をもとに整理します。
タグは、Unity Catalog のさまざまなセキュリティ保護可能なオブジェクトに適用できるキーとオプションの値を含む属性です。 タグ付けは、メタストア内のさまざまなセキュリティ保護可能なオブジェクトを整理および分類する場合に便利です。 タグを使用すると、データ資産の検索と検出も簡単になります。
- Unity Catalogのセキュリティ保護可能なオブジェクトに適用できる
- 検索と検出が可能
サポートされているセキュリティ保護可能なオブジェクト
セキュリティ保護可能なオブジェクトのタグ付けは、現在、カタログ、スキーマ、テーブル、ビュー、および登録済みモデルでサポートされています。 セキュリティ保護可能なオブジェクトの詳細については、「 Unity Catalog のセキュリティ保護可能なオブジェクト」を参照してください。
- 下記でサポートされている
- カタログ
- スキーマ
- テーブル
- ビュー
要件
Unity Catalog のセキュリティ保護可能なオブジェクトにタグを追加するには、オブジェクトに対する APPLY TAG 特権、オブジェクトの親スキーマに対する USE SCHEMA 特権、およびオブジェクトの親カタログに対する USE CATALOG 特権が必要です。
- 下記の権限が必要
- Apply tag
- Use schema
- Use catalog
制約
- 1 つのセキュリティ保護可能なオブジェクトに最大 20 個のタグを割り当て可能
- タグの最大長は255文字
- タグ名に特殊文字は使用できない
- タグ名、値によるUnity Catalogテーブルの検索は完全一致のみ
実践
カタログエクスプローラーでのタグの管理
- Workspaceにサインインします。
- ナビゲーションペインで「Catalog」をクリックします。
テーブル
-
対象のオブジェクトを選択します。ここでは、customersテーブルを選択しています。
-
Add tagsをクリックします。
-
ポップアップが表示されるので、keyとvalueを追加します。なお、Keyには大文字は利用できないようです。
-
複数タグを追加し、「Save tags」をクリックします。
-
テーブルにタグが追加されました。
カラム
テーブルのカラムにもタグを付与できます。
-
各カラムの右にTagsがありますので「＋」ボタンをクリックし、それぞれ付与していきます。
-
下記のように追加しました。
スキーマ
スキーマにもタグを付けます。
カタログ
カタログにもタグを付けます。
タグを使用してテーブルを検索およびフィルタリングする
-
検索ウィンドウにタグのValueに設定した「PII」を入力します。
-
customersテーブルが検索結果に表示されました。
情報スキーマテーブルを使用したタグ情報の取得
Unity Catalogで作成された各カタログでは、information_schemaが含まれている。
下記のテーブルが利用できます。
- CATALOG_TAGS
- COLUMN_TAGS
- SCHEMA_TAGS
- TABLE_TAGS
CATALOG_TAGS
- 下記のクエリを実行します。
SELECT catalog_name, tag_name, tag_value FROM system.information_schema.catalog_tags - 確認できました。
COLUMN_TAGS
-
下記のクエリを実行します。
SELECT catalog_name, tag_name, tag_value FROM system.information_schema.COLUMN_TAGS -
確認できました。
SCHEMA_TAGS
-
下記のクエリを実行します。
SELECT catalog_name, tag_name, tag_value FROM system.information_schema.SCHEMA_TAGS -
確認できました。
TABLE_TAGS
- 下記のクエリを実行します。
SELECT catalog_name, tag_name, tag_value FROM system.information_schema.TABLE_TAGS - 確認できました。
考察
DatabricksのUnity Catalogのタグ機能を利用し、タグ付けと検索を試してみました。これにより、情報の管理が容易になり、より統制が効果的になると感じました。今後も積極的に活用していきたいと考えています。
参考