データカタログへの権限制御する
Lake Formationは、データカタログにきめ細かな権限制御ができます。
ユーザーごとに、データカタログのDatabaseへのテーブル追加を禁止したり、あるカラムを非表示にしたり、実行できるSQLを制限したりできます。やってみます。
S3パス
s3://test-lf01/in00
Database名
lf01
テーブル名
test1
テスト用IAMユーザー
test_user1
CSVファイルをS3にアップ
ファイル名:person.csv
s3://test-lf01/in00 に以下のCSVファイルをアップ
taro, 20190101, 101, 00001
jiro, 20190202, 102, 00001
ojiro, 20190303, 101, 00002
hanako, 20190404, 103, 00004
スキーマは以下を想定
name(string)
date(string)
storeid(string)
accountnumber(string)
データカタログ作成
Database作成
Lake Formationの画面で左側メニューから"Database"をクリックし、右上の[Create database]をクリック
Nameに"lf01"と入れて、"Grant All to Everyone for new tables in this database"のチェックを外し、右下の[Create database]をクリック
※"Everyone"はLake Formationのユーザーグループの要素です。パブリックなユーザーという意味ではなく、Lake FormationのIAMアクセス許可を持つ全員という意味です。
"Grant All to Everyone for new tables in this database"はこのデータベースで作成される新しいテーブルに"Everyone"に対して全権限を与えるという設定。デフォルトはチェックが入っている。
Databaseできた
テーブル作成
Lake Formationの画面で左側メニューから"Tables"をクリックし、右上の[Create table]をクリック(今回は手動でテーブル作成)
以下を入力(あとに続く)
Name: "test1"
Database: "lf01"
Include path に s3://lf01/in00/
※別リージョンのバケットは選択できないっぽい
CSVにチェック
右上の[Add column]をクリック
カラムを追加していく。追加するカラムは↓
name(string)
date(string)
storeid(string)
accountnumber(string)
追加し終わったら右下の[Submit]をクリック
テーブル出来た。
権限確認
Databaseに対しては、管理者はフル権限、"Everyone"もフル権限(デフォルトではDatabase作成時に"Everyone"へのフル権限が付与される設定になってる)
テーブルに対しては、管理者はフル権限、"Everyone"はいない(前述のように、今回Database作成時の設定で新規作成テーブルに"Everyone"へのフル権限を付与しない設定にした)。なので管理者以外は操作できない。
Athenaで確認
まずは管理者で、Lake Formationで作ったデータカタログを使い、Athenaで閲覧出来ていることが確認できる。
Lake Formationによる権限管理
Lake Formationの売りの１つであるカラムレベルでの権限制御を確認する
今回は、あるユーザーに対してはstoreid, accountnumberのカラムは表示させたくない。テーブルのdropもさせたくない。という制御を入れます。
IAMユーザー作成
手順は割愛しますが、こんな感じでAdministratorのポリシーを持つtest_user1を作りました。
正真正銘administratorです
test_user1でAthenaにアクセスするとDatabaseのlf01は見えますが、まだテーブルへの権限がなにもないためテーブルは表示されません。もちろんクエリもはじかれます。
Lake Formationが登場する以前だったら見えてましたね。本機能はLake Formationのリソースベースポリシーと考えればいいと思います。
Lake FormationのData Permissionsで設定。当初やりたかった特定カラムだけ非表示
test_user1ユーザーに対してはstoreid, accountnumberのカラムは表示させたくない。テーブルのdropもさせたくない。という制御を入れます。
LakeFormationの画面で左側メニューの"Data Permissions"をクリックし、右上の[Grant]をクリック
以下を入力していきます(あとに続く)
IAM user add roles : test_user1
Database: lf01
Table: test1
以下を入れ右下の[Grant]をクリック
Columnに"Include columns"を選択
Include columnsに"name"、"date"を選択
Table permissionsに"select"にチェック
結果はこんな感じ
Athenaで確認
test_user1の人には、nameとdateの列だけが見える状態になっている。
ちゃんとDDLも拒否している
以下のようにパーミッションエラーな感じのメッセージが確認できる
MetaException(message:Insufficient Lake Formation permission(s):...
Lake FormationのRecent Access Activity のログはこんな感じ
※CloudTrailのログなので、だいたい10分くらい遅れて出力される。あとこの画面ではフィルタが相当弱い・・
右上のView eventをクリックで詳細確認可能
(補足)_DataCatalogのデフォルトセッティング
新しく作成されたデータベースとテーブルのデフォルトのパーミッションとして以下の２つを有効無効にできます(デフォルトは有効)
- 新しく作成されたデータベースに"Everyone"へのAll許可を与える
- 新しく作成されたテーブルに"Everyone"へのALL許可を与える
特に必要がなければチェックを外して右下の[Save]をクリックします。これにより新規で作成されたデータベースやテーブルに自動で"Everyone"への許可(IAMの権限があれば操作できる状態)されることはなくなり、Lake Formation上で明示的なきめ細かい許可を与える運用を行う事ができます。
"Everyone"はGlueDataCatalogからの移行のために存在するEntityで、この辺はまた今度記事にできればと
こちらも是非
LakeFormationの使い方まとめ
https://qiita.com/pioho07/items/76554a7ac4252858b450
Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f