S3 メタデータが GA されたとのことなのででやってみる

S3 メタデータ

• S3 に保存されたデータの詳細情報（メタデータ）を自動的に取得し、ほぼリアルタイムで更新されるため、データの管理や分析が容易に
• ファイルサイズや作成元などの基本情報（システム定義メタデータ）だけでなく、タグを使って独自の情報（カスタムメタデータ）をファイルに付加することも可能

対応リージョン

2025/02 現在では東京リージョンはみ対応

• 米国東部 (バージニア北部)
• 米国東部 (オハイオ)
• 米国西部 (オレゴン)

設定

他の方も試されていると思いますので、私の記事では余分な解説は省いてシンプルな設定方法を纏めます。

テーブルバケットを作成

Amazon S3 > テーブルバケット > テーブルバケットを作成 より「テーブルバケット名」を入力し、テーブルバケットを作成する。

汎用バケットでメタデータを設定

Amazon S3 > バケット > <自身の S3 バケット名> より「メタデータ」 タブよりメタデータを作成していきます。

送信先テーブルバケットは【テーブルバケットを作成】で作成した arn を指定。
メタデータテーブル名はデフォルトのままで設定。

テーブルに対する Lake Formation の権限を付与する

Amazon Athena がテーブルにアクセスできるように ドキュメントに従って、Lake Formation の権限を付与します。

Athena でメタデータをクエリする

汎用バケットにファイルをアップロードし、クエリを実行してみると簡単にメタデータを取得可能です。

参考までにカラムは次の通りとなっておりました。

SELECT column_name
FROM information_schema.columns
WHERE table_name = '<テーブル名>';