はじめに
こんにちは。NTTデータ先端技術の亀井（@kamein）です。
本記事はデータ活用基盤を作ってみた連載記事のその１１(構築・データ活用-Athena)です。本シリーズの取り組みの内容についてはその１(構成シナリオ)をご覧ください。
今回のPJではデータ活用を蓄積領域(S3)のデータ閲覧としており、Athenaで実現します。本記事では、Athenaの設定手順や利用手順についてご紹介します。
目次
- 今回のPJにおけるデータ活用の範囲
- Athenaについて
- 実装内容
- ポリシー付与
- AWS CLIインストール
- ネットワーク穴あけ
- 利用手順
- 振り返り
- 最後に
今回のPJにおけるデータ活用の範囲
今回のデータ活用におけるデータ活用はAI,BIのような使い方ではなく、データ連携の用途です。
蓄積領域(S3)に格納されたデータを既存システム側扱いのサーバ(EC2)からCliベースでデータを閲覧を目指しており、Athenaを使用します。
環境構成図の赤枠の範囲の機能実装ですが、既存システム側のEC2は作成済み環境を利用しており、今回のPJ範囲内の蓄積環境のS3とIAMロールはそれぞれの章で説明するため、本記事ではその他のAthena利用に向けて必要な設定や利用手順をご紹介します。
Athenaについて
Athenaについてご紹介いたします。AthenaはS3に保存されたデータ(CSV,JSON,Apache Parquet等)をSQL形式で簡単にクエリができるサーバーレスのサービスです。
また、S3からDBにデータを移したり、Redshiftのクラスター起動したり等の面倒な工程を踏まずに直接S3参照できるため、アドホック分析に向いています。
Athenaには様々な方法でアクセスでき、AWSコンソール、API、JDBC、AWS CLI等で利用できます。
ただし、Glue Data Catalogに保存されているメタデータ(表名や列名等)を使用してSQLを作文・実行するため、Athenaを利用する前にGlue Data Catalogに分析対象データの登録が必須となります。
Athenaの詳細情報につきましては、公式情報をご確認ください。
実装内容
今回のPJでは、「既存システムからCLIベースでアクセスできること」としていたため、次の手順で環境構築することを考えました。
- データ活用者ロール（※ 詳細はその７(構築・IAM)参照)を使用できるポリシーを作成し、既存システム側のEC2に付与する
- 既存システム上にAWS CLIをインストールしてaws athenaが利用可能な状態にする
- ネットワーク穴あけを行い疎通可能な状態にする
※ Glue Crawlerを使用してGlud Data Catalogにメタデータ自動登録実装済み
ポリシー作成
データ活用者ロールを使用できるポリシーを作成し、EC2にアタッチしているロールに含めました。
※ 作成したjsonポリシー例
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "sts:AssumeRole",
"Resource": "arn:aws:iam::<アカウントID>:role/biwa-prod-iam-role-analyst-001"
}
]
}
AWS CLIインストール
通常は、公式ドキュメントGet started with the AWS CLIに沿ってインストールする必要があります。
しかし、今回は既存システム側の対象サーバ(EC2)で使用しているのマシンイメージはAmazon Linuxでした。Amazon LinuxではAWS関連サービスで利用できるツール類は予めインストールされているため、本手順はスキップとしました。
※ 簡単なAWS検証作業でEC2を利用する場合には、この辺のセットアップ作業を省略できるのでAmazonLinuxの利用をお勧めします。
ネットワーク穴あけ
今回は図に示すように3つのAWSサービスにアクセスするために各サービスに対応するVPCエンドポイントを構成しました。
-
STS用エンドポイント
- aws stsコマンドを使用してデータ活用者ロールを使用できるようにするために穴あけ
- VPCエンドポイント作成時にcom.amazonaws.ap-northeast-1.stsサービスを指定する
-
Athena用エンドポイント
- aws athenaコマンドを使用してAtenaでクエリが投げられるようにするために穴あけ
- VPCエンドポイント作成時にcom.amazonaws.ap-northeast-1.athenaサービス名を指定する
-
S3用エンドポイント
- aws s3コマンドを使用してS3内の状況を確認できるようにするために穴あけ
- VPCエンドポイント作成時にcom.amazonaws.ap-northeast-1.s3サービスを指定する
※ それぞれのVPCエンドポイントに適用するセキュリティグループはEC2からのインバウンド方向の通信許可設定を加えます。
※ 今回の要件で追加した内容のみ記載しております。作業端末からEC2までのアクセスにはAWS Session Manager(SSM)を使用しておりますが、この図上では省略しております。
利用手順
構築後は試験工程で動作確認しました。ここでは参考情報としてAtenaのクエリを投げるまでにどのように手順が必要かをご紹介します。
1.データ活用者ロールの使用
$ aws sts assume-role --role-arn arn:aws:iam::<アカウントID>:role/<データ活用者ロール名> --duration-seconds 900 --role-session-name ssm-user --profile default --endpoint-url https://sts.ap-northeast-1.amazonaws.com
## ※ secret_access_key/session_token/access_key_idの出力結果をコピーする
$ export AWS_ACCESS_KEY_ID = <access_key_idの出力結果を貼り付け>
$ export AWS_SECRET_ACCESS_KEY= <secret_access_keyの出力結果を貼り付け>
$ export AWS_SESSION_TOKEN= <session_tokenの出力結果を貼り付け>
$ aws sts get-caller-identity --endpoint-url https://sts.ap-northeast-1.amazonaws.com
2.S3でバケット見れること確認
aws s3 ls
3.athenaでクエリを投げる
sh-4.2$ aws athena start-query-execution \
> --query-string "SELECT * FROM biwa_prod_s3_bucket_datastorage_002 limit 10;" \
> --query-execution-context Database=biwa-prod-glue-catalogdatabase-analytics-001 \
> --result-configuration OutputLocation=s3://biwa-prod-s3-bucket-athena-001/athena-result/
## ※ QueryExecutionIdの出力結果をコピーする
sh-4.2$ aws athena get-query-results --query-execution-id <QueryExecutionIdの出力結果を貼り付け>
※ 「biwa_prod_s3_bucket_datastorage_002」と「biwa-prod-glue-catalogdatabase-analytics-001」は、その１０でデータカタログに登録した情報を指定します
## 参考までにget-query-resultsの出力結果を表示します
{
"UpdateCount": 0,
"ResultSet": {
"Rows": [
{
"Data": [
{
"VarCharValue": "jis_code"
},
{
"VarCharValue": "old_postal_code"
},
{
"VarCharValue": "postal_code"
},
{
"VarCharValue": "prefecture_kana"
},
{
"VarCharValue": "city_kana"
},
{
"VarCharValue": "town_kana"
},
{
"VarCharValue": "prefecture_kanji"
},
{
"VarCharValue": "city_kanji"
},
{
"VarCharValue": "town_kanji"
},
{
"VarCharValue": "multiple_towns_flag"
},
{
"VarCharValue": "has_subdivision_flag"
},
{
"VarCharValue": "has_district_flag"
},
{
"VarCharValue": "multiple_areas_flag"
},
{
"VarCharValue": "update_status"
},
{
"VarCharValue": "change_reason"
}
]
},
{
"Data": [
{
"VarCharValue": "1101"
},
{
"VarCharValue": "60"
},
{
"VarCharValue": "600000"
},
{
"VarCharValue": "ﾎｯｶｲﾄﾞｳ"
},
{
"VarCharValue": "ｻｯﾎﾟﾛｼﾁｭｳｵｳｸ"
},
{
"VarCharValue": "ｲｶﾆｹｲｻｲｶﾞﾅｲﾊﾞｱｲ"
},
{
"VarCharValue": "北海道"
},
{
"VarCharValue": "札幌市中央区"
～（中略）～
}
]
}
],
"ResultSetMetadata": {
"ColumnInfo": [
{
"Scale": 0,
"Name": "jis_code",
"Nullable": "UNKNOWN",
"TableName": "",
"Precision": 19,
"Label": "change_reason",
"CaseSensitive": false,
"SchemaName": "",
"Type": "bigint",
"CatalogName": "hive"
}
]
}
}
}
振り返り
無事にAthenaでクエリを実行・表示することができました！
RDBMS等のデータベースに入れ直すことなくAthenaを使えばオブジェクトストレージのS3に直接参照できて良いですね。Athenaを使用するまでの手間もCrawler設定、ネットワーク穴あけ、IAM権限設定ぐらいで簡単に利用できるので導入しやすいです。
最後に
S3データを簡単に閲覧できるのでAthenaはスモールスタートに適したサービスだと考えます。
よくあるBIツールのtableauやAIツールのdataiku等でもAthenaをデータソースとして利用できるため、本格的なデータ分析にも移行しやすいです。
機会がありましたら一度はAthenaに触れておくことをお勧めいたします。
次の記事は、データ活用基盤を作ってみたその１２です。
最後までお読み頂きありがとうございました。