AWS Glue -> Athena -> Lambdaと使ってみてハマったこと

AthenaはデータソースにS3を指定できて気軽に使えるんですが、ハマるときはハマる。

An error occurred (InvalidRequestException) when calling the Start QueryExecution operation: Unable to verify/create output bucket

AthenaのOutputLocationに対して権限が足りないと言われる。

IAMのPolicyでResourceに必要なarnを指定していましたが、
arn:aws:s3:::athena-target-data/inpot/*
arn:aws:s3:::athena-target-data/export/*
これだとエラーになりました。不十分なようです。
arn:aws:s3:::athena-target-data/*
ならばと、すべて与えてみましたがこれもエラー。

正確には、
arn:aws:s3:::athena-target-data
と指定しないと十分なResourceの指定とならないようでした。
（S3権限付与の一般常識なのかもしれない）

以下が正常に動いた時の設定。

"LambdaAthenaPolicy": {
    "Type": "AWS::IAM::ManagedPolicy",
    "Properties": {
    "ManagedPolicyName": "athena-query-excute-lambda-policy",
    "PolicyDocument": {
        "Version": "2012-10-17",
        "Statement": [
        {
            "Effect": "Allow",
            "Action": ["s3:*"],
            "Resource": [
            "arn:aws:s3:::athena-target-data",
            "arn:aws:s3:::athena-target-data/*"
            ]
        },

Hiveのpartitionに沿ったkeyにしたらLambdaが反応しない

Hiveのpartitionを利用したかったので以下のようなkeyに出力結果を出していました。

export/id=hogehoge/year=2017/month=12/day=19/1234567890.csv

このkeyに対してLambda functionを仕込もう思い、下記のようにprefixを指定したが発火しませんでした。

                {
                    "Name": "prefix",
                    "Value": "export/id="
                }

原因はどうやら = らしく、これを取ると発火するようになりました。
試してないですがもしかしたらURLエンコードをすればよいのかも。

以下が正常に動いた時の設定。

"S3Bucket": {
    "Type": "AWS::S3::Bucket",
    "Properties": {
    "BucketName": "athena-target-data",
    "NotificationConfiguration": {
        "LambdaConfigurations": [
        {
            "Function": {
            "Fn::GetAtt": ["LambdaCopyFile", "Arn"]
            },
            "Event": "s3:ObjectCreated:*",
            "Filter": {
            "S3Key": {
                "Rules": [
                {
                    "Name": "prefix",
                    "Value": "export/id"
                },
                {
                    "Name": "suffix",
                    "Value": "csv"
                }
                ]
            }
            }
        },

zipでも読み込めると書いてあったが読み込めない

Adding Classifiers to a Crawler - AWS Glue
Supported Data Formats, SerDes, and Compression Formats - Amazon Athena

Files in the following compressed formats can be classified:

ZIP (as compression format, not as archive format)
BZIP
GZIP
LZ4
Snappy (as standard Snappy format, not as Hadoop native Snappy format)

CSVのときと同じ設定でよろしくやってくれると思ったんですが、そこまで甘くはなかった。
SERDEの設定を変える必要があると思うのだが、何に変えればいいのかがわからなかった。
ドキュメントを見ても見当たらなかったので、Crawlerでターゲットのzipを対象にして作成したテーブル設定を見ることで解決。

SERDEが org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe　になっていたが、 org.apache.hadoop.hive.serde2.OpenCSVSerde でもOK.

Crawlerを使うとTable propertiesに compressionType : zip や typeOfData : file　が付いてくるので必要そうに見えるが、これらは不要。
あくまでもタグとしての利用っぽい。

さいごに

ちょっと癖はあるけど設定できてしまえばS3をさくさく検索できてとっても便利。
だけどS3 SELECTのほうが気軽に使えるし速いし、今後はAthena使うこと減りそうな気もする。
GlueのJobはしっかり使えればかなり便利になりそうなので、Glueは引き続き使っていこうと思う。