概要
Athenaを使っていると様々なエラーに一定確率で遭遇します。
使っていて見かけた、State:FAILEDになったときの、StateChangeReason、要はエラーメッセージを一覧化してみました。
基本方針
あくまで私が使っているデータセットでは、ですが
- 再実行して返ってきたら「調子が悪かったんだな」と思ってスルー
- 再現性があれば調査、問合せ
という形を取っています。
実際にはファイル破損などにより発生することがあるようなのですが、それと同様のエラーメッセージでも2回目以降は成功したりするためです。
※実際そのようなもので必ず2回目以降も再現するエラーは今のところ発生しておらず、ある種、安定、安心しています。
というわけで以下の通りとなります。
一覧
Query exhausted resources at this scale factor
厄介なやつです。本エラーが出るケースを2通り観測しており
-
EngineExecutionTimeが比較的短い場合で発生
→再実行で成功することが多い＝Athenaの調子がたまたま悪かった -
EngineExecutionTimeが長い場合
→再実行でも失敗することが多い＝クエリ改善が必要
となります。後者の場合は再現性がある場合が多く、クエリ改善の戦いが始まります。
Query timeout
Query改善をしましょう...
SYNTAX_ERROR
SYNTAX_ERRORはものによってはクエリ開始時にエラーとなるものもありますが、Column 'xxx' cannot be resolvedなどは実行され、SYNTAX_ERRORとしてエラーが流れてきます。
Amazon Athena experienced an internal error while executing this query. Please try submitting the query again and if the issue reoccurs, contact AWS support for further assistance. We apologize for the inconvenience.
これは記載の通りですね。
[ErrorCode: INTERNAL_ERROR_QUERY_ENGINE] Amazon Athena an experienced an internal error while executing this query. Please contact AWS support for further assistance. You will not be charged for this query. We apologize for the inconvenience.
問いあわせよと言われましたが、再実行で上手くいきました。
GENERIC_INTERNAL_ERROR: Unable to （直接裏のプログラムの例外が書きだされるケースのため略...ver1/略）
とてもドキドキしますが、再実行で大丈夫でした(1)
GENERIC_INTERNAL_ERROR: Unable to （直接裏のプログラムの例外が書きだされるケースのため略...ver2/略）
とてもドキドキしますが、再実行で大丈夫でした(2)。
GENERIC_INTERNAL_ERROR: Could not decompress page
これも一瞬ｳｯとなりますが、うちのデータセットでは再実行で大丈夫なケースが全てでした。
感想
うちのデータセットでは結構複雑なJOINを連発していたりするので、それが起因しているものが多いのかなぁ、とは思っているのですが、頻度が高い訳でもないのと、前述の通り再実行でOKな場合がほとんどなので、安定しているな～という感想を持っています。