LoginSignup
0
0

More than 1 year has passed since last update.

Athenaで Row is not a valid JSON Object - JSONException: Duplicate key

Posted at

tl;dr

WITH SERDEPROPERTIES ('ignore.malformed.json' = 'true')を付けてデシリアライズするだけ。

経緯

CloudTrailのログをAthenaで見ようと思い、以下の記事の通りにデシリアライズしていくつかクエリを実行した。

するとこんなエラーが出た。

Row is not a valid JSON Object - JSONException: Duplicate key "tag"

適当にググったところこれが怪しかったが、

エラーが微妙に違う。HIVE_CURSOR_ERRORは今回出ていない。

HIVE_CURSOR_ERROR: Row is not a valid JSON Object - JSONException: Duplicate key

デシリアライザのドキュメントを見てみたところ、

ignore.malformed.json
オプション。TRUE に設定すると、不正な形式の JSON 構文を無視できます。デフォルト: FALSE。

という記述が。試したところエラーは出なくなった。
CloudTrailのJsonが壊れていたのだろうか、、、?

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0