はじめに

最近、Athenaを使った集計基盤の構築を担当しています。
その集計処理の中で、MAP型を使う際にハマったので記録として残しておきます。

MAP型とは

キーを使用して値を検索できるマップです。すべてのキーに同じ値が必要であり、すべての値に同じ値が必要です。

とのことです。
具体的には { hoge=1, huga=2 } みたいな形式です。

INSERT INTO...SELECT 構文を使用し、glueテーブル1のデータを基に集計処理を行い、glueテーブル２にinsertするという処理を実装していました。
glueテーブル2にはmap型のカラムが存在しています。具体的には以下のような感じです。

MAP型のカラムに対しては map_agg と言う関数を用いて作成された値を入れようとしていました。
そして、INSERT INTO...SELECTしようとしたら、以下のようなエラーになりました。

HIVE_INVALID_METADATA: Glue table 'xxx' column 'test' has invalid data type: map<string, float>

結論から言うと、map<string, float> を map<string,float> に変更したらいけました。
, の後に半角スペースがあるのはダメみたいです。

厄介なのは、以下の二点です。

マネジメントコンソールでglueのテーブル定義を見ると、, の後に半角スペースがあろうがなかろうがちゃんとMAP型として解釈されていること
- しかも、普通に見るだけではどちらも同じ型のように見えること
- そして、なぜか半角スペースがあるかないかで挙動が変わること
2024/06/04現在、この記事の「MAP型とは」のセクションであげた公式ドキュメントには MAP<key_type, value_type> のように半角スペースが含まれていること

僕がこれに気づけた理由は、試しにCREATE TABLE AS SELECT(通称CTAS) して自動で作られたテーブル定義を見たらmap<string,float>　となっていたので、念の為半角スペースを消してみたからです。
正直スルーしてもおかしくなかったし、解決したのは奇跡です。

どなたかの助けになれば幸いです。

...誰がわかるねんこれ。