はじめに
- 以下のようなcsvファイルをAWS Glueで読み込んだところカラム名が読み取れずしばらく悩んでましたが、なんてことはないカンマを含む値が読み取れなかっただけでした
test.csv
Column0,Column1,Column2
hoge,"fu,ge",hage
foo,bar,baz
desc test
select * from test
解決策
- CSV以外のフォーマットを利用する
- JSONなどにすればこの問題は解決できました
- ただしJSONにする際には1行/レコードになるようにしておかないとAthenaで検索するときにハマるようです、ご注意ください
test.json
{"Column0":"hoge","Column1":"fu,ge","Column2":"hoge"}
{"Column0":"foo","Column1":"bar","Column2":"baz"}