- 生ログをparseしてmap型を持つデータをhiven入れる
- そのmap型はsize 0の可能性がある
size 0のmap型を含むをrowをhive tableにdf経由でいれるときに
エラーが発生する。
ぱかちょん回避策は
- size 0の場合は、size 0だよんと教えるように、 Map("null" -> "")みたいなのをいれて、size 1にする。
であればエラーは発生しない。
parquetのバグっぽいので、hiveのissueに上がっている。
More than 5 years have passed since last update.
sparksqlでhive tableにinsertする歳にparquetのfieldはnullはだめだよーんと怒られる場合
Posted at
Register as a new user and use Qiita more conveniently
- You get articles that match your needs
- You can efficiently read back useful information
- You can use dark theme
List of users who liked
00