下記を付ければOK
.set("spark.sql.sources.partitionColumnTypeInference.enabled", "false")
付けないと、型推測されて、String以外の形式になることがある。
実際あったのが、
s3://hogehoge/hoge1=1234-12-32_XXX/…
のようなpathをsparkで取り込んだ際に、hoge1の型がdate型になり、中身の値がnullになってしまった。つらい
特にエラーも吐かないので大変でした。
More than 5 years have passed since last update.
Register as a new user and use Qiita more conveniently
- You get articles that match your needs
- You can efficiently read back useful information
- You can use dark theme