ローカルファイルシステムからDBFSへの大容量ファイルのアップロードや大容量ファイルからテーブルを作成する際に、以下のようなエラーが発生することがあります。
Part number must be an integer between 1 and 10000, inclusive
パートの数は1から10000でなくてはなりません。と、これだけですと切り分けが難しいですよね。
以下のナレッジベースに詳細な説明と対策方法の記載があります。
原因
これはS3におけるセグメント数の制限です。分割されたファイルは1から10000の個数でなくてはなりません。
対策
この例外の発生を防ぐには、それぞれのパートファイルのサイズを増やしてください。
-
クラスターのSpark設定の以下のプロパティを設定してください。
spark.hadoop.fs.s3a.multipart.size 104857600 -
クラスターを再起動します。
つまり、S3へのマルチパートアップロードのパートの数の上限に引っかかっていたと言うことでした。
Maximum number of parts per uploadは10,000であり、上の設定でパートあたりのファイルサイズを大きくしてパート数を1万に収まるようにしないといけません。デフォルト値は10MBです。
例えば、500GBのファイルからテーブルを作成しようとすると、5万弱のパートになるので、上述の制限の1万を超えてしまいます。spark.hadoop.fs.s3a.multipart.sizeを50MBに設定すれば、パート数は1万になりますのでエラーを回避することができます。