Java8とJava11が共存している環境下でSparkを使おうとしたときに出たエラーを解決
概要
spark-shellからsparkを使ってもpysparkを実行しても以下のような同じエラーが出ていたので直した。
'Unsupported class file major version 55'
環境
Ubuntu18.04
Spark 2.4.3
解決方法(試行錯誤つき)
原因はJava11を使っていることらしい。使用しているJavaのバージョンを確認して、別のバージョンを選ぶために以下を実行。
$ sudo update-alternatives --config java
alternative java (/usr/bin/java を提供) には 3 個の選択肢があります。
選択肢 パス 優先度 状態
------------------------------------------------------------
0 /usr/lib/jvm/java-11-openjdk-amd64/bin/java 1101 自動モード
1 /usr/lib/jvm/java-11-openjdk-amd64/bin/java 1101 手動モード
* 2 /usr/lib/jvm/java-11-oracle/bin/java 1091 手動モード
3 /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java 1081 手動モード
現在の選択 [*] を保持するには <Enter>、さもなければ選択肢の番号のキーを押してください:3
これでJava8を使うようになるかと思ったのだけれど、以下のように、そうはならなかった。
$ java --version
openjdk 11.0.2 2019-01-15
OpenJDK Runtime Environment 18.9 (build 11.0.2+9)
OpenJDK 64-Bit Server VM 18.9 (build 11.0.2+9, mixed mode)
そもそもどこを見に行っているのか調べてみる。すると、
$ which java
/home/ksn/.sdkman/candidates/java/current/bin/java
となっておりJava(とKotlin)はSDKMANを使ってインストールした形跡があり。
ここで、SDKMANでsparkをインストールできるらしいことを知ったのでそちらを試すことに。
$ sdk install spark
でインストールして$spark-sessionから動作確認を試みたが、やはり'Unsupported class file major version 55'のような同じエラーが出ている。
$ sdk list java
をしてSDKMANでJava8がインストール出来るのか見てみると、Javaは8以下はインストールできないっぽいことが判明。そうなるとこちらで解決しようというのは無理だということを判断。
よって、以下でSDKMANで入れたjavaをアンインストール。
$ sdk uninstall java 11.0.2-open
これで、
$ java -version
openjdk version "1.8.0_212"
OpenJDK Runtime Environment (build 1.8.0_212-8u212-b03-0ubuntu1.18.04.1-b03)
OpenJDK 64-Bit Server VM (build 25.212-b03, mixed mode)
$ which java
/usr/bin/java
となり、/usr/bin/下のjavaを読んでくれることに。
$ spark-shellとしてSDKMANでインストールしたsparkを立ち上げてみる。すると
$ spark-shell
...
scala> val textFile = spark.read.text("README.md")
textFile: org.apache.spark.sql.DataFrame = [value: string]
scala> textFile.count()
res0: Long = 109
となり、無事エラーがでなくなった。
調べた限りだと、SparkやHadoopと一緒にJava11を使うのはまだ早すぎでJava11を使いたければSpark3.xに期待しろとのことであった。これで先日のHadoopを導入した際の問題も解決すると思われる。