環境
- OS Ubuntu 18.04
- Java
terminal
$ java -version
openjdk version "1.8.0_212"
OpenJDK Runtime Environment (build 1.8.0_212-8u212-b03-0ubuntu1.18.04.1-b03)
OpenJDK 64-Bit Server VM (build 25.212-b03, mixed mode)
- 必要に応じて環境変数JAVA_HOMEやPYSPARK_PYTHONなどを正しく設定してください
生じた事象
python
from graphframes import GraphFrame
nodes = #nodeを定義
edges = #edgeを定義
GraphFrame(nodes, edges)
このコードを走らせようとした際にGraphFrameのコンストラクタ内で以下のようなエラーを吐く.
terminal
...
py4j.protocol.Py4JJavaError: An error occurred while calling o55.loadClass.
: java.lang.ClassNotFoundException: org.graphframes.GraphFramePythonAPI
at ...
graphframesのjarライブラリが読み込めてないことに起因するのでこれを入れてあげれば解決します.
対応策
読み込み先の特定
$SPARK_HOME/jarsが存在するならそこでOKです.
$SPARK_HOMEが設定されていない場合,まずpysparkのあるディレクトリを特定します.
pipをお使いの方はpip show pysparkでLocationの欄を見ればOK.
あるいは次のようにして確認できます.
python
import pyspark
print(pyspark.__path__)
# ['/usr/local/lib/python3.6/dist-packages/pyspark'] のような形式で返ってくる
特定が完了したらそのpyspark/jarsが読み込み先のディレクトリです.
jarのダウンロード
このサイトからお手持ちのversionに対応したjarをダウンロードして先ほど特定したディレクトリの中に入れれば完了です.
何か正攻法が存在するなら教えていただければ幸いです.
参考サイト
https://stackoverflow.com/questions/39261370/unable-to-run-a-basic-graphframes-example
https://markhneedham.com/blog/2019/04/17/pyspark-class-not-found-exception-org-graphframes-graphframepythonapi/