JupyterでPySparkが立ち上がらない時の対処方法

本記事について

JupyterからNotebookを開き、PySparkカーネルをスタートさせてもカーネルが起動しない時の対処方法について記載します。

症状

Notebookを開いてPySparkカーネルをスタートしても起動中のマークが出たまま止まる。

原因

PySparkカーネルを立ち上げると、新たにSparkアプリケーションが作成されます。

設定にもよりますが、Sparkアプリケーションは１度に１つしか実行できません。

なので、既に他のNotebookを開いてPySparkカーネルが起動していると、そのPySparkカーネルのSparkアプリケーションが実行中なため、後から開いたNotebookがPySparkカーネルをスタートさせてもSparkアプリケーションは止まったままで、PySparkを立ち上げることができなくなってしまいます。

また、Notebookを開く度に新しくSparkアプリケーションが作成され、そのNotebookを閉じても、それに紐付いていたSparkアプリケーションは削除されず残り続けるため、Notebookを開いたり閉じたりしていると、Sparkアプリケーションが溜まっていってしまいます。

対処方法

一旦全てのSparkアプリケーションを削除してから、再度Notebookを立ち上げ直します。

1. 開いている全てのNotebookを閉じる
2. Jupyterの「Running」タブで、全てのNotebookを「Shutdown」する
3. http://localhost:8088/で「YARN UI」を開く
4. [Applications]でSparkアプリケーション一覧を表示し、削除するSparkアプリケーションの「Tracking UI」を選択
   
   （下記図では３つのPySprakカーネルのSparkアプリケーションがWait状態で残っていますのでこれらを削除します）
   
5. Sparkアプリケーションの詳細ページの左上の「Kill Application」をクリックてSparkアプリケーションを削除する
   
6. PySparkカーネルを立ち上げたいNotebookを開いてPySparkカーネルをスタートさせる