久しぶりで pyspark 立ち上げたら No module named 'py4j' と出た。
で、ぐぐったら、悉く環境変数PYTHONPATHにspark配布物の中の py4j の src zip ファイルを登録しろということだったんだが、やってみると全く改善しない。

結局、この件、 ipython が PYTHONPATH から zip を読み込まないことが原因だった。

$ python3.7
Python 3.7.4 (default, Jul  9 2019, 18:13:23) 
[Clang 10.0.1 (clang-1001.0.46.4)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import py4j
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'py4j'
>>> 
$ env PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.7-src.zip python3.7
Python 3.7.4 (default, Jul  9 2019, 18:13:23) 
[Clang 10.0.1 (clang-1001.0.46.4)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import py4j
>>> 
$ env PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.7-src.zip ipython
Python 3.7.4 (default, Jul  9 2019, 18:13:23) 
Type 'copyright', 'credits' or 'license' for more information
IPython 7.7.0 -- An enhanced Interactive Python. Type '?' for help.

In [1]: import py4j                                                                                                                     
---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-1-cf59b57a4c3e> in <module>
----> 1 import py4j

ModuleNotFoundError: No module named 'py4j'

In [2]:                                                                                                                                 
Do you really want to exit ([y]/n)? y

export PYSPARK_DRIVER_PYTHON=ipython してあったため ipython が動いていた＆ dot file 書き換えて xterm 起動しても最初に読み込んだ dot file で設定してしまった PYSPARK_DRIVER_PYTHON が引き継がれて、これ殺しても No module named 'py4j' 出るなぁとしばらくハマった。

見つかった例を見るとほぼ全て、 SPARK_HOME を環境変数で設定しているけど、これ PYTHONPATH に展開させるためだけにあって spark 自体は参照していないので正しいんだよな。今まで設定したことないし。
なんかこう仕組みもわからず全部環境変数って辞めませんかね