docker + scikit-learnのGridSearchCVの並列処理で“No space left on device” が発生した時の回避方法

Tips

docker + scikit-learnのGridSearchCVで並列処理（n_jobs=-1）を実施しようとした所、“No space left on device” が発生した

grid_search = GridSearchCV(pipe, param_grid , cv=5, n_jobs=-1, verbose=3)

環境

GCE + nvidia docker2 + jupyter-notebook + scikit-learnの環境で発生

原因

共有メモリ(/dev/shm)のアロケーションエラーが原因。df -hでサイズを確認できる。

対策

jupyter-notebookでJOBLIB_TEMP_FOLDERを設定する

%env JOBLIB_TEMP_FOLDER=/tmp