LoginSignup
3
3

More than 5 years have passed since last update.

Jupyter Notebook でMultiprocessingエラー

Posted at

Jupyter Notebook使ってますか?


python使ってて使わないのは損ってくらい使いやすくて素晴らしいツールだと思います
可視化結果をそのままスクリプト上に保存したり、ワークステーション上で起動しておけば外部からもアクセス可能ですし、非常に研究に活用させていただいてます。
ただ、Jupyter notebookで少し詰まった事がありました。

multiprocessingエラーでフリーズ...


それはmultiprocessingです。
普段使いであれば全然問題ないのですが、たまにエラーを吐いて止まったりすると、ノートブックを再起動しないとプロセスが止まらないっていう...
理由を探してやっとわかったことが。

%runコマンドには注意


ある程度スクリプトを書いておいて、%run hogehoge.pyと実行した後にいろいろ処理することは少なくないのではないでしょうか。
並列化対象は、最初の%run hogehoge.pyでよびだせる関数もしくはjupyterに直接書いた関数でないといけないという制約があるっぽい。
つまり、%run hogehoge.pyの後に%run fugafuga.pyとしてもfugafuga.pyの関数がhoghoge.pyで呼び出せないと並列化したときにAttributeErrorが出るみたいだ(mainがうんたらかんたらって怒られる。そしてフリーズ)。
全部をJupyterのスクリプトでやる人は全く問題ないが、大きなプロジェクトになってきて、テストコード代わりにいろいろ別スクリプトを試すときには注意が必要ですね。(こんな説明で伝わりますかね......)

3
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
3