0
0

More than 3 years have passed since last update.

Python3 multiprocessing starmap で大きい配列データを扱うとエラーが出る

Posted at

Python3 multiprocessing.Pool で starmap で大きめな画像データ(配列データ)を複数処理すると以下のようなエラーがでます.

Reason: 'error("'i' format requires -2147483648 <= number <= 2147483647")

メモリが足りたとしても, なにかしらの原因で内部でのインデクシングの範囲が int32 を超えてしまったようです.

Process など別の方法で処理が必要そうですが, プロセスで共有したい変数は multiprocessing.Array などで定義しないとならずめんどいですね...

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0