More than 1 year has passed since last update.

MongoEngineの非構造化データ処理が遅い

Posted at 2023-09-10

初めに

機械学習の業務でMongoEngineを使用して非構造化データを取り扱う際の注意点です。誰かのお役に立てれば幸いです。

class model(Document):
    # 1㎆以上のデータ
    big_data = BinaryField()

以下の二つの方法でアクセスしてみます。

m1 = model.objects.first() # it takes 20 seconds by mongoEngine 
m2 = db.connection.get_connection().find_one() # it takes 0.9 seconds by pymongo

MongoEngine は、ドキュメントデータを Python オブジェクトにマップするために使用されます。非常に大きな非構造化データを取り扱う場合、アンシリアライズにすごく時間かかるので、 MongoEngine は適切なツールではないため、pymongo を使用する方がいいです。