Python 大量リストから一意なデータを高速に取得する方法

はじめに

Pythonで大量のリストから一意なIDを基準にデータを取得する際、
データ量が増えるとパフォーマンスが大きく低下することがあります。
そのような課題を解決した方法を記載します。

例えば、以下のように一意なIDを条件にリストを絞り込むコードでは、
大量データの場合にパフォーマンスが大きく低下することがあります。

target_id = "{id}"

results = [] # 対象リスト
result = [x for x in results if x.id == target_id]

リスト内のすべての要素をチェックするため、サイズが大きいほど処理時間が長くなります。

リストの形式を変更できない場合、nextを使用すれば効率的に最初の一致するデータを取得できます。

result = next((x for x in results if x.id == target_id), None)

リストデータを辞書形式に変換できる場合、一意なIDをキーにすることで、
パフォーマンスを大幅に向上させることができます。

# 辞書型に変換
results_dict = {x.id: x for x in results}
# 辞書型からデータを取得
result = results_dict.get(target_id)

リストデータ数やループ回数の詳細は失念しましたが、以下のようなパフォーマンスの改善を確認しました。

この方法を活用することで、一意なIDを持つリストの取得パフォーマンスを向上させることができます。