はじめに

Python開発者として、パフォーマンスと効率性は常に私たちの頭の中にあります。
特に、大規模なデータセットや複雑なデータ処理タスクを扱う場合、メモリ使用量の最適化は重要です。
このブログでは、Pythonプログラムのメモリ使用量をプロファイリングし、最適化するための強力なツールであるmemory-profilerについて紹介します。

memory-profilerとは？

memory-profilerは、Pythonプログラムのメモリ使用量を監視し、分析するためのツールです。
関数やコードブロックの実行中にメモリ使用量を追跡し、メモリリークや不必要なメモリ使用を特定することができます。
これにより、パフォーマンスを向上させるための洞察を得ることができます。

インストール

memory-profilerをインストール

pip3 install memory-profiler

機能

ラインバイラインのメモリ使用量の分析: 特定の関数内の各行のメモリ使用量を測定します
時間経過によるメモリ使用量の監視: プログラム実行中のメモリ使用量の変化を追跡します
コマンドラインインターフェース: プログラムを実行しながらメモリプロファイルを取得するためのコマンドラインツールを提供します
統合開発環境（IDE）との互換性: Jupyter NotebookなどのIDEで直接使用できる機能を提供します

使用方法

memory-profilerを使用するには、プロファイリングしたい関数の直前に@profileデコレータを追加します。
次に、mprof runコマンドを使ってスクリプトを実行し、メモリ使用量のプロファイルを取得します。

サンプルコード

script.py

from memory_profiler import profile

@profile
def sample():
    a = [1] * (10 ** 6)
    b = [2] * (2 * 10 ** 7)
    del b
    return a

if __name__ == '__main__':
    sample()

スクリプトを実行すると、次のような出力が得られるはずです。

$ python script.py 
Filename: xxx/script.py

Line #    Mem usage    Increment  Occurrences   Line Contents
=============================================================
     4     21.7 MiB     21.7 MiB           1   @profile
     5                                         def sample():
     6     29.3 MiB      7.6 MiB           1       a = [1] * (10 ** 6)
     7    181.9 MiB    152.6 MiB           1       b = [2] * (2 * 10 ** 7)
     8     29.3 MiB   -152.6 MiB           1       del b
     9     29.3 MiB      0.0 MiB           1       return a

出力に見られるように、使用されているメモリ、後続の文字列作成ごとの増加、および使用済みメモリの一部を解放する文字列削除ステップを確認できます。

このスクリプトを以下のコマンドで実行すると、my_func関数内のメモリ使用量の変化が記録されます。

mprof run script.py

mprof コマンドの実行

上記のように Python スクリプトを実行する代わりに、mprof次のようにコマンドを実行することもできます。

mprof run --python script.py

このコマンドを実行すると、メモリ使用量データを含む.datファイルも表示されるはずです。
mprofコマンドを実行するたびに、タイムスタンプによって識別される.datファイルが1つ作成されます。

メモリ使用量のプロット

場合によっては、数値を見るよりもプロットからメモリ使用量を分析するほうが簡単です。
プロット機能を使用するには matplotlibが必須の依存関係であることを説明したことを思い出してください。

以下のコマンドを使用すると、mprof plot.datファイル内のデータをプロットし、画像ファイル (ここでは、output.png) に保存できます。

mprof plot -o output.png

まとめ

memory-profilerは、Pythonプログラムのメモリ使用量を理解し、最適化するための強力なツールです。このツールを活用することで、より効率的でパフォーマンスの高いコードを書くことができるようになります。メモリ使用量の最適化は、特にリソースが限られている環境や大規模なデータセットを扱う場合に重要です。memory-profilerを使って、コードのメモリ効率を次のレベルに引き上げましょう。

Pythonでメモリを管理する方法