pythonアプリケーションのパフォーマンス改善をする機会があったので、
その時の調査で役に立ったライブラリの使い方を、なるべく簡単に説明したいと思います。
今回紹介するのは、この3つです。
line_profiler・・・実行速度を計測するライブラリ
memory_profiler・・・メモリ使用量を計測するライブラリ
pdb・・・プログラムのデバッガ
全てIPythonのコンソールで使えるライブラリなので、コンソールで使い方を説明してきたいと思います。
##line_profilerの使い方
line_profilerをインストールします。
＄ pip install line_profiler
IPythonのコンソールを起動します。
（line_profilerのインストール時にIPythonも同梱されています。）
$ ipython
実行速度を計測するメソッドをコンソール上で作成します。
import time
def hoge():
# 0.01秒スリープさせる
time.sleep(0.01)
# 10000回ループさせる
for i in range(10000):
pass
コンソール上でline_profilerのコマンドを使えるようにします。
load_ext line_profiler
line_profilerのlprunコマンドでメソッドの実行速度を計測します。
lprun -f hoge hoge()
実行結果が表示されます。
Timer unit: 1e-06 s
Total time: 0.01848 s
File: <ipython-input-22-ac529d19217f>
Function: hoge at line 2
Line # Hits Time Per Hit % Time Line Contents
==============================================================
2 def hoge():
3 # 0.01秒スリープさせる
4 1 10064 10064.0 54.5 time.sleep(0.01)
5 # 10000回ループさせる
6 10001 4574 0.5 24.8 for i in range(10000):
7 10000 3842 0.4 20.8 pass
当たり前ですが、time.sleepで約0.01秒かかったことがわかります。
ループが10000回行われたこともHits列でわかります。
Time列の数値が高いところが時間のかかった処理ということになるので、そこの処理を見直すと処理速度の改善につながると思います。
引数のあるメソッドの場合は、このように書きます。
import time
def hoge(loop_count):
# 0.01秒スリープする
time.sleep(0.01)
# 引数の数分ループさせる
for i in range(loop_count):
pass
lprun -f hoge hoge(10000)
##memory_profilerの使い方
memory_profilerをインストールします。
＄ pip install memory_profiler
IPythonをインストールします。
＄ pip install ipython
メモリ使用量を計測するメソッドを書いたファイルを作成します。
（memory_profilerはコンソール上で作成したメソッドは計測できないので。）
hoge.py
def hoge():
# 100000個の配列を作る
l = list()
for i in range(100000):
l.append(i)
# 100000個の辞書を作る
d = dict()
for i in range(100000):
d[i] = None
メソッドを作ったらIPythonのコンソールを起動します
起動時に先ほど作成したhoge.pyファイルを読み込ませます。
$ ipython -i hoge.py
コンソール上でmemory_profilerのコマンドを使えるようにします。
load_ext memory_profiler
memory_profilerのmprunコマンドでメソッドのメモリ使用量を計測します。
mprun -f hoge hoge()
実行結果が表示されます。
Line # Mem usage Increment Line Contents
================================================
1 34.7 MiB 0.0 MiB def hoge():
2 # 100000個の配列を作る
3 34.7 MiB 0.0 MiB l = list()
4 37.7 MiB 3.0 MiB for i in range(100000):
5 37.7 MiB 0.0 MiB l.append(i)
6 # 100000個の辞書を作る
7 37.7 MiB 0.0 MiB d = dict()
8 49.1 MiB 11.3 MiB for i in range(100000):
9 49.1 MiB 0.0 MiB d[i] = None
配列の作成に3.0MiB、辞書の作成に11.3MiBのメモリが使われたことがわかりました。
引数のあるメソッドの場合は、このように書きます。
def hoge(loop_count):
l = list()
for i in range(loop_count):
l.append(i)
d = dict()
for i in range(loop_count):
d[i] = None
mprun -f hoge hoge(100000)
##pdbの使い方
pdbはpythonに最初から付属されているので特にインストールする必要はありません。
使い方は簡単で、デバッグを開始したい行に以下のコードを挿入するだけです。
import pdb; pdb.set_trace()
コンソール上で適当なメソッドを作って、先ほどのコードを挿入します。
def hoge():
var = "fuga"
print (var)
import pdb; pdb.set_trace()
print (var)
hogeメソッドを実行すると、pdb.set_trace()で処理が止まり、pdbのコマンド入力待ち状態となります。
In [2]: hoge()
fuga
> <ipython-input-1-3d0c1a13d7af>(5)hoge()
-> print (var)
(Pdb)
pコマンドで変数varの内容が確認できます。
(Pdb) p var
'fuga'
途中で変数varの内容を変更することもできます。
(Pdb) var = "piyo"
(Pdb) p var
'piyo'
あとは以下のコマンドを使ってステップ実行しながら確認するとデバッグしやすいと思います。
| コマンド | 説明 |
|---|---|
| s(tep) | 現在の行を実行します。実行する行が関数やメソッドの場合ステップインします。 |
| n(ext) | 現在の行を実行します。実行する行が関数やメソッドの場合ステップインしません。 |
| c(ontinue) | 次のブレークポイント（pdb.set_trace()）まで実行を継続します。 |
| l(ist) | 現在のソースコードを表示します。 |
ちなみに、eclipseのPyDevを使うとGUIでデバッグできて便利みたいです。
eclipseを使っていないという人や、サーバーのコンソール上で確認することがある人はpdbを使ってみるといいと思います。