はじめに

Pythonは最近とても人気で、機械学習だけでなく様々な分野で幅広く使われています。
しかし、Pythonには__実行速度が遅い__という弱点があります。
高速なC言語などと比べて__数百倍__遅く、科学計算などでは残念ながらPythonは選択肢に入りません。
しかし私はPythonが好きで、{}やendを書いたり、いちいち変数宣言なんてしたくないので、高速化する方法を調べました。

調べてみたところ、Pythonを高速化する一つ一つの方法の詳しい解説記事は見つかりました。
しかし、網羅するような逆引きのまとめがなかったので、記事を書くことにしました。

それぞれの方法を調べましたが、実際に使用したことがないものが多いため、記事で間違いがありましたら、ぜひ指摘してください。
また、ここに載っていない高速化方法などありましたら、ぜひコメント欄で教えてください。
よろしくお願いします。

項番	項目	概要
1	1. クラスタレベル	複数コンピュータをつなげて分散処理する方法
2	2. コンピュータレベル	単一PC内で高速化する方法
3	3. Python処理系、コンパイラレベル	特定のPythonの種類、コンパイラを使用して高速化する方法
4	4. Pythonライブラリレベル	高速なライブラリを使用する方法
5	5. コーディングレベル	高速に動作するようなコードを書く方法
6	6. 番外編：高速な他言語のプログラムを呼び出す	他の高速な言語を使用する方法

1. クラスタレベル

複数のマシンを使用するクラスタレベルで分散処理することで高速化する方法です。
もうここまでくると Python というプログラミング言語レベルではなくなりますが、高速化の選択肢として説明します。

Hadoop

大量のデータを複数マシンに分散して処理させるオープンソースのプラットフォーム。
Google社内基盤技術をオープンソースとして実装したものらしいです。

Apache Spark

カリフォルニア大学バークレー校で開発された分散処理フレームワーク。
Hadoopよりもメモリをうまく使うことで、機械学習を高速で実行できるようにしたものです。

2. コンピュータレベル

1台のコンピュータの中で高速化する方法です。
高速化のアプローチとしては、並列化、GPGPU、ハードウェアの選択があります。

2-1. 並列化

一つのマシンの中で、プログラムを並列化して実行して高速化する方法です。

詳しくは東京大学の情報基盤センターが無料で公開している動画がわかりやすいです。

ちなみに並行処理と並列処理がありますが、違いは詳しくはクリック

https://qiita.com/Kohei909Otsuka/items/26be74de803d195b37bd

https://qiita.com/4_mio_11/items/7f418ca661d9f5a2a39d

Pythonライブラリを使用した並列化

Pythonのプログラムは、ライブラリを使用することで比較的簡単にできます。
ライブラリとして、multiprocessing、threading、concurrent.futuresなどがあります。
マルチプロセス、マルチスレッドを一緒に紹介している記事が多いので、区別せずにリンクを貼ります。

MPI

分散メモリ型計算機の プロセス間 の通信規格らしい。
スパコンで並列処理するために使用されることが多い。

詳しくは東京大学の情報基盤センターが無料で公開している動画がわかりやすいです。

いわゆる マルチプロセス
もともとC、C++、Fortranから呼び出すものだが、Pythonからもmpi4pyというライブラリを使用することで利用できる。

座学「並列プログラミング入門」in 金沢第2講　並列処理とMPIの基礎
 座学「並列プログラミング入門」in 金沢第4講　Hybrid並列化技法（MPIとOpenMPの応用）PDF
名古屋大学情報基盤センター　MPIの基礎
 東京大学情報基盤センター　MPI基礎：並列プログラミング入門
 神戸大学計算科学教育センター　MPIによる並列化実装

OpenMP

共有メモリ型マシンで並列プログラミングを可能にするAPIです。スパコンでよく使われます。
いわゆる マルチスレッド
C、C++、Fortranについて標準化が行われています。
Cython経由でOpenMPを使用できるらしいですが、Pythonではあまり実用的ではなさそうです。

座学「並列プログラミング入門」in 金沢第3講　OpenMPの基礎PDF
座学「並列プログラミング入門」in 金沢第4講　Hybrid並列化技法（MPIとOpenMPの応用）PDF
名古屋大学情報基盤センター　OpenMPの基礎
 理化学研究所　OpenMPによるスレッド並列計算

2-2. GPGPU

GPGPUとは、General Purpose GPUの略で、GPUを画像処理以外に使用する技術です。ディープラーニングやマイニングに使用されているのが有名です。
GPUは汎用性がCPUと比べて低いですが、行列計算などがとても高速です。
そのため、GPUを処理の一部で使用することで高速化が可能です。
ただし、メモリ上にある配列をGPUのメモリに移して、計算後に戻すために時間がかかるため、場合によってはより時間がかかってしまうこともあります。

CuPy

NumPy互換のインターフェースを持ち、GPUを使うことができるライブラリです。
日本のベンチャー企業Preferred Networksが開発しました。（Chainerを作っていた会社）
おそらく一番使いやすくて有名です。
変数は明示的にプログラムでメモリ-GPU間を移動させる必要があります。

TensorFlow

ディープラーニング界の2大フレームワークの片割れです。
ディープラーニング自体テンソル同士の演算（行列同士の演算）であるため、ディープラーニング以外にも使用可能です。
GPUとCPUを使い分けることを前提にして設計されているため、メモリ-GPU間の変数の移動を自動で行ってくれます。
ただしディープラーニング以外で使用しているのをみたことがないので、情報が少なく学習が大変かもしれません。

PyCUDA

本来C/C++で使用するCUDAを、Pythonから呼び出せるようにバインディングしたライブラリです。
おそらくCUDAに関する知識がないと使えなさそうです。
そしてネット上にあまり情報がないです。

Numba.cuda

後に解説するNumbaというライブラリにCUDAを使用するものが含まれているらしいです。
おそらくCUDAに関する知識がないと使えなさそうです。
ネット上にあまり情報がない。

2-3. ハードウェアの選択

プログラムを実行しているのはコンピュータです。
ならば、スペックの高いコンピュータを使用すれば実行速度は速くなります。
といっても、相当なこと（ものすごいボトルネックの解消など）がない限り数倍の高速化などにはならないと思います。
スペックの高いコンピュータ についてまとめていきます。

PCパーツ全体

OS

正確にはソフトウェアですが、パソコンを買うときに決まるようなものなのでここで紹介します。
有名なOSといえばwindowsとlinuxでしょう。
機械学習はlinuxのほうがwindowよりも倍ぐらい速いみたいです。
他の普通のプログラムはlinuxのほうがwindowよりもほんのちょっと速いみたいですが、大した差がないみたいです。

CPU

基本的に世代が世代が新しくて動作周波数が高いものを買えばよさそうです。
ただし並列化するならコア数、スレッド数が多いものを買うといいです。

GPU

GPGPUや、機械学習をするなら重要です。

メモリ

プログラム実行時にメモリをたくさん使うなら、メモリ容量を十分確保する必要があります。
また、動作周波数や転送速度なども種類がありますが、詳しくは触れません。

ストレージ（HDD、SSD）

保存したデータの読み出し、データの書き込みに時間がかかっているなら、SSDの中でも高速なものにすることで高速化が見込めます。
SSDの種類などについては深く触れません。

3. Python処理系、コンパイラレベル

普通のPythonはCPythonといって、C言語で書かれた処理系らしいです。
しかし他にもJavaで実装されたJython、C#で実装されたIronPythonがあったり、JITコンパイラによってコンパイルを最適化して高速化してくれるものがります。
この章では、高速化してくれる処理系、コンパイラに関してまとめました。

3-1. 処理系

PyPy

CPythonを制限したRPythonで実装されたPython処理系で、かつJITコンパイルをするものらしいです。
競プロでよく使われるみたいですが、PyPyについて説明したwebサイトが少ないです。

3-2. コンパイラ

Numba

比較的簡単に高速化できる方法が、Numbaライブラリを使用することです。
コードを最適化して事前にコンパイルすることで、数十倍速くなることもあるそうです。
コードをほぼ書き換えずに（正確には、インポートして関数の前にデコレータを付け足すなどして）高速化することができます。

Cython

Pythonが遅いならPythonのコードをcに変換してコンパイルしまおうという発想。
C言語になるので、とても高速（ちゃんと書けば100倍）になりますが、Pythonコード内で型宣言をする必要があるみたいです。
Numbaと比べて、C言語の動作環境を作ったりと導入までがめんどくさそうです。

Codon

ほぼPythonのコードで、コンパイル時にネイティブなマシンコードにすることで高速化を実現した新しいコンパイラです。
新しいのでまだ情報が全然ありません。

4. Pythonライブラリレベル

Pythonプログラム内で使用することで高速化につながるライブラリを紹介します。

NumPy

C言語とFortranで書かれた、高速に配列（行列）の計算をするライブラリです。
非常に有名で、しょっちゅう出てきます。
ただし、numpy.arrayをforループで回すと遅くなるなどの落とし穴があるみたいなので注意しましょう。

20220914追記

numpyは裏でBLASを呼び出しているらしいですが、このBLASの種類によって計算速度が異なるそうです。
最速はintel製のIntel MKLで、condaでnumpyをインストールするとこれが入っていますが、pipでインストールするとOpenBLASが使用され、遅くなってしまうそうです。
どちらのBLASが入っているかは以下のようにして確認できます。

import numpy as np
np.__config__.show()

pickle

データの読み込む際に、pickleを使用すると速くなります。
pickleはPythonオブジェクトをバイナリファイルにするPickle 化をするライブラリで、Python以外では読み込めませんが、とても高速に（十数倍）読み込むことができるというメリットがあります。

5. コーディングレベル

Pythonのプログラムの書き方次第で高速化できる方法はたくさんあります。
この章では、Pythonの理解、アルゴリズム、メモリの理解についてまとめます。

5-1. Pythonの理解

Python特有の高速化方法があります。
例えば、内包表記や、importの方法についてです。

5-2. アルゴリズム

アルゴリズムは、Pythonだけでなく、すべてのプログラムに通用する基本的な考え方です。
アルゴリズムの速度の指標として、$O(n^2)$ や $O(n\log{n})$ や $O(2^n)$ といった計算量オーダーを使用します。
アルゴリズムには、探索、ソート、最適化などさまざまな種類があり、それぞれにさまざまなアルゴリズムが存在しますが、紹介しきれないのでまとめて紹介します。

世界的なアルゴリズムのバイブル　The Art of Computer Programming（Amazon）

5-3. メモリの理解

プログラムが配列をメモリに格納する方法は、Row-major order方式とColumn-major order方式があります。
Python(numpy)はRow-major order方式なので、2次元なら(A[0][0], A[0][1], A[0][2], A[1][0], ...という順に、3次元なら[k,j,i]順にアクセスすると速いそうです。

高速化について

座学「並列プログラミング入門」in 金沢第1講　プログラム高速化の基礎PDF

メモリ格納について

名古屋大学情報基盤センター　MPIの基礎

高性能プログラミング（Ⅰ）入門編

6. 番外編：高速な他言語のプログラムを呼び出す

ここまで基本的にPythonについての高速化の方法をまとめてきました。
この章では、「Pythonが遅い言語なら、他のの高速な言語で書いたプログラムを呼び出して使えばいいじゃん」という発想のもと、その方法をまとめます。
今回は、有名な高速な言語として、Fortran, C, C++, juliaについてまとめました。

6-1. Fortran

ctypesを使用する方法と、f2pyを使用する方法がある。

6-2. C

どうやらCでラッパーを作る方法と、ctypesライブラリを使うの二種類があるらしい
ちょっと私の理解不足で、うまく説明できませんでした。

ラッパー

ctypes

6-3. C++

どうやらpybind11ライブラリを使う方法と、swigを使う方法があるらしい。

6-4. julia

最後に

Pythonの実行を高速化する方法をまとめました。
思った以上に様々な方法があり、また規模も全然違うため、分類してまとめるのが大変でした。
しかし書き終わってみると、かなり高速化について浅く広い知識が付きました。
それぞれのプログラムにあった高速化方法があると思うので、ぜひ逆引きとして使用してください。

また、何か間違い、他の高速化方法などありましたら、遠慮なくコメントしてください。
よろしくお願いします。

Pythonの実行を高速化する方法を一覧でまとめてみた