FLOPs(Floating Point Operations)
FLOPsは,アルゴリズムやAIモデルが実行する浮動小数点演算の総量を示す指標です。
FLOPsの値が大きいほど,プログラムが多くの計算を必要とします.
FLOPS(Floating Point Operations Per Second)
1秒間に浮動小数点演算が何回できるかの指標値で、主にCPUやGPUといったコンピュータのハードウェア性能を評価します.
例えば,MRIデータをリアルタイムで解析する場合、FLOPSが高いプロセッサを使用すれば,迅速にデータを処理できます.
2024年3月現在,世界最高速のスパコンはFrontierで1.102EFLOPS.分散コンピューティングでは,Folding@homeが一時的に2.4EFLOPSを突破しました.
2.4EFLOPSのすごさ.
MACs
MACs(Multiply-Accumulate Operations)は、「乗算と加算の演算回数」を指し、特にニューラルネットワークなどの計算複雑性を測定するための指標としてよく使用されます。MACは1つの「乗算と加算」操作を1回の演算としてカウントします。
FLOPsとMACsの関係
一般に,1つのMACは2つのFLOPに相当します.これは,1回のMAC操作が1回の乗算と1回の加算を含むためです.
1 MAC ≒ 2 FLOPs
たとえば,行列積の計算では、各要素の計算に1回の乗算と1回の加算が含まれるため,1要素あたり1 MAC(つまり2 FLOPs)が必要です.
詳しくはこの記事を見てください.