GPU-CPU間のオーバーヘッドについて考える
GPUを活用する際、多くの開発者が気にするのは オーバーヘッド です。特に、CPU-GPU間のデータ転送やカーネル起動時の遅延がボトルネックとなることがよくあります。本記事では、GPU-CPU間のオーバーヘッドの原因と、それを軽減するための手法について考えてみます。
なぜGPU-CPU間のオーバーヘッドが発生するのか？
GPUを活用する際、主に以下のようなオーバーヘッドが発生します。
-
データ転送の遅延
- GPUは通常、独立したメモリ（VRAM）を持っており、CPUのメインメモリ（RAM）とは別管理となっています。
- データをGPUに送るためには、PCIe経由でデータ転送を行う必要があり、これが大きな遅延を生じます。
-
カーネル起動のオーバーヘッド
- GPUカーネルを実行する際、CPU側で命令を発行し、スケジューリングを行った上でカーネルが実行されます。
- この際に、コンテキストスイッチなどのコストが発生します。
-
同期コスト
- CPUとGPUは異なるコアで並列実行されるため、データの整合性を取るための同期処理が必要になります。
-
commandBuffer.waitUntilCompleted();などのAPIを適切に使わないと、不要な待機が発生する可能性があります。
-
APIのオーバーヘッド
- CUDA, OpenCL, Metal などのAPIは、GPUリソースを管理するために追加のオーバーヘッドを伴います。
- 特に、頻繁なAPIコールは性能を低下させる可能性があります。
実際にMetalでBLASを実装してわかったこと
実際にMetalを使ってBLASを独自実装してみましたが、OpenBLASほどの速度はまず出せない という結論に至りました。
また、細かくBLASやLAPACK命令を実装し、それらを機械学習アルゴリズム側で何度もディスパッチ（呼び出し）すると、オーバーヘッドが大きくなり、非効率になることも明らかになりました。
したがって、GPU実装したい機械学習アルゴリズムの コア部分を直接GPUカーネルで実装する のが最も効率的だとわかりました。
VeloxMLの紹介
私が開発している VeloxML は、高速な機械学習ライブラリをC++で実装し、Python APIを提供するプロジェクトです。VeloxMLでは、CPUでの推論・学習を高速化するために、BLAS/LAPACKの最適化を行いつつ、1から実装したGPUカーネルコードを活用し、GPUで高速な学習を行うことを目指しています。
現在、CPUベースのアルゴリズムを中心に実装していますが、近いうちにMetal実装した機械学習アルゴリズムを追加する予定 です。Metalの最適化を活かし、GPUをフル活用することで、高速な学習と推論を実現していきます。
今後のアップデートにご期待ください！
もしVeloxMLを気に入っていただければ、スターをお願いします！