はじめに

OpenAI WhisperをGoogle Colab(無料版)のGPUを使って実行すると、Macbook Pro M1 (8 core)と比較してどの程度速くなるのか確認してみました。Macbook Pro M1の結果は、以前投稿したこちらの記事をご参照下さい。

Google Colab(無料版)の注意事項などについては、Google Colabのよくある質問にまとまっています。リソースは保証型ではなく、無制限でもありません。使用量の上限が状況におうじて変動します。との記載があります。よって、この記事の結果は、測定した時の結果に過ぎず、同じ結果が得られる保証はない、ということをご理解下さい。

結果は、3分26秒のオーディオファイルをモデル large-v2を使って計測すると約5倍速いという結果になりました。
Google Colab GPU T4だと1分51秒でした。Macbook Pro M1では、large-v2で9分55秒かかったので、1/5の時間で実行できたことになります。

GPUのすごいを実感した検証結果となりました。ローカルにGPUの実行環境を用意する手間を考えると、メリットだけではないと思いますが、Google Colab環境での実行であれば10分程度でサクッと実行できるようになります。

利用した環境

Google Colaboratory with GPU T4ランタイム

環境準備

Google Colabを開く

GitHubにサンプルを用意したので開いて下さい。GPU T4のランタイムに接続する前提で開きます。

Google Driveにファイルを保存

Google Driveを開き、マイドライブの下に適当なディレクトリを用意します。ここでは、whisp1/smallの下にaudioファイルをアップロードしました。

Whisperのインストール

Google Colabでは !コマンドにてLinuxコマンドが実行できます。

!pip3 install -U openai-whisper

!sudo apt update && sudo apt install ffmpeg

Google ColabランタイムからGoogle Driveをマウント

Google ColabランタイムからGoogle Driveをマウントします。

Connect to Google Drive(もしくは日本語表示されたボタン)をクリックします。

!ls /content/drive/MyDriveにてアップロードしたファイルにアクセスできることを確認して下さい。

Whisperの実行

whisper実行コマンドは下記のようになります。ファイル名とパスは適宜修正して下さい。実行時の現在ディレクトリに結果が出力されます。

!whisper /content/drive/MyDrive/whisp1/small/audio1454496418.m4a --language Japanese --device cuda --model small

処理時間の計測結果

下記のようにlanguage optionで言語を指定し、さらにmodel optionでモデルを指定しています。前後にdateを入れることで処理時間を測定しました。

Google Colabは共有リソースの構成だと思います。リソース利用状況などによって、処理時間にばらつきが出ることがあると思いますが、概算比較でどの程度速くなるのか、を確認できれば十分と考えていますので、一度ずつしか測定していません。

CPUでの処理実行コマンド
!date; whisper audio1454496418.m4a --language Japanese --model small; date

CPUでの処理結果

ファイル種別	ファイルサイズ	audio/movie尺	モデル	処理時間
audio (m4a)	3.3MB	3分26秒	small	0分56秒

GPUでの処理実行コマンド
!date; whisper /content/drive/MyDrive/whisp1/small/audio1454496418.m4a --language Japanese --device cuda --model small; date

GPUでの処理結果

ファイル種別	ファイルサイズ	audio/movie尺	モデル	処理時間
audio (m4a)	3.3MB	3分26秒	small	0分32秒
audio (m4a)	3.3MB	3分26秒	medium	1分20秒
audio (m4a)	3.3MB	3分26秒	large-v2	1分51秒