Azure上でGPU付きの仮想マシン（VM）を使って大規模モデルを動かそうとしたのですが、いくつかハマりポイントがあったので備忘録としてまとめます。

背景

今回の目的は、gpt-oss-120bという大規模言語モデルを動かすことでした。
ローカルPCが貧弱なので、Azure VM上で動かすことにしました。

…というモチベーションで進めていました。

トラブル1: Azure VMでGPUが使えない

最初に起きた問題は、GPU付きVMが選べないというもの。

調べてみると、自分のアカウントではGPU VMが許可されてないことが原因と判明。
Azureポータル上で選べない状態でした。

「GPUサイズの制限があるのかも？」と考え、MicrosoftサポートにGPU VMサイズの上限引き上げをリクエストしました。

つまり、申請してもGPU VMの上限を増やせない状況でした。
AzureのGPUリソースは人気が高く、リージョンによってはリクエストが通らないケースもあるようです。

この時点で、GPU利用は一旦あきらめることにしました。

GPU付きがダメなら、いったんCPUオンリーでgpt-oss-120bが動くか試す方針に切り替えました。

この段階では「どうせGPUなしじゃ無理だろう」と思っていたのですが、意外なことが起きます。

試しにCPUオンリーVMでgpt-oss-120bを起動したところ、動きました。

もう一つハマったのが、VMサイズのラインナップが以前より増えていたことです。

Azureでは定期的にVMサイズが追加・統合・非推奨化されるのですが、公式ドキュメントを見ても全体像がつかみにくい状況でした。

Azureを使って大規模モデルを動かそうとする方の参考になれば幸いです。

次はGPU付きVMが使えるリージョンを見つけて、gpt-oss-120bをGPUで動かす最適構成についてまとめたいと思っています。

以上