この記事について
お遊び用途で安価なGPUを使いたいというモチベーションから探してみたところ、Lambda GPU Cloud なるサービスを発見。
所詮お遊びで信頼性とかも必要ないので、使ってみた時のメモなどを残しておく。
登録
トップページの「Sign Up for free」から登録。
次のような項目が聞かれる。
- Account Type ( indivisual / Business )
- First Name
- Last Name
- Phone Number (optional)
- Password
- Privacy Policy とか Terms of Service とか Acceptable Use Policy とかへの同意
書くのはこれだけ。あとは、Emailアドレスに検証メールが来るので、検証リンクを開いて終了。
支払い情報は？って思ったけど、サインアップの時点では、支払い情報の入力は不要。
ただし、支払い情報が無いとInstanceは起動できないので、すぐに登録する羽目になる。
支払い情報の登録
Instanceを起動しようとすると、支払い情報の入力が求められる。
こんな感じの、質素な画面...。
クレカ情報は stripe.com に飛んで行ったので、そういうものだと思って気にしないことにする。
ちなみにクレカを登録すると、7日間使える無料の10USDクレジットが付くらしい。地味にうれしい。
SSH鍵の登録
Instanceへのログインのために、SSH公開鍵が必要になる。
お手持ちのSSH公開鍵を、Webコンソールの「SSH Keys -> Add SSH Key」から登録すればOK。
インスタンスの起動
コンソール画面の GPU Instances から「Launch Instance」ボタンを押して起動する。
Instance Type / Region / File System / SSH Key を選び、起動する。
File System は、とりあえず使う分には何も接続しなくてもOK。
ログイン
Instanceの起動が完了すると、コンソールにsshの接続情報が表示されるので、それを御手元のシェルに入力。
LambdaにWelcomeされてれば、ログイン成功。
ちゃんと所望のグラボがアタッチされているか、一応「nvidia-smi」コマンドで確認しとくと精神安定が図れます。
デフォルト環境 (2023年05月現在）
リージョンに依存して環境が微妙に違う...。
最低限必要そうなミドルウェアのバージョンをご紹介。
テキサスリージョン
- Ubuntu 20.04.5 LTS (GNU/Linux 5.15.0-52-generic x86_64)
- Python 3.8.10
- Jupyter Lab 3.5.0
- CUDA Version 11.7
- NVIDIA Cuda Compilation tools 11.6
- Docker version 20.10.21
テキサス以外のリージョン
- Ubuntu 20.04.5 LTS (GNU/Linux 5.15.0-67-generic x86_64)
- Python 3.8.10
- Jupyter Lab 3.6.1
- CUDA Version 12.0
- NVIDIA Cuda Compilation tools 11.8
- Docker version 23.0.1
CUDA環境が微妙に違うのが特に面倒です。PyTorchのバージョンとかも切り替えないといけない；ー；
Jupyter Lab の利用
Jupyter Lab がデフォルトで立ち上がるような機能も提供されている。
コンソールから1クリックで起動できるので、すごく便利。
shutdown 時の挙動について
無効化されてるらしい。コンソールかWebAPIからターミネートしなさいだそうです。
API によるInstanceの制御
API Keys メニューから、API Keyを発行できる。
API仕様は、こちら。
APIキーはBasic認証のIDに使う。
試しに、Instance Types API を実行するPythonコードはこちら。
import requests
from requests.auth import HTTPBasicAuth
print(
requests.get(
'https://cloud.lambdalabs.com/api/v1/instance-types',
auth=HTTPBasicAuth(KEY, "")
).text
)
ちなみに、APIキーに対しては権限機能はありません。
APIキーはすべての権限が与えられている状態で発行されて、それを制御することはできません；；
怖い...
しんどいポイント Instance不足しがち事案
常時、全リージョンでインスタンスが枯渇しています。
A10とH100以外は、定常的に使えないと思った方がいいです。
たまーに、A100が空いたりする。
ご参考情報
nvidia-smi の結果とか、nvccのバージョンとかのスクショをご参考情報として。
gpu_1x_a10
gpu_1x_rtx6000
gpu_1x_a100_sxm4
gpu_8x_v100
最後に
色々不便なところはあるんですが、安いのは神。