LoginSignup
3
1

More than 3 years have passed since last update.

KaggleのNotebooksを、Google Cloud AI Notebooksで実行する際のつまずきポイントと対策

Posted at

背景

  • Kaggleでデータ分析したい!でも、KaggleのKernelだと計算リソースが足りず訓練時間がかかりすぎる・・・
  • 計算リソースをアップグレードするため、Google Cloud AI Notebooksへ移行するリンクがあるのだが、移行が難しい!
  • 移行リンクを紹介した後、移行のつまずきポイントと対策をまとめる

移行リンク

コメント 2020-09-27 195726.png

つまずきポイントと対策

GPUを追加した環境を新規作成できない

症状

  • エラーメッセージ"Quota 'GPUS_ALL_REGIONS' exceeded. Limit: 0.0 globally."が出る。

対策方針

  • GPUを使うためには、GCPの割り当て制限数を引き上げないといけない。
  • 制限数は、全域("all regions")と各リージョンの二種類について、引き上げる必要がある。

手順

  • "IAMと管理" > "割り当て" 画面を開く
  • 検索窓から、"gpu"で検索する★(gpuと検索しないと、GPUs(all regions)が出てこない!) image.png

既存のNotebooksへ移行する際、既存Notebooksの検索が終わらない

症状

  • 下記画面のまま検索が終わらない image.png

対策方針と手順

  • 検索条件"Environment: KaggleGPU"を消すと、作成済みのノートブックインスタンスが無事表示される。
  • 表示されたインスタンスを選択すれば、Kaggleのノートブックをインスタンスで無事表示できる。

デフォルトの初期化スクリプトを実行すると、Notebooksを停止した時に更新したデータが消えてしまう。

症状

  • ノートブックインスタンスを停止すると、移行したはずのノートブックが消えてる! コメント 2020-09-27 201535.png

対策方針と手順

  • 実は、Notebooksのデータ永続化用のボリュームは、"/home/jupyter"にアタッチされているのだが、移行された"imported"ディレクトリは、"/home/imported"に作成されてしまうため消える。
  • つまり、作業用のデータは、"/home/jupyter"以下に置くようにすればよい。

手順

  • 作成された"imported"ディレクトリを"/home/jupyter"以下に移動する。
  • GCP上のノートブック内で、移行時に自動生成された初期化スクリプトの"KAGGLE_INPUT_PATH"の値を変更する。
3
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
1