Google ColabでFUSEを使ってGCSにアクセスする

はじめに

本記事ではGoogle Colab上でGCS FUSEを利用してGCSを仮想マシンのフォルダにマウントする方法を解説します。モチベーションとしては、Google Colabで実験した内容をVertex AIに移植することが多いためGoogleDriveではなくGCS環境にデータを一元管理したいためです。

実装

以下のコードを先頭のセルにコピペしてい実行すればディレクトリが正しくマウントされます。今回はVertex AIと同じように利用したいというモチベーションなので、/gcs/{BUCKET_NAME}以下にマウントします。

必要なものはGCSのバケットとそのバケットへのアクセス権限を持ったGoogleアカウントです。以下のコードを実行するとGoogleアカウントのログイン画面が現れますのでログインします。

from google.colab import auth
auth.authenticate_user()

# Install GCS FUSE
!echo "deb http://packages.cloud.google.com/apt gcsfuse-bionic main" > /etc/apt/sources.list.d/gcsfuse.list
!curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
!apt -qq update
!apt -qq install gcsfuse 

# Mount bucket
BUCKET_NAME="YOUR_BUCKET_NAME"
!mkdir -p /gcs/{BUCKET_NAME}
!gcsfuse --implicit-dirs {BUCKET_NAME} /gcs/{BUCKET_NAME}

以下のコマンドででマウントされているか確認できます。

ls /gcs/{BUCKET_NAME}