はじめに
GoogleColaboratoryにKaggleのデータを直接ダウンロードする方法の備忘録
1.kaggleAPIの作成
kaggleホームページにてアカウントのSettingsを開く
その後、API欄の"Create New Token"を選択し、kaggle.jsonを作る
kaggle.jsonを作ったら、マイドライブにアップロード
(ここではドライブのkaggleフォルダにアップロード)
2.GoogleColaboratoryの準備
GoogleColaboratoryを開いたら以下のコードを順番に実行する
ドライブに接続
from google.colab import drive
drive.mount('/content/drive')
kaggleライブラリののインストール
!pip install kaggle
KaggleAPIキーの設定
import os
import shutil
# Kaggleフォルダが存在しない場合は作成
os.makedirs('/root/.kaggle', exist_ok=True)
# MyDriveからkaggle.jsonをコピー
# ディレクトリ構造は人によって変更する必要有り
shutil.copy('/content/drive/MyDrive/kaggle/kaggle.json', '/root/.kaggle/kaggle.json')
# 適切な権限を設定
os.chmod('/root/.kaggle/kaggle.json', 600)
3.kaggleのデータをダウンロード
kaggleのCompetitionsから任意のデータをGoogleColaboratoryでダウンロードする
Competitionsのデータが格納されているページに行くと、ダウンロードするためのコマンドがあるのでそれをコピー
コピーしたものは以下のようにGoogleColaboratoryで貼り付けることでダウンロード可能
ディレクトリを指定しなければ/contentにデータが展開される
ダウンロード
# *****が貼り付けるところ
!***** -p /cointent/drive/MyDrive/任意のディレクトリ
# 今回はhome-credit-default-riskというコンペのデータをダウンロードし、kaggleフォルダに置く
!kaggle competitions download -c home-credit-default-risk -p /content/drive/MyDrive/kaggle
4.zipファイルの解凍と削除
最後に、zipファイルの解凍と削除を行う
zipファイルの解凍と削除
# 解凍
!unzip /content/drive/MyDrive/kaggle/home-credit-default-risk.zip -d /content/drive/MyDrive/kaggle
# 消去
!rm /content/drive/MyDrive/kaggle/home-credit-default-risk.zip
参考記事