kaggle 上のデータセットを cli でダウンロードする

kaggle のデータセットをダウンロード

ブラウザ経由でダウンロードしてもよいが、
GUIを触りたくなかったり、スクリプト化するときにはCLIの方が便利なので
メモ用として記載。

ダウンロードには公式の kaggle-apiを利用する
https://github.com/Kaggle/kaggle-api

kaggle-api のインストール

kaggle 公式の cli ツール

pip install kaggle --upgrade

認証情報の登録

以下にアクセスし、
https://www.kaggle.com//account
API > Create New API Token をクリック

kaggle.json をダウンロードし、
~/.kaggle/kaggle.json へ配置
アクセス権限を変更
chmod 600 ~/.kaggle/kaggle.json

あるいは、内容を export しても良い

export KAGGLE_USERNAME=datadinosaur
export KAGGLE_KEY=xxxxxxxxxxxxxx

download

Usage:

kaggle competitions {list, files, download, submit, submissions, leaderboard}
kaggle datasets {list, files, download, create, version, init}

例: image-net のダウンロード

以下のページにアクセスして、利用規約に同意を行う
https://www.kaggle.com/c/imagenet-object-localization-challenge/data

以下のコマンドを実行

kaggle competitions download -c imagenet-object-localization-challenge

必ずしも、 kaggle datasets download コマンドを利用するとは限らないので、
利用したいものがある場合、該当ページでダウンロード方法を確認すると良い

例 tiny-imagenet のダウンロード

kaggle datasets download akash2sharma/tiny-imagenet