Kaggle Notebookを使っていると、GPUの週ごとの割り当てクオータが逼迫してきて、Google Colaboratoryなどの代用作業環境を用意したりということがあると思います。
そういった時に、Kaggle Notebookで使っているデータセットをダウンロードする必要がありますが、一つ一つをダウンロードするのは手間だし、特に大きなデータセットは非常に時間がかかります。
そこで利用したいのがkaggle APIです。
これを利用することでKaggleのデータを作業環境にダウンロードする手間が大幅に削減できます。
また、作業環境で作成したデータセットをKaggleにアップロードする時にもkaggle APIが役立ちます。
前提として、Google DriveをGoogle Colaboratoryにマウントする想定でやっていきます。

準備

KaggleのSettingsから、APIトークンを発行します。
「Create New Token」ボタンを押すと、kaggle.jsonファイルがダウンロードされます。

次にこのkaggle.jsonファイルをGoogle Driveの適当なフォルダにアップロードします。
例えば、ここではマイドライブ配下の「Kaggle」フォルダを作ってアップロードしておきます。

これができたら次はGoogle ColaboratoryのNotebookを開いて、以下のセルを作って実行し、Google Driveをマウントさせます。

from google.colab import drive
drive.mount("/content/gdrive")

このセルを実行すると、以下の画像のような誘導がいくつかくるので、逐一指示に従って認証します。

認証ができたら次のセルを実行して、先ほどアップロードしたAPIトークンを使いダウンロードやアップロードができるようにします。

import os
# kaggle.jsonをアップロードしたフォルダのパスを指定する。
os.environ['KAGGLE_CONFIG_DIR'] = '/content/gdrive/MyDrive/Kaggle'

ここまでで準備は完了です。
なお、Google Driveのマウントやkaggle.jsonへのパスの指定はノートブックのプロセスごとに行う必要があります。(kaggle.jsonのアップロードは初回だけでOKです)

Kaggleデータをダウンロードする場合

例えばこのデータをダウンロードしたいとします。
このデータセットのパスを控えておきます。今回の例だとdenkuznetz/traffic-accident-predictionです。
右上の「ダウンロード」ボタンからこのパスを確認することができます。(ちなみにこのコードスペニットはkagglehubを使った時のダウンロード方法です。kagglehubも便利ですが、データセットのアップロードはできません)

さて、この控えたパスを使ってダウンロードをしていきましょう。
「Kaggle」フォルダ配下の「data」フォルダにダウンロードしたいとします。

!kaggle datasets download -d denkuznetz/traffic-accident-prediction -p /content/gdrive/MyDrive/Kaggle/data

さらに、ダウンロードされたデータセットはzip形式(traffic-accident-prediction.zip)であるため解凍を行います。

!unzip /content/gdrive/MyDrive/Kaggle/data/traffic-accident-prediction.zip -d /content/gdrive/MyDrive/Kaggle/data

これでダウンロードが完了です。
正直この程度のサイズのデータセットだとそこまでKaggle APIの有り難みは感じないかもしれないですが、これがLLMモデルのような巨大なデータになると、Kaggle APIなしではかなり不自由です。

Kaggleへデータをアップロードする場合

例えば「Kaggle > data」フォルダをKaggleへアップロードしたいとします。

そのためにまずはアップロードのための設定ファイル(dataset-metadata.json)をこのフォルダにダウンロードしてきます。

!kaggle datasets init -p /content/gdrive/MyDrive/Kaggle/data

この設定ファイルがダウンロードできたら、アップロードするデータセットのtitleとidを適当に設定します。titleの方は何でもOKですが、idの方は<ユーザーネーム(display nameではない)/適当な名前>にする必要があります。
以上のことを決めたら以下のセルを実行してください。

import json

# 設定ファイルのパス
file_path = "/content/gdrive/MyDrive/Kaggle/data/dataset-metadata.json"

# 設定ファイルを読み込み
with open(file_path, "r", encoding="utf-8") as file:
    data = json.load(file)

# 指定の要素を変更
data["title"] = "hogehoge"
data["id"] = "tatsuokoshida/hogehoge"

# 変更をJSONファイルに上書き保存
with open(file_path, "w", encoding="utf-8") as file:
    json.dump(data, file, ensure_ascii=False, indent=4)

それができたら以下のコマンドでいよいよデータセットをアップロードします。

!kaggle datasets create -p /content/gdrive/MyDrive/Kaggle/data --dir-mode zip

アップロードが成功すると、格納されたデータセットのURLが出力されます。

出力されたURLをクリックすると、確かにアップロードされたのが確認できます！

アップロードもダウンロードの時と同じことですが、やはり巨大なデータセットになるとKaggleへデータセットのアップロードがかなり困難になってきます。
例えば、ファインチューニングしたLLMモデルのような数GB〜のデータセットをまずはローカルにダウンロードして、それからKaggleのUIからアップロードするというのは、おそらくそれだけで1時間くらいかかってしまいます。
Kaggleの本題はいかに精度を上げるかという取り組みなので、このような所は効率よく済ませて、時間を確保していきたいものですね。