サーバ上でデータセットをダウンロードする方法

概要

今回は、wgetを用いたデータセットのダウンロード方法とKaggleのAPIを用いたデータセットのダウンロード方法をまとめてみました。

wgetを用いてデータセットをダウンロード

例: CoCoデータセットをダウンロード

1. 公式サイトにアクセスし、ダウンロードしたいファイルを右クリックして「リンクのアドレスをコピー」を選択します。
   
2. サーバ上のターミナルで、以下のコマンドを実行して任意の場所にダウンロードします。

   $ wget http://images.cocodataset.org/zips/train2014.zip
   

3. ダウンロードしたzipファイルを展開するには、unzipコマンドを使用します。

   $ unzip train2014.zip
   

Kaggleのデータセットをダウンロード

Kaggleのデータセットをダウンロードするには，KaggleのAPIを利用します (公式github)。

1. Kaggle APIのインストール

   $ pip install kaggle
   

2. アカウント認証

   1. Kaggleのアカウントページから「Settings」に移動し、「Create New Token」をクリックしてAPIキーを生成します。
      

   2. kaggle.jsonがダウンロードされるので、これをサーバ上の~/.kaggle/kaggle.jsonへ配置します。

   3. ターミナルでkaggle.jsonのアクセス権限を変更します。

      $ chmod 600 ~/.kaggle/kaggle.json
      

3. データセットのダウンロード

   1. ダウンロードしたいデータセットのページにアクセスし、ユーザ名/データセット名をコピーします。
   2. 以下のコマンドを実行してデータセットをダウンロードします。

   $ kaggle datasets download ユーザ名/データセット名
   

   以下，実行例です．
   

   $ kaggle datasets download andrewmvd/lits-png